鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)制造方法及圖紙

本發(fā)明專利技術(shù)公開(kāi)了一種鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)。方法包括：獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)；根據(jù)屬性參數(shù)得到各鏡像數(shù)據(jù)的清理優(yōu)先級(jí)；按照清理優(yōu)先級(jí)清理目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)。該方法，可以實(shí)現(xiàn)存儲(chǔ)空間釋放。以實(shí)現(xiàn)存儲(chǔ)空間釋放。以實(shí)現(xiàn)存儲(chǔ)空間釋放。

【技術(shù)實(shí)現(xiàn)步驟摘要】
鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)


[0001]本專利技術(shù)涉及人工智能平臺(tái)的數(shù)據(jù)清理
，尤其涉及一種鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)。

技術(shù)介紹

[0002]Kuberentes是一款開(kāi)源容器編排系統(tǒng)，它可以更加簡(jiǎn)單地管理運(yùn)行在容器中的應(yīng)用程序。由于Kubernetes具有高可擴(kuò)展性和高可用性，因此它已成為構(gòu)建和管理容器化應(yīng)用程序的首選解決方案之一。人工智能平臺(tái)通常涉及處理大量數(shù)據(jù)如鏡像數(shù)據(jù)，并需要在大規(guī)模分布式系統(tǒng)中運(yùn)行各種作業(yè)。Kubernetes能夠輕松地管理這種復(fù)雜性，因此很多人工智能平臺(tái)是基于Kubernetes。
[0003]但是，相關(guān)技術(shù)中的Kubernetes所部署在的設(shè)備的存儲(chǔ)空間有限，需要及時(shí)釋放存儲(chǔ)空間，以提高系統(tǒng)的穩(wěn)定性。

技術(shù)實(shí)現(xiàn)思路

[0004]本專利技術(shù)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。為此，本專利技術(shù)的第一個(gè)目的在于提出一種鏡像數(shù)據(jù)清理方法，以實(shí)現(xiàn)存儲(chǔ)空間釋放。
[0005]本專利技術(shù)的第二個(gè)目的在于提出一種電子設(shè)備。
[0006]本專利技術(shù)的第三個(gè)目的在于提出一種鏡像數(shù)據(jù)清理裝置。
[0007]本專利技術(shù)的第四個(gè)目的在于提出一種人工智能平臺(tái)。
[0008]為達(dá)到上述目的，本專利技術(shù)第一方面實(shí)施例提出了一種鏡像數(shù)據(jù)清理方法，所述方法包括：獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)；根據(jù)所述屬性參數(shù)得到各所述鏡像數(shù)據(jù)的清理優(yōu)先級(jí)；按照所述清理優(yōu)先級(jí)清理所述目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)。
>[0009]為達(dá)到上述目的，本專利技術(shù)第二方面實(shí)施例提出了一種電子設(shè)備，包括存儲(chǔ)器、處理器和存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的鏡像數(shù)據(jù)清理方法。
[0010]為達(dá)到上述目的，本專利技術(shù)第三方面實(shí)施例提出了一種鏡像數(shù)據(jù)清理裝置，包括：獲取模塊，用于獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)；計(jì)算模塊，用于根據(jù)所述屬性參數(shù)得到各所述鏡像數(shù)據(jù)的清理優(yōu)先級(jí)；清理模塊，用于按照所述清理優(yōu)先級(jí)清理所述目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)。
[0011]為達(dá)到上述目的，本專利技術(shù)第四方面實(shí)施例提出了一種人工智能平臺(tái)，包括上述的鏡像數(shù)據(jù)清理裝置。
[0012]本專利技術(shù)實(shí)施例的鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)，設(shè)置首先獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)，根據(jù)屬性參數(shù)得到各鏡像數(shù)據(jù)的清理優(yōu)先級(jí)，從而根據(jù)清理優(yōu)先級(jí)進(jìn)行清理，實(shí)現(xiàn)了對(duì)存儲(chǔ)設(shè)備中鏡像數(shù)據(jù)的清理，釋放了目標(biāo)存儲(chǔ)設(shè)備的存儲(chǔ)空間。而且，通過(guò)目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)得到清理優(yōu)先級(jí)，可以實(shí)現(xiàn)將能夠保障用戶使用體驗(yàn)的鏡像數(shù)據(jù)以低優(yōu)先級(jí)進(jìn)行清理，實(shí)現(xiàn)兼顧釋放存儲(chǔ)空間和保
障鏡像數(shù)據(jù)使用效果。
[0013]本專利技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本專利技術(shù)的實(shí)踐了解到。
附圖說(shuō)明
[0014]圖1是本專利技術(shù)一個(gè)或多個(gè)實(shí)施例的鏡像數(shù)據(jù)清理方法的流程圖；圖2是本專利技術(shù)一個(gè)或多個(gè)實(shí)施例的鏡像數(shù)據(jù)清理方法的流程圖；圖3是本專利技術(shù)一個(gè)或多個(gè)實(shí)施例的鏡像數(shù)據(jù)清理方法的流程圖；圖4是本專利技術(shù)一個(gè)示例的鏡像數(shù)據(jù)清理方法的流程圖；圖5是本專利技術(shù)另一個(gè)示例的鏡像數(shù)據(jù)清理方法的流程圖；圖6是本專利技術(shù)實(shí)施例的鏡像數(shù)據(jù)清理裝置的結(jié)構(gòu)框圖；圖7是本專利技術(shù)實(shí)施例的人工智能平臺(tái)的結(jié)構(gòu)框圖。
具體實(shí)施方式
[0015]下面參考附圖描述本專利技術(shù)實(shí)施例的鏡像數(shù)據(jù)清理方法、裝置及電子設(shè)備、人工智能平臺(tái)，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。參考附圖描述的實(shí)施例是示例性的，不能理解為對(duì)本專利技術(shù)的限制。
[0016]圖1是本專利技術(shù)一個(gè)或多個(gè)實(shí)施例的鏡像數(shù)據(jù)清理方法的流程圖。
[0017]Kubernetes集群中有兩種節(jié)點(diǎn)，分別是Master節(jié)點(diǎn)和Node節(jié)點(diǎn)。Master節(jié)點(diǎn)是整個(gè)Kubernetes集群的大腦，它負(fù)責(zé)對(duì)整個(gè)集群的管理和控制，包括提供外部訪問(wèn)的API（Application Programming Interface，應(yīng)用程序編程接口）、管理所有資源對(duì)象的自動(dòng)化控制中心、以及負(fù)責(zé)為容器實(shí)例分配資源的調(diào)度器。而Node節(jié)點(diǎn)則是集群中的計(jì)算節(jié)點(diǎn)，負(fù)責(zé)運(yùn)行用戶的應(yīng)用程序容器實(shí)例。而容器實(shí)例是基于鏡像運(yùn)行起來(lái)的。
[0018]當(dāng)用戶向Kubernetes集群發(fā)出容器創(chuàng)建請(qǐng)求時(shí)，會(huì)在容器創(chuàng)建請(qǐng)求中指定容器運(yùn)行所需要的鏡像名稱和版本號(hào)。當(dāng)容器被調(diào)度到某個(gè)Node節(jié)點(diǎn)時(shí)，該節(jié)點(diǎn)會(huì)首先檢查本地是否已經(jīng)包含該容器鏡像，如果沒(méi)有，則會(huì)從指定的鏡像倉(cāng)庫(kù)中查找并下載該鏡像到該Node節(jié)點(diǎn)中，并存儲(chǔ)在該Node節(jié)點(diǎn)上的本地磁盤里，然后使用該鏡像啟動(dòng)用戶要?jiǎng)?chuàng)建的對(duì)應(yīng)的容器實(shí)例。
[0019]Node節(jié)點(diǎn)的磁盤空間也是有限的，為了實(shí)時(shí)監(jiān)控到磁盤的空間占用率，需要用到cAdvisor這個(gè)開(kāi)源工具，該工具可以獲取節(jié)點(diǎn)上所有容器和節(jié)點(diǎn)的資源利用情況，包括CPU（Central Processing Unit，中央處理器）、內(nèi)存、磁盤和網(wǎng)絡(luò)等方面的數(shù)據(jù)。當(dāng)需要檢測(cè)Node節(jié)點(diǎn)磁盤空間的使用情況時(shí)，cAdvisor會(huì)收集相關(guān)的指標(biāo)，如磁盤使用量、磁盤空間可用量等，并將這些指標(biāo)發(fā)送到集群中的Master節(jié)點(diǎn)。這樣用戶就可以獲取到所有Node節(jié)點(diǎn)的磁盤占用率。
[0020]以上是一個(gè)基于Kuberentes集群的人工智能平臺(tái)創(chuàng)建一個(gè)容器實(shí)例的簡(jiǎn)單介紹。通過(guò)以上描述可以發(fā)現(xiàn)，Node節(jié)點(diǎn)本地磁盤空間是有限的，隨著AI（Artificial Intelligence，人工智能）平臺(tái)的用戶不斷的發(fā)起創(chuàng)建容器實(shí)例請(qǐng)求，調(diào)度到各個(gè)Node節(jié)點(diǎn)的容器不斷增加，節(jié)點(diǎn)本地存儲(chǔ)空間一定會(huì)因?yàn)橄螺d的容器鏡像增加而減少。當(dāng)節(jié)點(diǎn)存儲(chǔ)空間占用率達(dá)到一定比例時(shí)，可能會(huì)影響節(jié)點(diǎn)上其他應(yīng)用程序和服務(wù)的正常運(yùn)行，甚至?xí)?br/>導(dǎo)致節(jié)點(diǎn)失去響應(yīng)。當(dāng)節(jié)點(diǎn)的本地存儲(chǔ)空間占用率達(dá)到75%時(shí)，可能會(huì)開(kāi)始影響節(jié)點(diǎn)上的性能。當(dāng)存儲(chǔ)空間占用率接近90%時(shí)，數(shù)據(jù)讀寫操作的性能將大幅下降，導(dǎo)致應(yīng)用程序的響應(yīng)時(shí)間延遲或失敗。當(dāng)存儲(chǔ)空間占用率達(dá)到100%時(shí)，節(jié)點(diǎn)將會(huì)因?yàn)橛布Y源不夠而失去響應(yīng)或宕機(jī)。因而，提出一種鏡像數(shù)據(jù)清理方法。
[0021]如圖1所示，鏡像數(shù)據(jù)清理方法，包括：S11，獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)。
[0022]S12，根據(jù)屬性參數(shù)得到各鏡像數(shù)據(jù)的清理優(yōu)先級(jí)。
[0023]S13，按照清理優(yōu)先級(jí)清理目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)。
[0024]由此，設(shè)置首先獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)，根據(jù)屬性參數(shù)得到各鏡像數(shù)據(jù)的清理優(yōu)先級(jí)，從而根據(jù)清理優(yōu)先級(jí)進(jìn)行清理，實(shí)現(xiàn)了對(duì)存儲(chǔ)設(shè)備中鏡像數(shù)據(jù)的清理，釋放了目標(biāo)存儲(chǔ)設(shè)備的存儲(chǔ)空間。而且，通過(guò)目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)得到清理優(yōu)先級(jí)，可以實(shí)現(xiàn)將能夠保障用戶使用體驗(yàn)的鏡像數(shù)據(jù)以低優(yōu)先級(jí)進(jìn)行清理，實(shí)現(xiàn)兼顧釋放存儲(chǔ)空間和保障鏡像數(shù)據(jù)使用體驗(yàn)。
[0025]在本專利技術(shù)一個(gè)或多個(gè)實(shí)施例中，參見(jiàn)圖2，根據(jù)屬性參數(shù)得到各鏡像數(shù)據(jù)的清理優(yōu)先級(jí)，包本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種鏡像數(shù)據(jù)清理方法，其特征在于，所述方法包括：獲取目標(biāo)存儲(chǔ)設(shè)備中各鏡像數(shù)據(jù)的屬性參數(shù)；根據(jù)所述屬性參數(shù)得到各所述鏡像數(shù)據(jù)的清理優(yōu)先級(jí)；按照所述清理優(yōu)先級(jí)清理所述目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的鏡像數(shù)據(jù)清理方法，其特征在于，所述根據(jù)所述屬性參數(shù)得到各所述鏡像數(shù)據(jù)的清理優(yōu)先級(jí)，包括：針對(duì)每個(gè)所述鏡像數(shù)據(jù)，將該鏡像數(shù)據(jù)的屬性參數(shù)進(jìn)行歸一化處理；根據(jù)歸一化后的屬性參數(shù)計(jì)算得到對(duì)應(yīng)鏡像數(shù)據(jù)的加權(quán)和；根據(jù)所述加權(quán)和得到對(duì)應(yīng)鏡像數(shù)據(jù)的清理優(yōu)先級(jí)，其中，所述加權(quán)和越大，對(duì)應(yīng)的緩存鏡像的清理優(yōu)先級(jí)越低。3.根據(jù)權(quán)利要求2所述的鏡像數(shù)據(jù)清理方法，其特征在于，所述屬性參數(shù)包括緩存時(shí)間、鏡像大小、鏡像版本更新頻率和引用次數(shù)，根據(jù)下式計(jì)算得到所述加權(quán)和：S=t
×
s1
?
m
×
s2
?
n
×
s3
?
o
×
s4，其中，S為所述加權(quán)和，t為歸一化后的緩存時(shí)間，m為歸一化后的鏡像大小，n為歸一化后的鏡像版本更新頻率，o為歸一化后的引用次數(shù)，s1為第一預(yù)設(shè)權(quán)重，s2為第二預(yù)設(shè)權(quán)重，s3為第三預(yù)設(shè)權(quán)重，s4為第四預(yù)設(shè)權(quán)重，s1+s2+s3+s4=100%。4.根據(jù)權(quán)利要求2所述的鏡像數(shù)據(jù)清理方法，其特征在于，所述按照所述清理優(yōu)先級(jí)清理所述目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)之前，所述方法還包括：獲取所述目標(biāo)存儲(chǔ)設(shè)備的空間占用率和當(dāng)前清理間隔，其中，所述當(dāng)前清理間隔為當(dāng)前時(shí)刻與上一次清理所述目標(biāo)存儲(chǔ)設(shè)備中的鏡像數(shù)據(jù)的時(shí)刻之間的差值；根據(jù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：肖玉，朱建，常峰，王景祥，胡德凱，劉海峰，
申請(qǐng)(專利權(quán))人：合肥中科類腦智能技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：