一種人工智能平臺的數(shù)據(jù)集管理方法及系統(tǒng)技術(shù)方案

本申請公開了一種人工智能平臺的數(shù)據(jù)集管理方法及系統(tǒng)，所屬的技術(shù)領(lǐng)域為人工智能領(lǐng)域。所述人工智能平臺的數(shù)據(jù)集管理方法包括：獲取目標(biāo)節(jié)點的狀態(tài)統(tǒng)計數(shù)據(jù)；其中，所述狀態(tài)統(tǒng)計數(shù)據(jù)包括數(shù)據(jù)集當(dāng)前熱度、數(shù)據(jù)集大小、數(shù)據(jù)集的服務(wù)因子和數(shù)據(jù)集歷史熱度；判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件；若是，則根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。本申請能夠高效且準(zhǔn)確地刪除節(jié)點中的數(shù)據(jù)集，避免節(jié)點存儲空間不足。間不足。間不足。

【技術(shù)實現(xiàn)步驟摘要】
一種人工智能平臺的數(shù)據(jù)集管理方法及系統(tǒng)


[0001]本申請涉及人工智能領(lǐng)域，特別涉及一種人工智能平臺的數(shù)據(jù)集管理方法及系統(tǒng)。

技術(shù)介紹

[0002]人工智能平臺中的任務(wù)作業(yè)經(jīng)常從數(shù)據(jù)集倉庫下載數(shù)據(jù)集到本地節(jié)點，便于提高使用數(shù)據(jù)集速度和效率。但由于數(shù)據(jù)集大小很大，種類很多，就會造成本地節(jié)點的存儲經(jīng)常遇到空間不足的情況。
[0003]相關(guān)技術(shù)中通常采用數(shù)據(jù)集清理機制清理冗余不用或過期老舊的數(shù)據(jù)集，以便節(jié)點存儲能夠繼續(xù)為作業(yè)緩存數(shù)據(jù)集。有了數(shù)據(jù)集清理機制，還要考慮數(shù)據(jù)集清理算法，如果數(shù)據(jù)集清理操作不夠高效和準(zhǔn)確，平臺的網(wǎng)絡(luò)和磁盤IO，以及存儲資源就會經(jīng)常用于下載數(shù)據(jù)集使用，而作業(yè)都在等待數(shù)據(jù)集下載完成后才能運行，這極大影響了平臺業(yè)務(wù)作業(yè)效率。
[0004]因此，如何高效且準(zhǔn)確地刪除節(jié)點中的數(shù)據(jù)集，避免節(jié)點存儲空間不足是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

[0005]本申請的目的是提供一種人工智能平臺的數(shù)據(jù)集管理方法、一種人工智能平臺的數(shù)據(jù)集管理系統(tǒng)、一種電子設(shè)備及一種存儲介質(zhì)，能夠高效且準(zhǔn)確地刪除節(jié)點中的數(shù)據(jù)集，避免節(jié)點存儲空間不足。
[0006]為解決上述技術(shù)問題，本申請?zhí)峁┮环N人工智能平臺的數(shù)據(jù)集管理方法，該人工智能平臺的數(shù)據(jù)集管理方法包括：獲取目標(biāo)節(jié)點的狀態(tài)統(tǒng)計數(shù)據(jù)；其中，狀態(tài)統(tǒng)計數(shù)據(jù)包括數(shù)據(jù)集當(dāng)前熱度、數(shù)據(jù)集大小、數(shù)據(jù)集的服務(wù)因子和數(shù)據(jù)集歷史熱度；判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件；若是，則根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。
[0007]可選的，獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度的過程包括：確定所述目標(biāo)節(jié)點在預(yù)設(shè)時間段內(nèi)的熱度統(tǒng)計結(jié)果，將所述熱度統(tǒng)計結(jié)果對應(yīng)的移動平均值作為所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度。
[0008]可選的，獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集的服務(wù)因子的過程，包括：根據(jù)所述目標(biāo)節(jié)點中每一數(shù)據(jù)集參與人工智能平臺的訓(xùn)練業(yè)務(wù)的運行時長、優(yōu)先級和使用次數(shù)確定所述數(shù)據(jù)集的服務(wù)因子。
[0009]可選的，判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件，包括：判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否小于第一閾值；若是，則判定所述
目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件；和/或，判斷所述目標(biāo)節(jié)點的磁盤可用空間是否小于第二閾值；若是，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件。
[0010]可選的，在判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否小于第一閾值之前，還包括：根據(jù)數(shù)據(jù)集緩存信息和節(jié)點狀態(tài)信息確定所述的數(shù)據(jù)集分區(qū)剩余空間。
[0011]可選的，還包括：若API接口接收到數(shù)據(jù)集清理指令，則將所述數(shù)據(jù)集清理指令對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。
[0012]可選的，還包括：若接收到第三方集成插件的數(shù)據(jù)集清理接口發(fā)送的清理閾值條件和/或待清理數(shù)據(jù)集列表，則將所述清理閾值條件和/或所述待清理數(shù)據(jù)集列表對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。
[0013]可選的，還包括：若所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件，則啟動第一清理算法線程；其中，所述第一清理算法線程用于根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；所述第一清理算法線程還用于將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除；若API接口接收到數(shù)據(jù)集清理指令，則啟動第二清理算法線程；其中，所述第二清理算法線程用于將所述數(shù)據(jù)集清理指令對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除；若接收到第三方集成插件的數(shù)據(jù)集清理接口發(fā)送的清理閾值條件和/或待清理數(shù)據(jù)集列表，則啟動第三清理算法線程；其中，所述第三清理算法線程用于將所述清理閾值條件和/或所述待清理數(shù)據(jù)集列表對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。
[0014]可選的，在將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除之后，還包括：判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否大于或等于第一閾值；若否，則根據(jù)所述重要度得分選取新的目標(biāo)數(shù)據(jù)集，并將所述新的目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除，直至所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間大于或等于第一閾值。
[0015]可選的，還包括：若所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間大于或等于第一閾值，判斷所述目標(biāo)節(jié)點中的數(shù)據(jù)集分區(qū)剩余空間是否小于第三閾值；其中，所述第三閾值大于所述第一閾值；若是，則對所述目標(biāo)節(jié)點執(zhí)行數(shù)據(jù)集收縮操作。
[0016]可選的，對所述目標(biāo)節(jié)點執(zhí)行數(shù)據(jù)集收縮操作，包括：按照預(yù)設(shè)維度將所述目標(biāo)節(jié)點中的數(shù)據(jù)集切分為多個數(shù)據(jù)集切片；其中，所述預(yù)設(shè)維度包括業(yè)務(wù)用途和/或時間軸；確定所述目標(biāo)節(jié)點的訓(xùn)練作業(yè)類型，并確定每一所述數(shù)據(jù)集切片與所述訓(xùn)練作業(yè)類型的數(shù)據(jù)相關(guān)度；刪除所述目標(biāo)節(jié)點的數(shù)據(jù)集中數(shù)據(jù)相關(guān)度小于預(yù)設(shè)值的數(shù)據(jù)集切片。
[0017]可選的，在將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除之后，還包括：更新所述目標(biāo)節(jié)點的數(shù)據(jù)集緩存狀態(tài)，將所述數(shù)據(jù)集緩存狀態(tài)同步至所述人工智能平臺的中心節(jié)點。
[0018]本申請還提供了一種人工智能平臺的數(shù)據(jù)集管理系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)集狀態(tài)統(tǒng)計模塊，用于獲取目標(biāo)節(jié)點的狀態(tài)統(tǒng)計數(shù)據(jù)；其中，所述狀態(tài)統(tǒng)計數(shù)據(jù)包括數(shù)據(jù)集當(dāng)前熱度、數(shù)據(jù)集大小、數(shù)據(jù)集的服務(wù)因子和數(shù)據(jù)集歷史熱度；清理信號觸發(fā)器，用于判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件；清理算法策略模塊，用于若所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件，則根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；所述清理算法策略模塊還用于利用清理算法線程將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。
[0019]可選的，所述數(shù)據(jù)集狀態(tài)統(tǒng)計模塊獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度的過程包括：確定所述目標(biāo)節(jié)點在預(yù)設(shè)時間段內(nèi)的熱度統(tǒng)計結(jié)果，將所述熱度統(tǒng)計結(jié)果對應(yīng)的移動平均值作為所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度。
[0020]可選的，所述數(shù)據(jù)集狀態(tài)統(tǒng)計模塊獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集的服務(wù)因子的過程包括：根據(jù)所述目標(biāo)節(jié)點中每一數(shù)據(jù)集參與人工智能平臺的訓(xùn)練業(yè)務(wù)的運行時長、優(yōu)先級和使用次數(shù)確定所述數(shù)據(jù)集的服務(wù)因子。
[0021]可選的，清理信號觸發(fā)器判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件的過程包括：判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否小于第一閾值；若是，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件；和/或，判斷所述目標(biāo)節(jié)點的磁盤可用空間是否小于第二閾值；若是，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件。
[0022]可選的，所述清理算法策略模塊還用于若API接口接收到數(shù)據(jù)集清理指令，則將所本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，包括：獲取目標(biāo)節(jié)點的狀態(tài)統(tǒng)計數(shù)據(jù)；其中，所述狀態(tài)統(tǒng)計數(shù)據(jù)包括數(shù)據(jù)集當(dāng)前熱度、數(shù)據(jù)集大小、數(shù)據(jù)集的服務(wù)因子和數(shù)據(jù)集歷史熱度；判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件；若是，則根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。2.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度的過程包括：確定所述目標(biāo)節(jié)點在預(yù)設(shè)時間段內(nèi)的熱度統(tǒng)計結(jié)果，將所述熱度統(tǒng)計結(jié)果對應(yīng)的移動平均值作為所述目標(biāo)節(jié)點的數(shù)據(jù)集當(dāng)前熱度。3.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，獲取所述目標(biāo)節(jié)點的數(shù)據(jù)集的服務(wù)因子的過程，包括：根據(jù)所述目標(biāo)節(jié)點中每一數(shù)據(jù)集參與人工智能平臺的訓(xùn)練業(yè)務(wù)的運行時長、優(yōu)先級和使用次數(shù)確定所述數(shù)據(jù)集的服務(wù)因子。4.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，判斷所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)是否觸發(fā)數(shù)據(jù)集清理事件，包括：判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否小于第一閾值；若是，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件；和/或，判斷所述目標(biāo)節(jié)點的磁盤可用空間是否小于第二閾值；若是，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件；若否，則判定所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)未觸發(fā)所述數(shù)據(jù)集清理事件。5.根據(jù)權(quán)利要求4所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，在判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否小于第一閾值之前，還包括：根據(jù)數(shù)據(jù)集緩存信息和節(jié)點狀態(tài)信息確定所述的數(shù)據(jù)集分區(qū)剩余空間。6.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，還包括：若API接口接收到數(shù)據(jù)集清理指令，則將所述數(shù)據(jù)集清理指令對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。7.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，還包括：若接收到第三方集成插件的數(shù)據(jù)集清理接口發(fā)送的清理閾值條件和/或待清理數(shù)據(jù)集列表，則將所述清理閾值條件和/或所述待清理數(shù)據(jù)集列表對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。8.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，還包括：若所述目標(biāo)節(jié)點的節(jié)點負載狀態(tài)觸發(fā)所述數(shù)據(jù)集清理事件，則啟動第一清理算法線程；其中，所述第一清理算法線程用于根據(jù)所述狀態(tài)統(tǒng)計數(shù)據(jù)計算所述目標(biāo)節(jié)點已存儲的每一數(shù)據(jù)集的重要度得分，并根據(jù)所述重要度得分選取目標(biāo)數(shù)據(jù)集；所述第一清理算法線程還用于將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除；若API接口接收到數(shù)據(jù)集清理指令，則啟動第二清理算法線程；其中，所述第二清理算
法線程用于將所述數(shù)據(jù)集清理指令對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除；若接收到第三方集成插件的數(shù)據(jù)集清理接口發(fā)送的清理閾值條件和/或待清理數(shù)據(jù)集列表，則啟動第三清理算法線程；其中，所述第三清理算法線程用于將所述清理閾值條件和/或所述待清理數(shù)據(jù)集列表對應(yīng)的數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除。9.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，在將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除之后，還包括：判斷所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間是否大于或等于第一閾值；若否，則根據(jù)所述重要度得分選取新的目標(biāo)數(shù)據(jù)集，并將所述新的目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除，直至所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間大于或等于第一閾值。10.根據(jù)權(quán)利要求9所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，還包括：若所述目標(biāo)節(jié)點的數(shù)據(jù)集分區(qū)剩余空間大于或等于第一閾值，判斷所述目標(biāo)節(jié)點中的數(shù)據(jù)集分區(qū)剩余空間是否小于第三閾值；其中，所述第三閾值大于所述第一閾值；若是，則對所述目標(biāo)節(jié)點執(zhí)行數(shù)據(jù)集收縮操作。11.根據(jù)權(quán)利要求10所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，對所述目標(biāo)節(jié)點執(zhí)行數(shù)據(jù)集收縮操作，包括：按照預(yù)設(shè)維度將所述目標(biāo)節(jié)點中的數(shù)據(jù)集切分為多個數(shù)據(jù)集切片；其中，所述預(yù)設(shè)維度包括業(yè)務(wù)用途和/或時間軸；確定所述目標(biāo)節(jié)點的訓(xùn)練作業(yè)類型，并確定每一所述數(shù)據(jù)集切片與所述訓(xùn)練作業(yè)類型的數(shù)據(jù)相關(guān)度；刪除所述目標(biāo)節(jié)點的數(shù)據(jù)集中數(shù)據(jù)相關(guān)度小于預(yù)設(shè)值的數(shù)據(jù)集切片。12.根據(jù)權(quán)利要求1所述人工智能平臺的數(shù)據(jù)集管理方法，其特征在于，在將所述目標(biāo)數(shù)據(jù)集從所述目標(biāo)節(jié)點中刪除之后，還包括：更新所述目標(biāo)節(jié)點的數(shù)據(jù)集緩存狀態(tài)，將所述數(shù)據(jù)集緩存狀態(tài)同步至所述人工智能平臺的中心節(jié)點。13.一種人工智能平臺的數(shù)據(jù)集管理系統(tǒng)，其特征在于，包括：數(shù)據(jù)集狀態(tài)統(tǒng)計模塊，用于獲取目標(biāo)節(jié)點的狀態(tài)統(tǒng)計數(shù)據(jù)；其中，所述狀態(tài)統(tǒng)計數(shù)據(jù)包括數(shù)據(jù)集當(dāng)前熱度、數(shù)據(jù)集大小、數(shù)據(jù)集的服務(wù)因子和數(shù)據(jù)集歷史熱度；清理信...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王斌，
申請(專利權(quán))人：山東英信計算機技術(shù)有限公司，
類型：發(fā)明
國別省市：