【技術實現步驟摘要】
本申請屬于人工智能，尤其涉及一種面向大模型的數據存儲優化方法。
技術介紹
1、大模型存在大量的矢量數據需要存儲，同時在進行模型推理時根據提示詞計算并輸出矢量的過程有大量的數據訪問。為減少訓練及推理的時間，需要提高數據的讀取速度，但讀取速度的提升也意味著需要采用性能更高、延遲更低的存儲資源，導致存儲成本的上升。
2、為降低存儲成本，目前一般采用對模型進行壓縮的方法，即通過剪枝技術、量化技術、知識蒸餾技術或稀疏激活技術等來減少模型的大小，從而降低存儲需求，但該方法由于使用了壓縮技術，可能會導致數據精度的下降，影響模型的性能和準確性。
3、因此，需要提供一種大模型數據的存儲方法，能在不影響模型準確性的同時，降低存儲成本。
技術實現思路
1、本申請實施例提供了一種面向大模型的數據存儲優化方法，可以解決大模型數據存儲成本高的問題。
2、本申請實施例提供了一種面向大模型的數據存儲優化方法，包括：
3、在目標模型推理過程中，對目標模型中的參與計算數據進行引用計數，得到引用計數值，其中，參與計算數據為參與目標模型中前饋神經網絡計算的數據；
4、在第一預設時長后，根據參與計算數據的引用計數值，對目標模型的所有模型數據進行分類，得到分類數據，分類數據包括第一類數據和第二類數據；
5、將第一類數據存儲至第一類存儲資源中，第二類數據存儲至第二類存儲資源中；
6、其中，第一類數據的引用計數值大于第一預設值，第二類數據的引用計
7、上述方法通過根據模型數據中參與計算的數據進行引用計數，對模型中參與計算的數據進行記錄，并根據第一預設時長內參與計算數據的引用計數值，確定數據的引用頻次，對模型中的數據進行分類。模型數據的引用頻次越高，其重要程度也越高。根據模型數據的引用頻次對數據進行分類，將需要經常引用的模型數據存儲至性能較高、延遲較低的存儲資源中，使得目標模型的數據被訪問時，可以保證經常讀取的數據實現高速地訪問，滿足了模型數據的訪問需求；將不需要經常引用的模型數據存儲至性能相對較低、延遲相對較高的存儲資源中，在滿足對于模型數據訪問需求的同時，降低了數據存儲的成本。
8、同時，參與計算數據記錄了目標模型的推理過程，和目標模型的應用相關聯，上述方法通過對參與計算數據進行引用計數，反應了大模型數據的使用頻次，便于根據大模型實際應用情況優化存儲資源。
9、在一種可能的實現方式中，對目標模型中的參與計算數據進行引用計數，得到引用計數值的步驟包括：
10、通過向量數據庫對參與計算數據進行記錄，得到記錄信息；
11、對記錄信息進行向量相似度檢索，得到同一參與計算數據的引用次數；
12、根據參與計算數據的引用次數，得到引用計數值。
13、上述方法通過利用向量數據庫對參與前饋神經網絡計算的數據進行記錄，增加提示產生結果的記錄過程，根據記錄優化存儲資源。一方面滿足向量數據的記錄需求，另一方面可以通過向量數據庫對記錄在其中的數據進行向量相似度檢索，便于確定向量實際被引用的次數。
14、在一種可能的實現方式中，第二類數據的引用計數值大于第二預設值，第二預設值小于第一預設值，分類數據還包括第三類數據，第三類數據的引用計數值小于等于第二預設值，該方法還包括：
15、將第三類數據存儲至第三類存儲資源中，第三類存儲資源對應的讀寫性能低于第二類存儲資源對應的讀寫性能，第三類存儲資源對應的網絡延遲高于第二類存儲資源對應的網絡延遲；
16、對第三類存儲資源中存儲時長大于第二預設時長的數據進行對象存儲，第二預設時長大于第一預設時長。
17、上述方法進一步根據參與計算數據的引用計數值將目標模型數據分為四類，包括第一類數據、第二類數據、第三類數據以及未參與計算數據，并將其中第三類數據存儲至第三類存儲資源中，進一步降低存儲成本。
18、在一種可能的實現方式中，對第三類存儲資源中存儲時長大于第三預設時長的數據進行丟棄。
19、上述方法在模型數據長時間處于引用頻次低的情況下，對該數據進行丟棄，對模型進行優化，即對大模型中的非重要的數據進行處理，降低了模型的大小，同時避免對模型精度以及準確度造成影響。
20、在一種可能的實現方式中，對模型中在經過第一預設時長后未參與計算的數據進行對象存儲。
21、上述方法通過將在第一預設時長后未參與計算的數據進行對象存儲，利用對象存儲不需要維護復雜的目錄和文件結構，同時也不需要購買昂貴的存儲設備的特性，進一步降低了數據存儲的成本。
22、在一種可能的實現方式中，對模型中經過第三預設時長后未參與計算的數據進行丟棄，第三預設時長大于第二預設時長。
23、上述方法以時間為門限，對模型數據在經過長時間未被引用的情況下，對數據進行丟棄，對模型進行優化，對大模型中的冗余數據進行處理，合理分配存儲資源，在保證模型精度的同時，降低數據的存儲成本。
24、在一種可能的實現方式中，在第一預設時長后，根據參與計算數據的引用計數值，對目標模型的所有數據進行分類的步驟包括：
25、以第一預設時長為周期，對目標模型的所有數據進行周期性分類。
26、上述方法通過將模型數據的持續性的分類過程拆分為多個周期，使得本方法應用時可以根據一個周期內的模型數據引用情況，對模型數據進行分類存儲，使得引用頻率較高的數據可以選擇被存儲至性能較高、延遲較低的存儲資源中，綜合提高了數據的訪問速度；同時，引用頻率較低的數據存儲至性能較低、延遲較高的存儲資源中，降低了數據存儲成本。同時，周期性地對數據進行分類，使得最終優化的模型更穩定，在數據存儲成本降低的同時不影響服務質量。
27、在一種可能的實現方式中，將第一類數據存儲至第一類存儲資源中，第二類數據存儲至第二類存儲資源中的步驟包括：
28、確定指定數據在上周期被分類為a類數據，當前周期內被分類為b類數據，則將指定數據同步至b類數據所對應的存儲資源中，并刪除a類數據所對應的存儲資源中的指定數據；
29、其中，a類數據為第一類數據、第二類數據中的一類數據，b類數據為第一類數據、第二類數據中的另一類數據。
30、上述方法通過確定數據在不同的周期存儲位置的不同，將冗余數據進行刪除，避免數據重復存儲，進一步降低數據的存儲成本。
本文檔來自技高網...【技術保護點】
1.一種面向大模型的數據存儲優化方法，其特征在于，包括：
2.如權利要求1所述的面向大模型的數據存儲優化方法，其特征在于，所述在目標模型推理過程中，對所述目標模型中的參與計算數據進行引用計數，得到引用計數值的步驟包括：
3.如權利要求1所述的面向大模型的數據存儲優化方法，其特征在于，所述第二類數據的引用計數值大于第二預設值，所述第二預設值小于第一預設值，所述分類數據還包括第三類數據，所述第三類數據的引用計數值小于等于所述第二預設值，所述方法還包括：
4.如權利要求3所述的面向大模型的數據存儲優化方法，其特征在于，對模型中在經過所述第一預設時長后未參與計算的數據進行對象存儲。
5.如權利要求4所述的面向大模型的數據存儲優化方法，其特征在于，還包括：
6.如權利要求5所述的面向大模型的數據存儲優化方法，其特征在于，還包括：
7.如權利要求1-6任一所述的面向大模型的數據存儲優化方法，其特征在于，所述在第一預設時長后，根據所述參與計算數據的引用計數值，對所述目標模型的所有模型數據進行分類的步驟包括：
8
...【技術特征摘要】
1.一種面向大模型的數據存儲優化方法，其特征在于，包括：
2.如權利要求1所述的面向大模型的數據存儲優化方法，其特征在于，所述在目標模型推理過程中，對所述目標模型中的參與計算數據進行引用計數，得到引用計數值的步驟包括：
3.如權利要求1所述的面向大模型的數據存儲優化方法，其特征在于，所述第二類數據的引用計數值大于第二預設值，所述第二預設值小于第一預設值，所述分類數據還包括第三類數據，所述第三類數據的引用計數值小于等于所述第二預設值，所述方法還包括：
4.如權利要求3所述的面向大模型的數據存儲優化方法，其特征在于，對模型中在經過所述第一預...
【專利技術屬性】
技術研發人員：江朝暉，袁博滸，袁穗聰，
申請(專利權)人：廣東躍昉科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。