【技術實現步驟摘要】
本專利技術涉及數據壓縮，特別是涉及一種基于移位處理的數據壓縮系統。
技術介紹
1、在gpu芯片應用于人工智能場景中時，人工智能模型訓練和推理的效率往往受限于gpu芯片的顯存帶寬而非gpu芯片的算力，因此使用有限的顯存帶寬存儲更多的數據成為了提高模型訓練和推理效率的一種方式。
2、針對上述問題，現有技術提出了對gpu所要存儲的模型數據采用數據壓縮的方法，從而提高gpu顯存的存儲能力，然而，為了保證模型精度，模型數據需要進行無損壓縮處理，目前應用于gpu芯片的無損壓縮方法通常為基于delta壓縮的方法，對于模型數據的壓縮效果極為有限，而且，現有壓縮方法通常是應用于cpu側，gpu芯片僅進行解壓縮操作以獲取壓縮前的數據，在面對模型中間產生的數據時，例如特征張量等，無法進行壓縮處理。
3、因此，如何提高gpu所應用場景下數據壓縮的壓縮效果成為了亟待解決的問題。
技術實現思路
1、針對上述技術問題，本專利技術采用的技術方案為：
2、一種基于移位處理的數據壓縮系統，所述系統包括：gpu、數據庫、處理器和存儲有計算機程序的存儲器，其中，所述數據庫包括待壓縮數據a及其位寬w(a)，其中，a＝{a1，a2，…，an，…，an}，an為第n個待壓縮子數據，n為[1,n]范圍內的整數，n為a中待壓縮子數據的個數，所述待壓縮子數據為浮點數據，所述gpu包括壓縮單元集合b＝{b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對應的壓縮單元，m為[1,m]范圍內的整數，
3、s1011，根據an對應的階數expn，確定參考階數e＝max(expn)。
4、s1012，根據e及expn，對an進行移位處理，得到移位處理結果gn。
5、s1013，由所有移位處理結果形成移位處理結果集合g。
6、s1014，根據an和gn，確定gn對應的精度損失ln。
7、s1015，根據所有精度損失，計算得到精度損失均值μ＝(∑nn＝1(ln))/n。
8、s1016，當μ滿足預設條件時，執行s1018步驟，否則執行s1017步驟，所述預設條件為：μ≥l，其中，l為預設的精度閾值。
9、s1017，使用bm對a進行壓縮處理，得到參考壓縮數據cm。
10、s1018，使用bm對g進行壓縮處理，得到參考壓縮數據cm。
11、本專利技術與現有技術相比具有明顯的有益效果，借由上述技術方案，本專利技術提供的一種基于移位處理的數據壓縮系統可達到相當的技術進步性及實用性，并具有產業上的廣泛利用價值，其至少具有以下有益效果：
12、本專利技術提供了一種基于移位處理的數據壓縮系統，所述系統包括：gpu、數據庫、處理器和存儲有計算機程序的存儲器，其中，所述數據庫包括待壓縮數據a及其位寬w(a)，其中，a＝{a1，a2，…，an，…，an}，an為第n個待壓縮子數據，n為[1,n]范圍內的整數，n為a中待壓縮子數據的個數，所述待壓縮子數據為浮點數據，所述gpu包括壓縮單元集合b＝{b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對應的壓縮單元，m為[1,m]范圍內的整數，m為所述gpu中包含的壓縮單元個數，當所述計算機程序被處理器執行時，實現以下步驟：s1011，根據an對應的階數expn，確定參考階數e＝max(expn)，s1012，根據e及expn，對an進行移位處理，得到移位處理結果gn，s1013，由所有移位處理結果形成移位處理結果集合g，s1014，根據an和gn，確定gn對應的精度損失ln，s1015，根據所有精度損失，計算得到精度損失均值μ＝(∑nn＝1(ln))/n，s1016，當μ滿足預設條件時，執行s1018步驟，否則執行s1017步驟，所述預設條件為：μ≥l，其中，l為預設的精度閾值，s1017，使用bm對a進行壓縮處理，得到參考壓縮數據cms1018，使用bm對g進行壓縮處理，得到參考壓縮數據cm。
13、可知，通過gpu所包含的壓縮單元對待壓縮數據進行壓縮，使得能夠由gpu側執行壓縮操作，進而能夠應用于人工智能模型中間數據，能夠有效提高人工智能模型在訓練或者推理時的整體壓縮率，而且，基于無損壓縮的壓縮方式會受待壓縮數據的數據分布影響而導致壓縮效果較差，使用移位處理的方式能夠提高數據壓縮的壓縮效果。
本文檔來自技高網...【技術保護點】
1.一種基于移位處理的數據壓縮系統，其特征在于，所述系統包括：GPU、數據庫、處理器和存儲有計算機程序的存儲器，其中，所述數據庫包括待壓縮數據A及其位寬w(A)，其中，A＝{a1，a2，…，an，…，aN}，an為第n個待壓縮子數據，n為[1,N]范圍內的整數，N為A中待壓縮子數據的個數，所述待壓縮子數據為浮點數據，所述GPU包括壓縮單元集合B＝{b1，b2，…，bm，…，bM}，bm為第m種壓縮方式對應的壓縮單元，m為[1,M]范圍內的整數，M為所述GPU中包含的壓縮單元個數，當所述計算機程序被處理器執行時，實現以下步驟：
2.根據權利要求1所述的基于移位處理的數據壓縮系統，其特征在于，所述數據庫還包括標準位寬集合P＝{p1，p2，…，pq，…，pQ}，pq為第q個標準位寬，q為[1,Q]范圍內的整數，Q為P中標準位寬的總數量，當所述計算機程序被處理器執行時，還實現以下步驟：
3.根據權利要求2所述的基于移位處理的數據壓縮系統，其特征在于，所述GPU包括內存，所述內存包括若干個內存頁，所述內存頁包括壓縮標識、元數據和壓縮方式標識；
4.根據權
5.根據權利要求2所述的基于移位處理的數據壓縮系統，其特征在于，Q設置為4。
6.根據權利要求1所述的基于移位處理的數據壓縮系統，其特征在于，M設置為5。
...【技術特征摘要】
1.一種基于移位處理的數據壓縮系統，其特征在于，所述系統包括：gpu、數據庫、處理器和存儲有計算機程序的存儲器，其中，所述數據庫包括待壓縮數據a及其位寬w(a)，其中，a＝{a1，a2，…，an，…，an}，an為第n個待壓縮子數據，n為[1,n]范圍內的整數，n為a中待壓縮子數據的個數，所述待壓縮子數據為浮點數據，所述gpu包括壓縮單元集合b＝{b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對應的壓縮單元，m為[1,m]范圍內的整數，m為所述gpu中包含的壓縮單元個數，當所述計算機程序被處理器執行時，實現以下步驟：
2.根據權利要求1所述的基于移位處理的數據壓縮系統，其特征在于，所述數據庫還包括標準位寬集合p＝{p1，p2，…，pq，...
【專利技術屬性】
技術研發人員：李兆石，
申請(專利權)人：沐曦科技北京有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。