【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)壓縮，特別是涉及一種數(shù)據(jù)壓縮系統(tǒng)。
技術(shù)介紹
1、在gpu芯片應(yīng)用于人工智能場(chǎng)景中時(shí)，人工智能模型訓(xùn)練和推理的效率往往受限于gpu芯片的顯存帶寬而非gpu芯片的算力，因此使用有限的顯存帶寬存儲(chǔ)更多的數(shù)據(jù)成為了提高模型訓(xùn)練和推理效率的一種方式。
2、針對(duì)上述問(wèn)題，現(xiàn)有技術(shù)提出了對(duì)gpu所要存儲(chǔ)的模型數(shù)據(jù)采用數(shù)據(jù)壓縮的方法，從而提高gpu顯存的存儲(chǔ)能力，然而，為了保證模型精度，模型數(shù)據(jù)需要進(jìn)行無(wú)損壓縮處理，目前引用于gpu芯片的無(wú)損壓縮方法通常為基于delta壓縮的方法，對(duì)于模型數(shù)據(jù)的壓縮效果極為有限，而且，現(xiàn)有壓縮方法通常是應(yīng)用于cpu側(cè)，gpu芯片僅進(jìn)行解壓縮操作以獲取壓縮前的數(shù)據(jù)，在面對(duì)模型中間產(chǎn)生的數(shù)據(jù)時(shí)，例如特征張量等，無(wú)法進(jìn)行壓縮處理。
3、因此，如何提高gpu所應(yīng)用場(chǎng)景下數(shù)據(jù)壓縮的壓縮率成為了亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)上述技術(shù)問(wèn)題，本專利技術(shù)采用的技術(shù)方案為：
2、一種數(shù)據(jù)壓縮系統(tǒng)，所述系統(tǒng)包括：gpu、數(shù)據(jù)庫(kù)、處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，其中，所述數(shù)據(jù)庫(kù)包括待壓縮數(shù)據(jù)a及其位寬w(a)，和標(biāo)準(zhǔn)位寬集合p={p1，p2，…，pq，…，pq}，pq為第q個(gè)標(biāo)準(zhǔn)位寬，q為[1,q]范圍內(nèi)的整數(shù)，q為p中標(biāo)準(zhǔn)位寬的總數(shù)量，所述gpu包括壓縮單元集合b={b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對(duì)應(yīng)的壓縮單元，m為[1,m]范圍內(nèi)的整數(shù)，m為所述gpu中包含的壓縮單元個(gè)數(shù)，當(dāng)所述計(jì)算機(jī)程序被處
3、s101，使用bm對(duì)a進(jìn)行壓縮處理，得到參考?jí)嚎s數(shù)據(jù)cm。
4、s102，獲取cm對(duì)應(yīng)的位寬w1(cm)。
5、s103，計(jì)算得到cm對(duì)應(yīng)的參考?jí)嚎s率αm=w1(cm)/w(a)。
6、s104，確定min(αm)對(duì)應(yīng)的壓縮單元為目標(biāo)壓縮單元bk。
7、s105，根據(jù)w1(ck)，從p中確定與w1(ck)最接近且大于或者等于w1(ck)的標(biāo)準(zhǔn)位寬作為參考位寬w2(ck)，其中，ck為目標(biāo)壓縮單元bk對(duì)應(yīng)的參考?jí)嚎s數(shù)據(jù)，w1(ck)為目標(biāo)壓縮單元bk對(duì)應(yīng)的參考?jí)嚎s數(shù)據(jù)的位寬。
8、s106，將bk輸出的參考?jí)嚎s數(shù)據(jù)ck進(jìn)行尺寸標(biāo)準(zhǔn)化，得到目標(biāo)壓縮數(shù)據(jù)d，其中，d的位寬w(d)=w2(ck)。
9、本專利技術(shù)與現(xiàn)有技術(shù)相比具有明顯的有益效果，借由上述技術(shù)方案，本專利技術(shù)提供的一種數(shù)據(jù)壓縮系統(tǒng)可達(dá)到相當(dāng)?shù)募夹g(shù)進(jìn)步性及實(shí)用性，并具有產(chǎn)業(yè)上的廣泛利用價(jià)值，其至少具有以下有益效果：
10、本專利技術(shù)提供了一種數(shù)據(jù)壓縮系統(tǒng)，所述系統(tǒng)包括：gpu、數(shù)據(jù)庫(kù)、處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，其中，所述數(shù)據(jù)庫(kù)包括待壓縮數(shù)據(jù)a及其位寬w(a)，和標(biāo)準(zhǔn)位寬集合p={p1，p2，…，pq，…，pq}，pq為第q個(gè)標(biāo)準(zhǔn)位寬，q為[1,q]范圍內(nèi)的整數(shù)，q為p中標(biāo)準(zhǔn)位寬的總數(shù)量，所述gpu包括壓縮單元集合b={b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對(duì)應(yīng)的壓縮單元，m為[1,m]范圍內(nèi)的整數(shù)，m為所述gpu中包含的壓縮單元個(gè)數(shù)，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下步驟：使用bm對(duì)a進(jìn)行壓縮處理，得到參考?jí)嚎s數(shù)據(jù)cm，獲取cm對(duì)應(yīng)的位寬w1(cm)，計(jì)算得到cm對(duì)應(yīng)的參考?jí)嚎s率αm=w1(cm)/w(a)，確定min(αm)對(duì)應(yīng)的壓縮單元為目標(biāo)壓縮單元bk，根據(jù)w1(ck)，從p中確定與w1(ck)最接近且大于或者等于w1(ck)的標(biāo)準(zhǔn)位寬作為參考位寬w2(ck)，其中，ck為目標(biāo)壓縮單元bk對(duì)應(yīng)的參考?jí)嚎s數(shù)據(jù)，w1(ck)為目標(biāo)壓縮單元bk對(duì)應(yīng)的參考?jí)嚎s數(shù)據(jù)的位寬，將bk輸出的參考?jí)嚎s數(shù)據(jù)ck進(jìn)行尺寸標(biāo)準(zhǔn)化，得到目標(biāo)壓縮數(shù)據(jù)d，其中，d的位寬w(d)=w2(ck)。
11、可知，通過(guò)gpu所包含的壓縮單元對(duì)待壓縮數(shù)據(jù)進(jìn)行壓縮，使得能夠由gpu側(cè)執(zhí)行壓縮操作，進(jìn)而能夠應(yīng)用于人工智能模型中間數(shù)據(jù)，能夠有效提高人工智能模型在訓(xùn)練或者推理時(shí)的整體壓縮率，而且，基于無(wú)損壓縮的壓縮率會(huì)受到待壓縮數(shù)據(jù)的數(shù)據(jù)分布影響，使用多路并行的壓縮單元同時(shí)壓縮，選取壓縮率最高的壓縮數(shù)據(jù)進(jìn)行尺寸標(biāo)準(zhǔn)化后作為最終壓縮結(jié)果，在保證硬件可實(shí)現(xiàn)的前提下，也提高了數(shù)據(jù)的壓縮率。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述系統(tǒng)包括：GPU、數(shù)據(jù)庫(kù)、處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，其中，所述數(shù)據(jù)庫(kù)包括待壓縮數(shù)據(jù)A及其位寬w(A)，和標(biāo)準(zhǔn)位寬集合P={p1，p2，…，pq，…，pQ}，pq為第q個(gè)標(biāo)準(zhǔn)位寬，q為[1,Q]范圍內(nèi)的整數(shù)，Q為P中標(biāo)準(zhǔn)位寬的總數(shù)量，所述GPU包括壓縮單元集合B={b1，b2，…，bm，…，bM}，bm為第m種壓縮方式對(duì)應(yīng)的壓縮單元，m為[1,M]范圍內(nèi)的整數(shù)，M為所述GPU中包含的壓縮單元個(gè)數(shù)，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下步驟：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述待壓縮數(shù)據(jù)A={a1，a2，…，an，…，aN}，an為第n個(gè)待壓縮子數(shù)據(jù)，n為[1,N]范圍內(nèi)的整數(shù)，N為A中待壓縮子數(shù)據(jù)的個(gè)數(shù)，所述待壓縮子數(shù)據(jù)為浮點(diǎn)數(shù)據(jù)；
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，S101步驟還包括以下步驟：
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述預(yù)設(shè)條件為：μ≥L，其中，L為預(yù)設(shè)的精度閾值。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述G
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，當(dāng)GPU讀取存儲(chǔ)d的內(nèi)存頁(yè)時(shí)，根據(jù)bk確定解壓縮方式，使用所述解壓縮方式對(duì)d進(jìn)行解壓縮處理，得到A。
7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，Q設(shè)置為4。
8.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，M設(shè)置為5。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述系統(tǒng)包括：gpu、數(shù)據(jù)庫(kù)、處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，其中，所述數(shù)據(jù)庫(kù)包括待壓縮數(shù)據(jù)a及其位寬w(a)，和標(biāo)準(zhǔn)位寬集合p={p1，p2，…，pq，…，pq}，pq為第q個(gè)標(biāo)準(zhǔn)位寬，q為[1,q]范圍內(nèi)的整數(shù)，q為p中標(biāo)準(zhǔn)位寬的總數(shù)量，所述gpu包括壓縮單元集合b={b1，b2，…，bm，…，bm}，bm為第m種壓縮方式對(duì)應(yīng)的壓縮單元，m為[1,m]范圍內(nèi)的整數(shù)，m為所述gpu中包含的壓縮單元個(gè)數(shù)，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下步驟：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述待壓縮數(shù)據(jù)a={a1，a2，…，an，…，an}，an為第n個(gè)待壓縮子數(shù)據(jù)，n為[1,n]范圍內(nèi)的整數(shù)，n為a中待壓縮子數(shù)據(jù)的個(gè)數(shù)，所述待壓...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李兆石，
申請(qǐng)(專利權(quán))人：沐曦科技北京有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。