【技術(shù)實現(xiàn)步驟摘要】
本申請實施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本申請實施方式涉及一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置。
技術(shù)介紹
1、稀疏矩陣是指大部分元素為零的矩陣。這類矩陣在工程應(yīng)用中經(jīng)常被使用，尤其是在人工智能領(lǐng)域。比如自然語言處理等機器學(xué)習(xí)領(lǐng)域常常會應(yīng)用到大型稀疏矩陣。由于稀疏矩陣中存在大量的冗余0，如果將其當作稠密矩陣來表示和處理，計算資源消耗大，導(dǎo)致計算成本較高。因而，需要對稀疏矩陣進行預(yù)處理，以降低其計算成本，提升計算效率。
2、相關(guān)技術(shù)中，基于字典的壓縮方案將數(shù)據(jù)字替換為字典中的對應(yīng)短碼，通過壓縮頻繁出現(xiàn)的數(shù)據(jù)字，此方案可以實現(xiàn)較高的壓縮率，然而該方案需要依賴于專用字典，由于字典同步復(fù)雜性使得方案的可擴展性較差，時延較長。
3、綜上，亟待提供一種全新的技術(shù)方案，用以解決相關(guān)技術(shù)中存在的上述至少一個技術(shù)問題。
技術(shù)實現(xiàn)思路
1、在本上下文中，本申請的實施方式期望提供一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置，用以實現(xiàn)相關(guān)技術(shù)中可拓展性不高的問題，以實現(xiàn)高可拓展性。
2、在本申請實施方式的第一方面中，提供了一種數(shù)據(jù)壓縮處理方法，所述方法應(yīng)用稀疏矩陣壓縮場景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：
3、接收多個通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個通道之間的數(shù)據(jù)連接關(guān)系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；
4、對每個通道的初始
5、將所述多個通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；
6、根據(jù)中間存儲區(qū)域中的所述連接位圖，通過數(shù)據(jù)拼接模塊將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；
7、通過零壓縮模塊對所述拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。
8、在本申請實施方式的第二方面中，提供了一種數(shù)據(jù)壓縮處理裝置，所述裝置應(yīng)用稀疏矩陣壓縮場景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：
9、數(shù)據(jù)接收模塊，用于接收多個通道的初始數(shù)據(jù)和連接位圖；其中，所述連接位圖用于表征多個通道之間的數(shù)據(jù)連接關(guān)系，每一通道的初始數(shù)據(jù)的數(shù)據(jù)位寬相同；
10、數(shù)據(jù)預(yù)處理模塊，用于對每個通道的初始數(shù)據(jù)進行預(yù)處理，得到每個通道的第一數(shù)據(jù)；
11、數(shù)據(jù)拼接模塊，用于將所述多個通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；根據(jù)中間存儲區(qū)域中的所述連接位圖，將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；
12、零壓縮模塊，用于對所述拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。
13、在本申請實施方式的第三方面中，提供了一種計算設(shè)備，所述計算設(shè)備包括：
14、至少一個處理器、存儲器和輸入輸出單元；
15、其中，所述存儲器用于存儲計算機程序，所述處理器用于調(diào)用所述存儲器中存儲的計算機程序來執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。
16、在本申請實施方式的第四方面中，提供了一種計算機可讀存儲介質(zhì)，其包括指令，當其在計算機上運行該指令時，使得計算機執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。
17、在本申請實施方式的第五方面中，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面的數(shù)據(jù)壓縮處理方法。
18、在本申請實施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的數(shù)據(jù)壓縮處理方法。
19、在本申請實施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計算機可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設(shè)備執(zhí)行如第一方面的數(shù)據(jù)壓縮處理方法。
20、本申請實施方式中，提供了一種數(shù)據(jù)壓縮處理方法及相關(guān)裝置。本申請實施方式中，通過接收多個通道的初始數(shù)據(jù)和連接位圖；對每個通道的初始數(shù)據(jù)進行預(yù)處理，得到每個通道的第一數(shù)據(jù)；將所述多個通道的初始數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中；根據(jù)中間存儲區(qū)域中的所述連接位圖，將多個通道的第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)；對拼接數(shù)據(jù)進行零壓縮處理，得到壓縮數(shù)據(jù)包。通過數(shù)據(jù)拼接將多路數(shù)據(jù)整合為單數(shù)據(jù)流，對單數(shù)據(jù)流進行零壓縮處理，以實現(xiàn)存儲空間壓縮。且數(shù)據(jù)拼接和零壓縮兩個環(huán)節(jié)實現(xiàn)數(shù)據(jù)壓縮，是不對輸入數(shù)據(jù)類型有特殊約束的，因此具有更廣泛的適用性，也就是實現(xiàn)了數(shù)據(jù)壓縮處理的高可拓展性。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種數(shù)據(jù)壓縮處理方法，其特征在于，所述方法應(yīng)用稀疏矩陣壓縮場景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行預(yù)處理，得到每個通道的第一數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行移位補零處理，包括：
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)壓縮處理方法，其特征在于，將每個通道的初始數(shù)據(jù)按照預(yù)設(shè)規(guī)則對應(yīng)的目標位數(shù)進行左移，包括：
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，根據(jù)中間存儲區(qū)域中的所述連接位圖，通過數(shù)據(jù)拼接模塊將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)，包括：
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)壓縮處理方法，其特征在于，基于所述連接位圖，確定多個通道中至少兩個待拼接通道，包括：
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述至少兩個待拼接通道的所述第一數(shù)據(jù)拼接得到所
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)壓縮處理方法，其特征在于，若所述多個通道的通道個數(shù)為n，每個通道的所述第一數(shù)據(jù)的數(shù)據(jù)位寬為m，則所述拼接數(shù)據(jù)的數(shù)據(jù)位寬與拼接前的所述第一數(shù)據(jù)的數(shù)據(jù)位寬均為n×m位。
9.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，將所述多個通道的第一數(shù)據(jù)和所述連接位圖輸入到中間存儲區(qū)域中，包括：
10.一種數(shù)據(jù)壓縮處理裝置，其特征在于，所述裝置應(yīng)用稀疏矩陣壓縮場景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述裝置至少包括：
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)壓縮處理方法，其特征在于，所述方法應(yīng)用稀疏矩陣壓縮場景下的多通道流水線架構(gòu)，所述多通道流水線架構(gòu)至少包括數(shù)據(jù)拼接模塊和/或零壓縮模塊，所述數(shù)據(jù)拼接模塊和/或所述零壓縮模塊采用組合邏輯電路；所述方法包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行預(yù)處理，得到每個通道的第一數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)壓縮處理方法，其特征在于，對每個通道的初始數(shù)據(jù)進行移位補零處理，包括：
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)壓縮處理方法，其特征在于，將每個通道的初始數(shù)據(jù)按照預(yù)設(shè)規(guī)則對應(yīng)的目標位數(shù)進行左移，包括：
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)壓縮處理方法，其特征在于，根據(jù)中間存儲區(qū)域中的所述連接位圖，通過數(shù)據(jù)拼接模塊將多個通道的所述第一數(shù)據(jù)拼接得到拼接數(shù)據(jù)，包括：
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭瀚尋，楊龔軼凡，闖小明，靳翼冰，
申請(專利權(quán))人：上海泰則半導(dǎo)體有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。