【技術實現步驟摘要】
本公開屬于數據處理，特別地涉及數據處理裝置和方法、存儲介質及芯片。
技術介紹
1、在一些科學計算和工程應用中，乘加運算是一種基本的操作。乘加運算將乘法運算的結果與另外一個操作數融合相加得到最終結果。現有技術中，乘加運算主要通過數據處理裝置中的乘法累加器(multiplying?accumulator，mac)實現。卷積運算為目前應用較為廣泛的一種乘加運算。傳統卷積運算包含輸入特征(feature)、權重(weight)、偏置(bias)和輸出特征。輸入特征和一組權重進行乘加運算后與偏置相加得到輸出特征。
技術實現思路
1、本公開提供數據處理裝置和方法、存儲介質及芯片，用于提升數據處理裝置處理乘加運算的能力。
2、第一方面，本公開實施例提供一種數據處理裝置。所述數據處理裝置包括：乘法累加器，所述乘法累加器被配置為：獲取輸入張量和稀疏權重張量，所述稀疏權重張量由原始權重張量在第一維度和第二維度中的至少一個維度進行稀疏處理得到；以及對所述稀疏權重張量和所述輸入張量進行乘加運算。
3、在第一方面的一種實現方式中，所述輸入張量包括原始輸入張量中與所述稀疏處理的保留位置相對應的數據。
4、在第一方面的一種實現方式中，所述數據處理裝置還包括：輸入電路，所述輸入電路被配置為：獲取位置索引，所述位置索引包含所述稀疏處理的保留位置；以及根據所述位置索引讀取原始輸入張量中與所述保留位置相對應的數據作為所述輸入張量。
5、在第一方面的一種實現方式中，所述數據
6、在第一方面的一種實現方式中，所述數據處理裝置還包括：控制器，所述控制器被配置為對所述原始權重張量進行稀疏處理以獲取所述稀疏權重張量。
7、在第一方面的一種實現方式中，所述輸入電路被配置為讀取所述稀疏權重張量，其中所述稀疏權重張量由原始權重張量經稀疏處理得到。
8、在第一方面的一種實現方式中，所述原始權重張量在所述第一維度上被執行第一稀疏處理以得到所述稀疏權重張量，所述第一稀疏處理采用第一稀疏粒度。
9、在第一方面的一種實現方式中，所述第一稀疏粒度為m:n，所述原始權重張量在所述第一維度上的每n個數據被稀疏為m個數據，其中n和m均為正整數且n>m。
10、在第一方面的一種實現方式中，所述第一稀疏處理采用m×ceil(log2n)bit的位置索引來表示稀疏位置，稀疏后的每個數據采用ceil(log2n)bit的位置索引來表示其位置，ceil為向上取整函數。
11、在第一方面的一種實現方式中，所述第一稀疏處理采用來表示種稀疏方式，并從所述種稀疏方式中選擇一種執行，ceil為向上取整函數。
12、在第一方面的一種實現方式中，所述第一稀疏處理采用ceil(log2n)bit來表示n種稀疏方式，并從所述n種稀疏方式中選擇一種執行，n為小于的整數，ceil為向上取整函數，所述n種稀疏方式由種稀疏方式中選取得到。
13、在第一方面的一種實現方式中，所述原始權重張量在所述第二維度上被執行第二稀疏處理以得到所述稀疏權重張量，所述第二稀疏處理采用第二稀疏粒度。
14、在第一方面的一種實現方式中，所述第二稀疏粒度為s:r，所述原始權重張量在所述第二維度上的每r個數據被稀疏為s個數據，其中r和s均為正整數且r>s。
15、在第一方面的一種實現方式中，所述原始權重張量在所述第一維度和所述第二維度中的一個維度上被執行第一稀疏處理和第二稀疏處理中的一個稀疏處理以得到中間張量，所述中間張量在所述第一維度和所述第二維度中的另一個維度上被執行所述第一稀疏處理和所述第二稀疏處理中的另一個稀疏處理以得到所述稀疏權重張量，所述第一稀疏處理采用第一稀疏粒度，并且所述第二稀疏處理采用第二稀疏粒度。
16、在第一方面的一種實現方式中，所述第一維度為所述原始權重張量的通道方向，并且所述第二維度為所述原始權重張量的內核方向。
17、在第一方面的一種實現方式中，所述原始權重張量進一步在第三維度上被執行第三稀疏處理以得到所述稀疏權重張量，所述第三稀疏處理采用第三稀疏粒度。
18、第二方面，本公開實施例提供一種數據處理方法。所述數據處理方法包括：獲取輸入張量和稀疏權重張量，所述稀疏權重張量由原始權重張量在第一維度和第二維度中的至少一個維度進行稀疏處理得到；以及對所述稀疏權重張量和所述輸入張量進行乘加運算。
19、第三方面，本公開實施例提供一種計算機可讀存儲介質，其上存儲有計算機程序所述計算機程序被執行以實現根據本公開第二方面所述的數據處理方法。
20、第四方面，本公開實施例提供一種芯片。所述芯片包括本公開第一方面中任一項所述的數據處理裝置。
21、本公開實施例提供的數據處理裝置中，乘法累加器利用稀疏權重張量和輸入張量進行乘加運算來獲取原始輸入張量和原始權重張量的乘加運算結果。由于稀疏權重張量由原始權重張量稀疏處理得到，故而稀疏權重張量中的數據少于原始權重張量。因此，相較于直接利用原始輸入張量和原始權重張量進行乘加運算的方案，本公開實施例進行乘加運算時的運算量更少，能夠在不增加乘法累加器的情況下提升數據處理裝置的算力。
22、此外，相較于現有技術，在保持算力一致的前提下，本公開實施例提供的數據處理裝置具有更小的設計面積和功耗。
23、再者，本公開實施例提供的數據處理裝置中，乘法累加器只需要讀取稀疏權重張量和索引，因而能夠減小權重讀取帶寬。
24、進一步地，本公開實施例提供的數據處理裝置可以根據應用場景靈活配置不同的稀疏參數，能夠適用于不同的應用場景。
本文檔來自技高網...【技術保護點】
1.一種數據處理裝置，其特征在于，包括：
2.根據權利要求1所述的數據處理裝置，其特征在于，所述輸入張量包括原始輸入張量中與所述稀疏處理的保留位置相對應的數據。
3.根據權利要求1所述的數據處理裝置，其特征在于，還包括：
4.根據權利要求1所述的數據處理裝置，其特征在于，還包括：
5.根據權利要求3或4所述的數據處理裝置，其特征在于，還包括：
6.根據權利要求3或4所述的數據處理裝置，其特征在于，所述輸入電路被配置為讀取所述稀疏權重張量，其中所述稀疏權重張量由原始權重張量經稀疏處理得到。
7.根據權利要求1所述的數據處理裝置，其特征在于，所述原始權重張量在所述第一維度上被執行第一稀疏處理以得到所述稀疏權重張量，所述第一稀疏處理采用第一稀疏粒度。
8.根據權利要求7所述的數據處理裝置，其特征在于，所述第一稀疏粒度為m:n，所述原始權重張量在所述第一維度上的每n個數據被稀疏為m個數據，其中m和n均為正整數且n>m。
9.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采
10.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采用bit來表示種稀疏方式，并從所述種稀疏方式中選擇一種執行，ceil為向上取整函數。
11.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采用ceil(log2N)bit來表示N種稀疏方式，并從所述N種稀疏方式中選擇一種執行，N為小于的整數，ceil為向上取整函數，所述N種稀疏方式由種稀疏方式中選取得到。
12.根據權利要求1所述的數據處理裝置，其特征在于，所述原始權重張量在所述第二維度上被執行第二稀疏處理以得到所述稀疏權重張量，所述第二稀疏處理采用第二稀疏粒度。
13.根據權利要求12所述的數據處理裝置，其特征在于，所述第二稀疏粒度為s:r，所述原始權重張量在所述第二維度上的每r個數據被稀疏為s個數據，其中r和s均為正整數且r>s。
14.根據權利要求1所述的數據處理裝置，其特征在于，所述原始權重張量在所述第一維度和所述第二維度中的一個維度上被執行第一稀疏處理和第二稀疏處理中的一個稀疏處理以得到中間張量，所述中間張量在所述第一維度和所述第二維度中的另一個維度上被執行所述第一稀疏處理和所述第二稀疏處理中的另一個稀疏處理以得到所述稀疏權重張量，所述第一稀疏處理采用第一稀疏粒度，并且所述第二稀疏處理采用第二稀疏粒度。
15.根據權利要求1至14中任一項所述的數據處理裝置，其特征在于，所述第一維度為所述原始權重張量的通道方向，并且所述第二維度為所述原始權重張量的內核方向。
16.根據權利要求1所述的數據處理裝置，其特征在于，所述原始權重張量進一步在第三維度上被執行第三稀疏處理以得到所述稀疏權重張量，所述第三稀疏處理采用第三稀疏粒度。
17.一種數據處理方法，其特征在于，包括：
18.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被執行以實現根據權利要求16中任一項所述的數據處理方法。
19.一種芯片，其特征在于，所述芯片包括權利要求1至16中任一項所述的數據處理裝置。
...【技術特征摘要】
1.一種數據處理裝置，其特征在于，包括：
2.根據權利要求1所述的數據處理裝置，其特征在于，所述輸入張量包括原始輸入張量中與所述稀疏處理的保留位置相對應的數據。
3.根據權利要求1所述的數據處理裝置，其特征在于，還包括：
4.根據權利要求1所述的數據處理裝置，其特征在于，還包括：
5.根據權利要求3或4所述的數據處理裝置，其特征在于，還包括：
6.根據權利要求3或4所述的數據處理裝置，其特征在于，所述輸入電路被配置為讀取所述稀疏權重張量，其中所述稀疏權重張量由原始權重張量經稀疏處理得到。
7.根據權利要求1所述的數據處理裝置，其特征在于，所述原始權重張量在所述第一維度上被執行第一稀疏處理以得到所述稀疏權重張量，所述第一稀疏處理采用第一稀疏粒度。
8.根據權利要求7所述的數據處理裝置，其特征在于，所述第一稀疏粒度為m:n，所述原始權重張量在所述第一維度上的每n個數據被稀疏為m個數據，其中m和n均為正整數且n>m。
9.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采用m×ceil(log2n)bit的位置索引來表示稀疏位置，稀疏后的每個數據采用ceil(log2n)bit的位置索引來表示其位置，ceil為向上取整函數。
10.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采用bit來表示種稀疏方式，并從所述種稀疏方式中選擇一種執行，ceil為向上取整函數。
11.根據權利要求8所述的數據處理裝置，其特征在于，所述第一稀疏處理采用ceil(log2n)bit來表示n種稀疏方式，并從所述n種稀疏方式中選擇一種執行，n...
【專利技術屬性】
技術研發人員：曾飛，
申請(專利權)人：瑞芯微電子股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。