【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像處理，更具體的說是涉及一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法及系統(tǒng)。
技術(shù)介紹
1、近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural?networks,cnn)在眾多領(lǐng)域中得到了廣泛應(yīng)用，如圖像分類、目標(biāo)檢測、語義分割等。隨著模型的不斷演變，如今的cnn模型變得十分復(fù)雜，存儲(chǔ)與計(jì)算需求量大幅增加，這使得cnn模型在后端硬件平臺(tái)的部署面臨巨大挑戰(zhàn)。以vgg16模型為例，其具有1億3千萬的參數(shù)量，并占用500mb的存儲(chǔ)空間，需要進(jìn)行300億次的浮點(diǎn)運(yùn)算才能完成一次圖像識(shí)別任務(wù)。研究表明，神經(jīng)網(wǎng)絡(luò)內(nèi)部存在大量的冗余參數(shù)。因此，眾多研究開始嘗試對卷積層進(jìn)行修剪以減少模型整體規(guī)模從而實(shí)現(xiàn)更高效的推理。
2、結(jié)構(gòu)化和非結(jié)構(gòu)化剪枝是典型的剪枝方式。結(jié)構(gòu)化剪枝通過修剪不重要的卷積核(包括整個(gè)卷積核或者卷積核中的某些不重要的通道)或網(wǎng)絡(luò)層來壓縮模型以達(dá)到推理加速效果，但是為了保證網(wǎng)絡(luò)的精度，其剪枝率往往不高。非結(jié)構(gòu)化剪枝則是通過刪除不重要的神經(jīng)元(即卷積核中的卷積核參數(shù))來壓縮網(wǎng)絡(luò)。相比結(jié)構(gòu)化剪枝而言，有更細(xì)的剪枝粒度，所以非結(jié)構(gòu)化剪枝相對可以更大幅降低模型規(guī)模而保證網(wǎng)絡(luò)原始精度。典型的非結(jié)構(gòu)化模型剪枝方法可以在精度幾乎沒有損失的情況下，移除模型中超過90％的參數(shù)，同時(shí)將剪枝后稀疏模型的計(jì)算需求降低為剪枝前的10％。非結(jié)構(gòu)化剪枝后的模型精度損失更小，但由于修剪卷積核對象具有隨機(jī)性，使得修剪后參數(shù)呈不規(guī)則現(xiàn)象，帶來了模型不規(guī)則的稀疏性。在模型部署時(shí)，模型不規(guī)則的稀疏性使得硬件平臺(tái)無法進(jìn)行高效的并行加
3、非結(jié)構(gòu)剪枝后的稀疏模型推理加速主要面臨兩個(gè)挑戰(zhàn)：首先，非結(jié)構(gòu)稀疏神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)流呈現(xiàn)不規(guī)則性，不規(guī)則的數(shù)據(jù)流難以匹配比硬件的并行計(jì)算模式，計(jì)算和訪存效率低。其次，稀疏計(jì)算方法需要為不同硬件平臺(tái)實(shí)現(xiàn)特定的調(diào)度策略來實(shí)現(xiàn)模型推理的最佳性能，需要高額的人工成本。
4、因此，針對圖像識(shí)別中的非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型推理，如何有效的進(jìn)行數(shù)據(jù)流重構(gòu)以實(shí)現(xiàn)高效的并行推理，提升非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型在多平臺(tái)上的推理性能，是本領(lǐng)域技術(shù)人員亟需解決的問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)提供至少解決上述部分技術(shù)問題的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法及系統(tǒng)，應(yīng)用于圖像識(shí)別中，執(zhí)行非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理加速；該方法按照流程主要分為預(yù)處理階段、編譯階段和推理階段三個(gè)部分：其中預(yù)處理階段對卷積核數(shù)據(jù)流進(jìn)行重構(gòu)，使用稀疏表示編碼非零數(shù)據(jù)以減少冗余零值計(jì)算；編譯階段利用tvm優(yōu)化規(guī)則完成稀疏算子實(shí)現(xiàn)、張量核循環(huán)匹配、基于預(yù)定義草圖的循環(huán)邊界固定等優(yōu)化以適配不同邊緣硬件；推理階段綜合考慮內(nèi)存復(fù)用關(guān)系進(jìn)行特征圖數(shù)據(jù)流重構(gòu)，降低計(jì)算過程中的頻繁尋址；相較于現(xiàn)有稀疏加速方案，本專利技術(shù)可以有效的進(jìn)行數(shù)據(jù)流重構(gòu)以實(shí)現(xiàn)高效的并行推理，不僅在保證推理精度的同時(shí)提高了模型推理實(shí)時(shí)性，而且可高效適配至多種推理硬件，提升非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型在多平臺(tái)上的推理性能。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)采取的技術(shù)方案為：
3、第一方面，本專利技術(shù)提供一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，該方法包括：
4、預(yù)處理階段進(jìn)行模型卷積核數(shù)據(jù)流重構(gòu)，使用稀疏表示編碼卷積核非零數(shù)據(jù)；
5、編譯階段進(jìn)行并行參數(shù)調(diào)優(yōu)，利用tvm框架完成硬件后端適配優(yōu)化；
6、推理階段進(jìn)行輸入特征圖數(shù)據(jù)流重構(gòu)，將卷積中的三維輸入特征圖轉(zhuǎn)換成二維中間矩陣形式。
7、優(yōu)選的，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，先將卷積核降維成二維；再使用csr稀疏表示卷積核非零數(shù)據(jù)；最后通過映射函數(shù)使卷積核與輸入特征圖對應(yīng)位置相匹配。
8、優(yōu)選的，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，還使用桶排序方法解決多線程/計(jì)算單元間任務(wù)負(fù)載不均衡的現(xiàn)象，具體包括：
9、將稀疏表示后二維矩陣中的每一行按非零數(shù)據(jù)個(gè)數(shù)從大到小進(jìn)行排序并將硬件支持的線程數(shù)/并行計(jì)算數(shù)看作桶；
10、將排序好的工作量從大到小向負(fù)載最少的桶中加入工作。
11、優(yōu)選的，在并行參數(shù)調(diào)優(yōu)時(shí)，通過完成稀疏算子實(shí)現(xiàn)、張量核循環(huán)匹配、以及基于預(yù)定義草圖的循環(huán)邊界固定，以適配不同邊緣硬件。
12、優(yōu)選的，稀疏算子包括：稀疏卷積核數(shù)據(jù)處理算子、特征圖轉(zhuǎn)換算子和稀疏卷積算子，其中：稀疏卷積核數(shù)據(jù)處理算子在預(yù)處理階段使用，編譯階段不使用；特征圖轉(zhuǎn)換算子和稀疏卷積算子在tvm中進(jìn)行編譯優(yōu)化。
13、優(yōu)選的，在基于預(yù)定義草圖的循環(huán)邊界固定過程中，為每一個(gè)稀疏算子預(yù)先打上標(biāo)簽，在調(diào)優(yōu)過程中使用條件函數(shù)對算子進(jìn)行判斷，若算子判定為標(biāo)簽稀疏算子，則執(zhí)行自定義草圖調(diào)優(yōu)空間構(gòu)建；在自定義草圖中使用應(yīng)用函數(shù)進(jìn)行調(diào)優(yōu)空間確定。
14、優(yōu)選的，在輸入特征圖數(shù)據(jù)流重構(gòu)時(shí)，采用數(shù)據(jù)聚集的方法對特征圖進(jìn)行重構(gòu)，將稀疏卷積核需要的特征圖數(shù)據(jù)聚集在一起；然后使用垂直方向上的數(shù)據(jù)復(fù)用對聚集后結(jié)果進(jìn)行處理；最后采用通道優(yōu)先的方式對多通道特征圖進(jìn)行降維，轉(zhuǎn)換后的矩陣呈現(xiàn)連續(xù)的排布。
15、第二方面，本專利技術(shù)還提供一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)流重構(gòu)系統(tǒng)，應(yīng)用于上述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，執(zhí)行非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理加速，該系統(tǒng)包括：
16、卷積核數(shù)據(jù)流重構(gòu)模塊，用于在預(yù)處理階段進(jìn)行模型卷積核數(shù)據(jù)流重構(gòu)，使用稀疏表示編碼卷積核非零數(shù)據(jù)；
17、并行參數(shù)調(diào)優(yōu)模塊，用于在編譯階段進(jìn)行并行參數(shù)調(diào)優(yōu)，利用tvm框架完成后端適配優(yōu)化；
18、特征圖數(shù)據(jù)流重構(gòu)模塊，用于在推理階段進(jìn)行輸入特征圖數(shù)據(jù)流重構(gòu)，將卷積中的三維輸入特征圖轉(zhuǎn)換成二維中間矩陣形式。
19、第三方面，本專利技術(shù)實(shí)施例還提供一種電子設(shè)備，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有能夠被所述處理器執(zhí)行的機(jī)器可執(zhí)行指令，所述處理器執(zhí)行所述機(jī)器可執(zhí)行指令以實(shí)現(xiàn)能夠執(zhí)行上述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法。
20、與現(xiàn)有技術(shù)相比，本專利技術(shù)至少具有如下有益技術(shù)效果：
21、本專利技術(shù)提供了一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法及系統(tǒng)，本專利技術(shù)在預(yù)處理階段對卷積核數(shù)據(jù)流進(jìn)行重構(gòu)，使用稀疏表示編碼非零數(shù)據(jù)以減少冗余零值計(jì)算；編譯階段利用tvm優(yōu)化規(guī)則完成稀疏算子實(shí)現(xiàn)、張量核循環(huán)匹配、基于預(yù)定義草圖的循環(huán)邊界固定等優(yōu)化以適配不同邊緣硬件；推理階段綜合考慮內(nèi)存復(fù)用關(guān)系進(jìn)行特征圖數(shù)據(jù)流重構(gòu)，降低計(jì)算過程中的頻繁尋址；相較于現(xiàn)有稀疏加速方案，本專利技術(shù)可以有效的進(jìn)行數(shù)據(jù)流重構(gòu)以實(shí)現(xiàn)高效的并行推理，不僅在保證推理精度的同時(shí)提高了模型推理實(shí)時(shí)性，而且可高效適配至多種推理硬件，提升非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型在多平臺(tái)上的推理性能。
22、本專利技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本專利技術(shù)而了解。本專利技術(shù)的目的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，應(yīng)用于圖像識(shí)別中，執(zhí)行非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理加速；其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，先將卷積核降維成二維；再使用CSR稀疏表示卷積核非零數(shù)據(jù)；最后通過映射函數(shù)使卷積核與輸入特征圖對應(yīng)位置相匹配。
3.根據(jù)權(quán)利要求2所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，還使用桶排序方法解決多線程/計(jì)算單元間任務(wù)負(fù)載不均衡的現(xiàn)象，具體包括：
4.根據(jù)權(quán)利要求1所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在并行參數(shù)調(diào)優(yōu)時(shí)，通過完成稀疏算子實(shí)現(xiàn)、張量核循環(huán)匹配、以及基于預(yù)定義草圖的循環(huán)邊界固定，以適配不同邊緣硬件。
5.根據(jù)權(quán)利要求4所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，稀疏算子包括：稀疏卷積核數(shù)據(jù)處理算子、特征圖轉(zhuǎn)換算子和稀疏卷積算子，其中：稀疏卷積核數(shù)據(jù)處理算子在預(yù)處理階段使用，編譯階段不使
6.根據(jù)權(quán)利要求4所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在基于預(yù)定義草圖的循環(huán)邊界固定過程中，為每一個(gè)稀疏算子預(yù)先打上標(biāo)簽，在調(diào)優(yōu)過程中使用條件函數(shù)對算子進(jìn)行判斷，若算子判定為標(biāo)簽稀疏算子，則執(zhí)行自定義草圖調(diào)優(yōu)空間構(gòu)建；在自定義草圖中使用應(yīng)用函數(shù)進(jìn)行調(diào)優(yōu)空間確定。
7.根據(jù)權(quán)利要求1所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在輸入特征圖數(shù)據(jù)流重構(gòu)時(shí)，采用數(shù)據(jù)聚集的方法對特征圖進(jìn)行重構(gòu)，將稀疏卷積核需要的特征圖數(shù)據(jù)聚集在一起；然后使用垂直方向上的數(shù)據(jù)復(fù)用對聚集后結(jié)果進(jìn)行處理；最后采用通道優(yōu)先的方式對多通道特征圖進(jìn)行降維，轉(zhuǎn)換后的矩陣呈現(xiàn)連續(xù)的排布。
8.一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)流重構(gòu)系統(tǒng)，其特征在于，應(yīng)用時(shí)執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，執(zhí)行非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理加速，該系統(tǒng)包括：
9.一種電子設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有能夠被所述處理器執(zhí)行的機(jī)器可執(zhí)行指令，所述處理器執(zhí)行所述機(jī)器可執(zhí)行指令以實(shí)現(xiàn)能夠執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法。
...【技術(shù)特征摘要】
1.一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，應(yīng)用于圖像識(shí)別中，執(zhí)行非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理加速；其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，先將卷積核降維成二維；再使用csr稀疏表示卷積核非零數(shù)據(jù)；最后通過映射函數(shù)使卷積核與輸入特征圖對應(yīng)位置相匹配。
3.根據(jù)權(quán)利要求2所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在模型卷積核數(shù)據(jù)流重構(gòu)時(shí)，還使用桶排序方法解決多線程/計(jì)算單元間任務(wù)負(fù)載不均衡的現(xiàn)象，具體包括：
4.根據(jù)權(quán)利要求1所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，在并行參數(shù)調(diào)優(yōu)時(shí)，通過完成稀疏算子實(shí)現(xiàn)、張量核循環(huán)匹配、以及基于預(yù)定義草圖的循環(huán)邊界固定，以適配不同邊緣硬件。
5.根據(jù)權(quán)利要求4所述的一種面向非結(jié)構(gòu)化稀疏神經(jīng)網(wǎng)絡(luò)模型的推理優(yōu)化方法，其特征在于，稀疏算子包括：稀疏卷積核數(shù)據(jù)處理算子、特征圖轉(zhuǎn)換算子和稀疏卷積算子，其中：稀疏卷積核數(shù)據(jù)處理算子在預(yù)處理階段使用，編譯階段不使用；特征圖轉(zhuǎn)換算子和稀疏卷積算子在tvm中進(jìn)行編譯優(yōu)化。
6.根據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張潤華，姜宏旭，汪煒，韓耀郴，李波，
申請(專利權(quán))人：北京航空航天大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。