【技術實現步驟摘要】
本申請涉及數據處理，尤其涉及一種壓縮方法、裝置、電子設備、計算機可讀介質。
技術介紹
1、在一些應用場景中，為了避免因神經網絡的結構尺寸太大而導致的缺陷，可以針對該神經網絡進行壓縮處理，以使壓縮后的神經網絡的結構尺寸小于壓縮前的神經網絡的結構尺寸。
2、然而，如何實現壓縮處理是一項亟待解決的技術問題。
技術實現思路
1、本申請提供了一種壓縮方法、裝置、電子設備、計算機可讀介質。
2、為了實現上述目的，本申請提供的技術方案如下：
3、本申請提供一種壓縮方法，所述方法包括：
4、對深度卷積網絡中若干卷積核進行分組，得到至少兩個卷積核組；
5、從若干候選稀疏模板中選擇各所述卷積核組對應的目標稀疏模板；
6、依據預設壓縮約束以及所述至少兩個卷積核組對應的目標稀疏模板，從所述至少兩個卷積核組中搜索目標卷積核組；所述預設壓縮約束包括卷積性能約束；
7、利用所述目標卷積核組對應的目標稀疏模板，對所述深度卷積網絡進行壓縮處理，得到壓縮后深度卷積網絡；所述壓縮后深度卷積網絡的性能表征數據滿足所述卷積性能約束；所述性能表征數據是依據樣本數據以及所述壓縮后深度卷積網絡所確定的；所述樣本數據包括圖像數據、文本數據以及語音數據中的至少一個。
8、在一種可能的實施方式下，所述深度卷積網絡包括依次排列的若干卷積核；對于任一所述卷積核組，該卷積核組包括排列位置依次相鄰的16個卷積核。
9、在一種可能的實施方
10、在一種可能的實施方式下，所述卷積核包括至少兩行權重參數，每行權重參數包括至少兩個權重參數；所述候選稀疏模板用于對所述卷積核的每行權重參數中處于行首位置或者處于行尾位置的權重參數進行去除處理。
11、在一種可能的實施方式下，所述候選稀疏模板的個數是依據所述卷積核的權重參數行數所確定的。
12、在一種可能的實施方式下，所述卷積核包括3行權重參數，每行權重參數包括3個權重參數；所述若干候選稀疏模板包括8個候選稀疏模板。
13、在一種可能的實施方式下，所述至少兩個卷積核組包括m個卷積核組，m為正整數；若第m個卷積核組中各個卷積核均屬于第一類卷積核，則所述第m個卷積核組對應的目標稀疏模板是從所述第一類卷積核對應的若干候選稀疏模板中所選擇的；m為正整數，m≤m。
14、在一種可能的實施方式下，所述第一類卷積核對應的若干候選稀疏模板包括k個候選稀疏模板，k為正整數；
15、所述第m個卷積核組對應的目標稀疏模板的確定過程，包括：依據所述第m個卷積核組以及所述第一類卷積核對應的第k個候選稀疏模板，確定所述第k個候選稀疏模板對應的使用影響表征數據，k為正整數，k≤k；依據所述k個候選稀疏模板對應的使用影響表征數據，從所述k個候選稀疏模板中查找滿足預設影響條件的候選稀疏模板，作為所述第m個卷積核組對應的目標稀疏模板。
16、在一種可能的實施方式下，所述第k個候選稀疏模板對應的使用影響表征數據的確定過程，包括：依據所述第m個卷積核組中各個卷積核的權重參數以及所述第k個候選稀疏模板，確定所述第k個候選稀疏模板對應的參數影響表征數據；依據所述樣本數據、所述第m個卷積核組以及所述第k個候選稀疏模板，確定所述第k個候選稀疏模板對應的性能影響表征數據；依據所述第k個候選稀疏模板對應的參數影響表征數據和所述第k個候選稀疏模板對應的性能影響表征數據，確定所述第k個候選稀疏模板對應的使用影響表征數據。
17、在一種可能的實施方式下，所述第m個卷積核組包括g個卷積核，g為正整數；
18、所述第m個卷積核組對應的目標稀疏模板的確定過程，包括：依據所述第m個卷積核組中第g個卷積核以及所述第一類卷積核對應的若干候選稀疏模板，確定所述第g個卷積核對應的目標稀疏模板，g為正整數，g≤g；對所述g個卷積核對應的目標稀疏模板進行統計分析，得到統計分析結果；依據所述統計分析結果，確定所述第m個卷積核組對應的目標稀疏模板。
19、在一種可能的實施方式下，所述至少兩個卷積核組包括m個卷積核組，m為正整數；若所述第m個卷積核組中存在至少兩類卷積核，則所述第m個卷積核組對應的目標稀疏模板包括所述第m個卷積核組中各個卷積核對應的目標稀疏模板，m為正整數，m≤m。
20、在一種可能的實施方式下，所述第m個卷積核組包括g個卷積核，g為正整數；所述第m個卷積核組中的第g個卷積核屬于第二類卷積核，而且所述第g個卷積核對應的目標稀疏模板是從所述第二類卷積核對應的若干候選稀疏模板中所選擇的，g為正整數，g≤g。
21、在一種可能的實施方式下，所述目標卷積核組的搜索過程，包括：依據所述深度卷積網絡以及所述至少兩個卷積核組對應的目標稀疏模板，構建搜索空間，所述搜索空間包括至少兩個候選壓縮網絡，所述候選壓縮網絡是通過依據一個或者多個卷積核組對應的目標稀疏模板對所述深度卷積網絡進行壓縮處理所得的；從所述搜索空間中搜索滿足所述預設壓縮約束的目標壓縮網絡；依據所述目標壓縮網絡，確定所述目標卷積核組。
22、在一種可能的實施方式下，所述預設壓縮約束還包括稀疏處理組個數約束；
23、所述依據所述深度卷積網絡以及所述至少兩個卷積核組對應的目標稀疏模板，構建搜索空間，包括：依據所述稀疏處理組個數約束、所述深度卷積網絡以及所述至少兩個卷積核組對應的目標稀疏模板，構建搜索空間，以使所述搜索空間中各個候選壓縮網絡均滿足所述稀疏處理組個數約束；
24、所述從所述搜索空間中搜索滿足所述預設壓縮約束的目標壓縮網絡，包括：從所述搜索空間中搜索滿足所述卷積性能約束的目標壓縮網絡。
25、在一種可能的實施方式下，所述對深度卷積網絡中的若干卷積核進行分組之前，所述方法還包括：
26、獲取待壓縮模型，所述待壓縮模型包括所述深度卷積網絡；
27、所述利用所述目標卷積核組對應的目標稀疏模板，對所述深度卷積網絡進行壓縮處理，得到壓縮后深度卷積網絡，包括：利用所述目標卷積核組對應的目標稀疏模板，對所述待壓縮模型中深度卷積網絡進行壓縮處理，得到壓縮后模型，所述壓縮后模型包括所述壓縮后深度卷積網絡。
28、在一種可能的實施方式下，所述待壓縮模型包括圖像處理模塊、文本處理模塊以及語音處理模塊中的至少一個。
29、本申請提供了一種壓縮裝置，包括：
30、分組單元，用于對深度卷積網絡中若干卷積核進行分組，得到至少兩個卷積核組；
31、選擇單元，用于從若干候選稀疏模板中選擇各所述卷積核組對應的目標稀疏模板；
32、搜索單元，用于依據預設壓縮約束以及所述至少兩個卷積核組對應的目標稀疏模板，從所述至少兩個卷積核組中搜索目標卷積核組；所述預設壓縮約束包括卷積性能約束；
33、壓縮單元，用于利本文檔來自技高網...
【技術保護點】
1.一種壓縮方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述深度卷積網絡包括依次排列的若干卷積核；
3.根據權利要求1所述的方法，其特征在于，所述預設壓縮約束還包括稀疏處理組個數約束；
4.根據權利要求1所述的方法，其特征在于，所述卷積核包括至少兩行權重參數，每行權重參數包括至少兩個權重參數；
5.根據權利要求4所述的方法，其特征在于，所述候選稀疏模板的個數是依據所述卷積核的權重參數行數所確定的。
6.根據權利要求5所述的方法，其特征在于，所述卷積核包括3行權重參數，每行權重參數包括3個權重參數；
7.根據權利要求1所述的方法，其特征在于，所述至少兩個卷積核組包括M個卷積核組，M為正整數；
8.根據權利要求7所述的方法，其特征在于，所述第一類卷積核對應的若干候選稀疏模板包括K個候選稀疏模板，K為正整數；
9.根據權利要求8所述的方法，其特征在于，所述第k個候選稀疏模板對應的使用影響表征數據的確定過程，包括：
10.根據權利要求7所述的方法，其
11.根據權利要求1所述的方法，其特征在于，所述至少兩個卷積核組包括M個卷積核組，M為正整數；
12.根據權利要求11所述的方法，其特征在于，所述第m個卷積核組包括G個卷積核，G為正整數；
13.根據權利要求1所述的方法，其特征在于，所述目標卷積核組的搜索過程，包括：
14.根據權利要求13所述的方法，其特征在于，所述預設壓縮約束還包括稀疏處理組個數約束；
15.根據權利要求1-14任一項所述的方法，其特征在于，所述對深度卷積網絡中的若干卷積核進行分組之前，所述方法還包括：
16.根據權利要求15所述的方法，其特征在于，所述待壓縮模型包括圖像處理模塊、文本處理模塊以及語音處理模塊中的至少一個。
17.一種壓縮裝置，其特征在于，包括：
18.一種電子設備，其特征在于，所述設備包括：處理器和存儲器；
19.一種計算機可讀介質，其特征在于，所述計算機可讀介質中存儲有指令或計算機程序，當所述指令或計算機程序在設備上運行時，使得所述設備執行權利要求1-16任一項所述的方法。
...【技術特征摘要】
1.一種壓縮方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述深度卷積網絡包括依次排列的若干卷積核；
3.根據權利要求1所述的方法，其特征在于，所述預設壓縮約束還包括稀疏處理組個數約束；
4.根據權利要求1所述的方法，其特征在于，所述卷積核包括至少兩行權重參數，每行權重參數包括至少兩個權重參數；
5.根據權利要求4所述的方法，其特征在于，所述候選稀疏模板的個數是依據所述卷積核的權重參數行數所確定的。
6.根據權利要求5所述的方法，其特征在于，所述卷積核包括3行權重參數，每行權重參數包括3個權重參數；
7.根據權利要求1所述的方法，其特征在于，所述至少兩個卷積核組包括m個卷積核組，m為正整數；
8.根據權利要求7所述的方法，其特征在于，所述第一類卷積核對應的若干候選稀疏模板包括k個候選稀疏模板，k為正整數；
9.根據權利要求8所述的方法，其特征在于，所述第k個候選稀疏模板對應的使用影響表征數據的確定過程，包括：
10.根據權利要求7所述的方法，其特征在于，所述第m個卷積...
【專利技術屬性】
技術研發人員：許海濤，
申請(專利權)人：北京字跳網絡技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。