【技術實現步驟摘要】
本專利技術屬于視覺理解，更具體地，涉及一種用于分類任務的視覺理解模型的通道剪枝方法及應用。
技術介紹
1、近年來，深度學習技術在視覺理解領域展現出了強大的能力。然而，隨著模型參數量的逐漸增長、網絡深度不斷增加，深度學習網絡的推理對計算資源的消耗也迅速增長，對硬件性能提出了更高的要求。特別的，由于更多模型向智能手機與嵌入式設備上的部署，如果將消耗大量計算與存儲成本的深度神經網絡部署在資源受限的設備上是當前深度學習技術邁向更大規模應用的難點。為此，模型剪枝方法被提出，對各種視覺理解模型進行輕量化處理。其中，通道剪枝(也稱濾波器剪枝)直接去除整個冗余通道的所有參數，其稀疏模式具有結構化特性，不需要特定硬件與算法庫的支持，應用最為廣泛。
2、模型剪枝旨在通過移除模型中冗余部分，同時盡量不影響模型預測精度。因此，如何識別模型中哪些部分是冗余的，成為剪枝方法關注的重點。當前主流方法是基于各通道的貢獻度判斷通道是否重要。該類方法假設具有較大參數幅值、較大特征圖的值、或特征圖秩更大的通道對輸出具有更大的影響，因而更重要，冗余度更低。另外，還有一些方法也基于通道間的相互關系衡量各通道的重要性，例如卷積層中某通道與其他通道參數的越相似，其冗余度越高，重要性也越低。
3、雖然上述幾類方法已被證明能夠實現較大剪枝率且較為穩定，但在剪枝過程中均忽略了各通道中樣本間的區分性，導致剪枝后的視覺理解模型的分類性能不好。具體而言，若某一通道的特征圖能完整詳盡地捕捉并反映樣本間關于某個屬性的區別，則該通道的特征有利于網絡對不同類別樣本進行區
技術實現思路
1、針對現有技術的以上缺陷或改進需求，本專利技術提供了一種用于分類任務的視覺理解模型的通道剪枝方法及應用，其目的在于提升剪枝后的視覺理解模型的分類性能。
2、為實現上述目的，按照本專利技術的第一方面，提供了一種用于分類任務的視覺理解模型的通道剪枝方法，包括：
3、采用基于散度的通道重要性函數計算已訓練好的視覺理解模型中每個通道的重要性值；其中，所述基于散度的通道重要性函數為所述視覺理解模型中每個通道輸出特征圖所對應的樣本分布的標準差與變異系數的乘積，且所述變異系數等于所述樣本分布的標準差與所述樣本分布的數學期望的比值；所述樣本分布的標準差用于反映樣本之間的分散程度；
4、將各通道的重要性值排序，從重要性值低的通道開始，對對應的通道進行剪枝，直至滿足所述視覺理解模型所需的參數量和運算量為止，得到剪枝后的輕量化視覺理解模型。
5、進一步地，所述視覺理解模型包括卷積層，和/或線性層，以及與卷積層，和/或線性層之后相鄰的激活函數層和歸一化層；
6、所述基于散度的通道重要性函數為：
7、
8、
9、式中，為卷積層，和/或線性層的第i層后相鄰的激活函數層的第j個通道特征圖的隨機變量；表示所服從分布的方差，其中，所服從的分布用于表征該通道特征圖所對應的樣本分布；表示所服從分布的變異系數；表示所服從分布的數學期望。
10、進一步地，采用數學期望和方差的估計值對應代替數學期望和方差
11、估計值的計算方式為：
12、
13、其中，f(x)為激活函數，x表示隨機變量和對應表示激活函數為f(x)時的估計值βj與γj分別表示歸一化層第j個通道中的可學習偏移系數與尺度系數。
14、進一步地，所述激活函數f(x)為relu激活函數、relu6激活函數或tanh激活函數。
15、進一步地，所述已訓練好的視覺理解模型通過采用標準數據集對未訓練的視覺理解模型進行訓練得到；
16、得到所述剪枝后的輕量化視覺理解模型之后，還包括：
17、對所述剪枝后的輕量化視覺理解模型在所述標準數據集上再次訓練，得到最終的輕量化視覺理解模型。
18、按照本專利技術的第二方面，提供了一種用于分類任務的視覺理解模型壓縮方法，包括：
19、將已訓練好的視覺理解模型采用第一方面任意一項所述的通道剪枝方法進行剪枝，得到剪枝后的輕量化視覺理解模型；
20、將所述剪枝后的輕量化視覺理解模型作為壓縮后的視覺理解模型。
21、按照本專利技術的第三方面，提供了一種視覺理解任務分類方法，包括：將待分類的圖像輸入至訓練好的輕量化視覺理解模型中，得到分類預測結果；其中，所述輕量化視覺理解模型通過第一方面任意一項所述的通道剪枝方法得到。
22、按照本專利技術的第四方面，提供了一種電子設備，包括計算機可讀存儲介質和處理器；
23、所述計算機可讀存儲介質用于存儲可執行指令；
24、所述處理器用于讀取所述計算機可讀存儲介質中存儲的可執行指令執行第一方面任一項所述的通道剪枝方法，或執行第二方面所述的視覺理解模型壓縮方法，或執行第三方面所述的視覺理解任務分類方法。
25、按照本專利技術的第五方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現如第一方面任一項所述的通道剪枝方法，或實現如第二方面所述的視覺理解模型壓縮方法，或實現如第三方面所述的視覺理解任務分類方法。
26、按照本專利技術的第六方面，提供了一種計算機程序產品，當所述計算機程序產品在計算機上運行時，使得計算機執行第一方面中任意一項所述的通道剪枝方法，或實現如第二方面所述的視覺理解模型壓縮方法，或實現如第三方面所述的視覺理解任務分類方法。
27、總體而言，通過本專利技術所構思的以上技術方案，能夠取得以下有益效果：
28、(1)本專利技術中，為使在剪枝過程中能夠區分不同類別的樣本，本專利技術設計了一種基于散度的通道重要性函數，其計算方式為：視覺理解模型中每個通道輸出特征圖所對應的樣本分布的標準差與變異系數的乘積，其中，樣本分布的變異系數可以控制整個特征圖分布的信息熵，變異系數越大，信息熵越低，而考慮到模型分類的質上是信息熵逐漸減小的過程，如果能使模型特征圖中保持較低的信息熵，則有利于模型的分類。同時，樣本分布的標準差用于反映樣本之間的分散程度，該通道重要性函數中考慮每個通道輸出特征圖樣本分布的標準差的影響，能夠鼓勵樣本之間的分散程度更大，也即該通道的特征區分性越好，也就更有利于捕捉樣本之間的細微差別，分類性能更強。因此，將基于散度的通道重要性函數計算得到的通道的重要性值排序，對重要性值較低的通道進行剪枝，所得的剪枝后的視覺理解模型能夠提升剪枝后的視覺理解模型的分類性能。
29、(2)作為優選，本專利技術中的基于散度的通道重要性函數，將各通道的重要性值排序，從重要性值低的通道開始，對對應的通道進行剪枝，可以使得在視覺理解模型中間層(卷積層，和本文檔來自技高網...
【技術保護點】
1.一種用于分類任務的視覺理解模型的通道剪枝方法，其特征在于，包括：
2.根據權利要求1所述的通道剪枝方法，其特征在于，所述視覺理解模型包括卷積層，和/或線性層，以及與卷積層，和/或線性層之后相鄰的激活函數層和歸一化層；
3.根據權利要求2所述的通道剪枝方法，其特征在于，采用數學期望和方差的估計值對應代替數學期望和方差
4.根據權利要求3所述的通道剪枝方法，其特征在于，所述激活函數f(x)為ReLU激活函數、ReLU6激活函數或tanh激活函數。
5.根據權利要求1-4任意一項所述的通道剪枝方法，其特征在于，所述已訓練好的視覺理解模型通過采用標準數據集對未訓練的視覺理解模型進行訓練得到；
6.一種用于分類任務的視覺理解模型壓縮方法，其特征在于，包括：
7.一種視覺理解任務分類方法，其特征在于，包括：將待分類的圖像輸入至訓練好的輕量化視覺理解模型中，得到分類預測結果；其中，所述輕量化視覺理解模型通過權利要求1-5任意一項所述的通道剪枝方法得到。
8.一種電子設備，其特征在于，包括計算機可讀存儲介質和
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-5任一項所述的通道剪枝方法，或實現如權利要求6所述的視覺理解模型壓縮方法，或實現如權利要求7所述的視覺理解任務分類方法。
10.一種計算機程序產品，其特征在于，當所述計算機程序產品在計算機上運行時，使得計算機執行權利要求1-5中任意一項所述的通道剪枝方法，或實現如權利要求6所述的視覺理解模型壓縮方法，或實現如權利要求7所述的視覺理解任務分類方法。
...【技術特征摘要】
1.一種用于分類任務的視覺理解模型的通道剪枝方法，其特征在于，包括：
2.根據權利要求1所述的通道剪枝方法，其特征在于，所述視覺理解模型包括卷積層，和/或線性層，以及與卷積層，和/或線性層之后相鄰的激活函數層和歸一化層；
3.根據權利要求2所述的通道剪枝方法，其特征在于，采用數學期望和方差的估計值對應代替數學期望和方差
4.根據權利要求3所述的通道剪枝方法，其特征在于，所述激活函數f(x)為relu激活函數、relu6激活函數或tanh激活函數。
5.根據權利要求1-4任意一項所述的通道剪枝方法，其特征在于，所述已訓練好的視覺理解模型通過采用標準數據集對未訓練的視覺理解模型進行訓練得到；
6.一種用于分類任務的視覺理解模型壓縮方法，其特征在于，包括：
7.一種...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。