一種基于網絡結構搜索的模型剪枝方法技術

本發明專利技術提出一種基于網絡結構搜索的模型剪枝方法

【技術實現步驟摘要】
一種基于網絡結構搜索的模型剪枝方法


[0001]本專利技術涉及深度神經網絡模型壓縮領域，尤其適用于解決深度神經網絡模型移植到邊緣移動端設備而存在的計算量和參數量過高的問題，具體為一種基于網絡結構搜索的模型剪枝方法
。

技術介紹

[0002]計算機視覺和自然語言處理等人工智能的相關領域得益于深度學習的發展，使其性能到達了前所未有的高度
。
但是隨著神經網絡深度寬度不斷地增加，帶來高性能的同時也帶來了高額的存儲空間和龐大的計算量，這極大的阻礙了深度學習相關方法的產品化
。
[0003]隨著人工智能技術的日益成熟和邊緣端設備計算能力的提升，移動端的
AI
落地也成為了可能
。
相比于服務器端的深度學習模型，邊緣移動端模型可以減輕服務器端壓力，響應速度快，穩定性較高且具有安全性
。
但是在邊緣移動端部署深度學習模型存在著很大的挑戰，移動端等嵌入式設備并不是為計算稠密任務而設計的，所以在計算能力
、
存儲資源等方面受限，而且深度學習方法要在邊緣端進行產品化就要考慮設備電池電量等方面的問題
。
故移動端的模型必須要滿足模型尺寸小
、
計算復雜度低
、
電池耗電量低
、
下發更新部署靈活等條件
。
模型部署平臺的多樣性則是另一個挑戰，不同移動端的硬件平臺差異很大，設備的計算能力和存儲能力也大不相同，不同的邊緣設備有著自己所能承受的最大計算量和參數量，所以同一個任務針對不同的硬件設備可能需要不同大小的模型
。
[0004]在這種情況下，亟需一種在保證模型性能的同時對深度神經網絡模型進行壓縮且可根據移動端平臺的參數量和計算量的約束自適應網絡結構的方法
。

技術實現思路

[0005]本專利技術提出了一種基于網絡結構搜索的模型剪枝方法，以解決現有技術中存在的不足，本專利技術要解決的技術問題通過以下技術方案來實現
。
[0006]為實現上述目的，本專利技術采用下述技術方案
。
[0007]一種基于網絡結構搜索的模型剪枝方法，所述方法包括：
[0008]S1 網絡結構數據的采集，通過加載，訓練改進后的模型；
[0009]S2 基于網絡結構搜索得出每個卷積層對剪枝的敏感程度；
[0010]S3 確定每個卷積層對剪枝的敏感度自適應每層的剪枝比例；
[0011]S4 模型剪枝，根據每層的自適應剪枝比率，剪掉每層中重要性相對較低的通道和對應的濾波器；
[0012]S5 剪枝后模型
fine
?
tuning
，自適應每層的裁剪率，當測試集的效果達到預期目標后，終止迭代；
[0013]S6 模型測試，將滿足設備要求和性能需求的模型保存并輸出
。
[0014]進一步地，所述
S1
具體包括：
[0015]S1.1 利用攝像頭進行大量拍照，并對其使用隨機裁剪
、
隨機反轉
、
左右鏡像處理
進行數據增廣，擴充數據集；
[0016]S1.2 使用標注軟件對數據進行標注，原圖像和標注內容存放于同一個文件夾；
[0017]S1.3 模型改進，將加入三明治原則和原地蒸餾以提高網絡的性能，并采用共享卷積核的方式加快網絡結構信息的采集
。
[0018]進一步地，所述
S1.3
模型改進具體包括：
[0019]（1）首先根據任務定義網絡結構，設定一個網絡結構搜索范圍，在模型的訓練中隨機獨立地對每一層的通道數進行采樣；
[0020]（2）在對通道的隨機采樣過程中，著重對設定閾值的上限和下限進行采樣，使模型的準確性在預設的范圍之內；
[0021]（3）在網絡結構搜索過程中，采用原地蒸餾的技術，用設定的剪枝上限比例來指導其他比例的訓練；
[0022]（4）采用共享卷積核的方式加快對網絡結構信息的采集，越靠前的卷積核重用的次數就越高
。
[0023]進一步地，在所述模型的訓練中隨機對每一層的通道數進行采樣，在對通道的隨機采樣過程中，著重對設定閾值的上限和下限進行采樣；單個神經元的輸出可用公式（1）表示；公式（2）即為前
k
個通道的輸出：
[0024][0025][0026]其中，其中
w
和
x
分別為上層卷積核權重和輸入的特征圖，
n
為輸入的通道數量，對于
y
滿足公式（2）的性質即為前
k
個通道的輸出，
k
和
k0即是結構搜索范圍
。
[0027]進一步地，所述
S2
得出每個卷積層對剪枝的敏感程度具體包括：
[0028]S2.1 對改進后的模型使用訓練數據和驗證數據進行少量的迭代訓練，直至收斂；
[0029]S2.2 加載所述模型，并在設定閾值內隨機對每層的卷積核進行刪減，最后記錄該網絡最后的相關數據，對這些數據進行整理和劃分，得到不同卷積層對模型輸出結果的敏感程度
。
[0030]進一步地，所述
S4
模型剪枝具體包括：將
L1
正則化施加到
BN
層的縮放因子上，使得
BN
層的縮放因子趨向于零，根據通道的重要性按升序排序，自適應每層的剪枝比率并剪掉每層中重要性相對較低的通道和對應的濾波器
。L1
正則化，又稱為
Lasso
正則化，通過在模型的損失函數中增加目標參數的絕對值之和，來對模型的復雜性進行懲罰
。
將
L1
正則化施加到批量歸一化（
BN
）層的縮放因子上，使得
BN
層的縮放因子趨向于零
。
根據通道的重要性按升序排序，自適應每層的剪枝比率并剪掉每層中重要性相對較低的通道和對應的濾波器
。
[0031]進一步地，如下的公式（3）所示，將
BN
層中的縮放因子作為稀疏性懲罰項引入目標函數，聯合訓練網絡權重和這些縮放因子，使其得到的模型中許多縮放因子都會趨于0；
[0032][0033]其中，公式中目標函數的第一項是訓練損失函數，采用
L1
正則化
|
γ
|
作為縮放因子
上的稀疏化懲罰項，
(x
，
y)
是訓練輸入數據和對應的標簽，
w
是可訓練參數，
λ
是平衡因子
。
[0034]進一步地，所述
S5
具體包括：裁剪后模型
fine
?
tuning
：按照優化目標的絕對差值變化相對于迭代開始時的比值和對本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.
一種基于網絡結構搜索的模型剪枝方法，其特征在于，所述方法包括：
S1 網絡結構數據的采集，通過加載，訓練改進后的模型；
S2 基于網絡結構搜索得出每個卷積層對剪枝的敏感程度；
S3 確定每個卷積層對剪枝的敏感度自適應每層的剪枝比例；
S4 模型剪枝，根據每層的自適應剪枝比率，剪掉每層中重要性相對較低的通道和對應的濾波器；
S5 剪枝后模型
fine
?
tuning
，自適應每層的裁剪率，當測試集的效果達到預期目標后，終止迭代；
S6 模型測試，將滿足設備要求和性能需求的模型保存并輸出
。2.
根據權利要求1所述的網絡結構搜索的模型剪枝方法，其特征在于，所述
S1
具體包括：
S1.1 利用攝像頭進行大量拍照，并對其使用隨機裁剪
、
隨機反轉
、
左右鏡像處理進行數據增廣，擴充數據集；
S1.2 使用標注軟件對數據進行標注，原圖像和標注內容存放于同一個文件夾；
S1.3 模型改進，將加入三明治原則和原地蒸餾以提高網絡的性能，并采用共享卷積核的方式加快網絡結構信息的采集
。3.
根據權利要求2所述的網絡結構搜索的模型剪枝方法，其特征在于，所述
S1.3
模型改進具體包括：（1）首先根據任務定義網絡結構，設定一個網絡結構搜索范圍，在模型的訓練中隨機獨立地對每一層的通道數進行采樣；（2）在對通道的隨機采樣過程中，著重對設定閾值的上限和下限進行采樣，使模型的準確性在預設的范圍之內；（3）在網絡結構搜索過程中，采用原地蒸餾的技術，用設定的剪枝上限比例來指導其他比例的訓練；（4）采用共享卷積核的方式加快對網絡結構信息的采集，越靠前的卷積核重用的次數就越高
。4.
根據權利要求3所述的網絡結構搜索的模型剪枝方法，其特征在于，在所述模型的訓練中隨機對每一層的通道數進行采樣，在對通道的隨機采樣過程中，著重對設定閾值的上限和下限進行采樣；單個神經元的輸出可用公式（1）表示；公式（2）即為前
k
個通道的輸出：個通道的輸出：其中，其中
w
和
x
分別為上層卷積核權重和輸入的特征圖，
n
為輸入的通道數量，對于
y
滿足公式（2）的性質即為前
k
個通道的輸出，
k
和
k0即是結構搜索范圍
。5...

【專利技術屬性】
技術研發人員：丁曉嶸，張新，李曉梅，聶明杰，李楠，王柏春，張興業，田曉宇，高涵，項乾，
申請(專利權)人：北京市智慧水務發展研究院，
類型：發明
國別省市：