基于分段訓練策略的知識蒸餾方法技術

本發明專利技術公開了基于分段訓練策略的知識蒸餾方法，通過引入知識蒸餾對風格遷移模型進行壓縮，以實現在相同硬件條件下能夠處理更高分辨率的圖像，同時為了避免壓縮模型帶來模型性能的下降，提出一種新的分段訓練策略，在知識蒸餾的過程中對學生模型進行強化訓練，以保證生成圖像的質量；該方法能夠使得壓縮后的模型更好更快的還原內容和風格，保證了生成質量。保證了生成質量。保證了生成質量。

【技術實現步驟摘要】
基于分段訓練策略的知識蒸餾方法


[0001]本專利技術屬于圖像處理
，涉及基于分段訓練策略的知識蒸餾方法。

技術介紹

[0002]對于風格遷移技術而言，最重要的是如何對風格特征和內容特征進行提取與表示，這就需要一個具有相當能力的模型，以捕獲任意特征的統計量。目前任意風格遷移方法通常利用一個經過大量圖像訓練過的深度卷積神經網絡(CNN)模型(如VGG
?
19)的來進行這項任務，以確保特征提取的準確性以及模型的泛化性。盡管有效，但是這類復雜的模型在提升性能的同時，同樣也帶來了計算的復雜性和巨大的存儲需求，使得其對硬件資源的要求也急劇上升。到目前為止，任意風格遷移方法在一個12GB內存的GPU上只能處理大約100萬像素(例如，1024
×
1024像素)的圖像。為了保證在有限的硬件條件下可以處理具有高分辨率特點的圖像，就需要通過知識蒸餾對風格遷移模型進行壓縮。知識蒸餾其主要思想類似于人類進行學習的方式，采用教師
?
學生網絡，其中教師網絡尺寸和參數量要遠大于學生網絡，是一個復雜的深度學習網絡，具有良好的學習映射能力，主要任務是用來依靠數據集進行訓練，根據任務目標充分學習數據集中的知識。而學生網絡則是一個相對于教師網絡在結構上更簡單、參數量更少的模型，主要任務是通過蒸餾訓練將教師網絡已經學到的知識進行提取，獲取到關于數據集的關鍵知識，從而直接使用輕量級的學生網絡進行后續的任務完成，達到壓縮模型的目的。對于知識蒸餾來說，雖然能通過采用精簡的學生網絡學習原有深度教師網絡的知識，但是由于網絡自身的結構限制，其性能達不到完全的頂替，仍然存在一定程度的缺失。為了確保性能不至于過多的損失，提出一種新的分段訓練策略在知識遷移的過程中對學生網絡進行加強訓練，保證壓縮后模型的性能，該策略主要是通過在訓練小解碼器和小型解碼器時使用不同的權重和特征表達來實現。

技術實現思路

[0003]本專利技術的目的是提供基于分段訓練策略的知識蒸餾方法，解決了目前風格遷移模型尺寸過大，參數量多，無法在硬件有限的條件下處理高分辨率圖像，及經過模型壓縮后，模型性能下降的問題。
[0004]本專利技術所采用的技術方案是，基于分段訓練策略的知識蒸餾方法，具體按以下步驟實施：
[0005]步驟1，利用預訓練過的VGG
?
19網絡學習風格遷移相關知識；
[0006]步驟2，準備教師模型和學生模型；
[0007]步驟3，使用編碼器
?
解碼器進行協同蒸餾，分別使用解碼器
?
編碼器和解碼器
?
小編碼器進行風格遷移，通過定義損失函數來最小化上述兩對組合所生成的結果圖像之間的損失，并且提出一種新的分段訓練策略在知識遷移的過程中對學生網絡進行加強訓練；
[0008]步驟4，訓練小解碼器，使用與步驟3相同的蒸餾操作，來最小化編碼器
?
解碼器與編碼器
?
小解碼器這兩對組合風格化圖像之間的損失。
[0009]本專利技術的特點還在于：
[0010]其中步驟1具體為：利用預訓練的VGG
?
19模型提取圖像的特征，并通過優化器不斷更新生成圖像的像素值，最終得到遷移后的圖像；
[0011]其中步驟2具體為：選擇一個已經訓練好的具有良好風格遷移能力的編碼器
?
解碼器作為教師模型復雜教師模型；然后訓練一對在性能上與原有的編碼器
?
解碼器能力相近，結構上更加精簡，參數量也比較小的小編碼器
?
小解碼器組合作為學生模型；
[0012]其中小編碼器
?
小解碼器的Params為0.72*106、Storage為2.68MB、GFLOPs為0.20T，總體壓縮倍率為原有編碼器
?
解碼器的五倍；
[0013]其中步驟3具體按以下步驟實施：
[0014]步驟3.1，分別使用解碼器
?
編碼器和解碼器
?
小編碼器進行風格遷移，并通過定義以下損失函數來最小化上述兩對組合所生成的結果圖像之間的損失：
[0015][0016]式中，F
embed
是解碼器
?
小編碼器與風格圖像之間的損失，F
collab
是解碼器
?
編碼器和解碼器
?
小編碼器生產的結果圖像之間的損失，分別通過以下公式計算，β是用以平衡兩項損失的權重因子：
[0017][0018][0019]式中，E和E
′
表示輸出圖像經過編碼器和小編碼器以后的圖像特征；Q是傳輸矩陣；G是Gram矩陣，st、s、c分別代表風格化結構圖像、風格圖像和內容圖像；
[0020]步驟3.2，訓練小編碼器的過程中，使用公式(6)來代替公式(2)，以確保在小編碼器訓練時能夠更注重對于內容的提取，同時將公式(1)中的參數β、公式(4)中的參數η和λ設置為5:10:1以增強小解碼器訓練時對于風格特征的還原能力；
[0021][0022]當訓練解碼器時，我們使用公式(4)來代替公式(2)，并將公式(1)中的參數β、公式(4)中的參數η和λ設置為1:5:10以增強小解碼器對于風格的還原能力；
[0023][0024]公式(5)中，ed、esd、sesd分別表示編碼器
?
解碼器、編碼器
?
解碼器和小解碼器
?
小編碼器組合；
[0025]其中步驟4訓練小解碼器具體為：使用與步驟3相同的蒸餾操作，來最小化編碼器
?
解碼器與編碼器
?
小解碼器這兩對組合風格化圖像之間的損失，如下式：
[0026][0027]式中，D和D
′
分別代表經過解碼器和小解碼器以后的輸出圖像特征。
[0028]本專利技術的有益效果是：
[0029]本專利技術的基于分段訓練策略的知識蒸餾方法，針對于目前風格遷移模型尺寸過大，參數量多，無法在硬件有限的條件下處理高分辨率數碼印花圖像的問題，引入了知識蒸餾對風格遷移模型進行壓縮，提高圖像處理速度和分辨率；同時提出分段訓練策略來對知識蒸餾過程進行改進，進一步提高了本文所提方法生產的圖像質量。
附圖說明
[0030]圖1是本專利技術的基于分段訓練策略的知識蒸餾方法的流程示意圖；
[0031]圖2是本專利技術的基于分段訓練策略的知識蒸餾方法中小編碼器
?
小解碼器結構圖；
[0032]圖3是本專利技術的基于分段訓練策略的知識蒸餾方法中訓練小編碼器的流程示意圖；
[0033]圖4是本專利技術的基于分段訓練策略的知識蒸餾方法中訓練小解碼器的流程示意圖；
[0034]圖5是本專利技術的基于分段訓練策略的知識蒸餾方法的風格遷移效果圖。
具體實施方式
[0035]下面結合附圖和具體實施方式對本專利技術進行詳細說明。...

【技術保護點】

【技術特征摘要】
1.基于分段訓練策略的知識蒸餾方法，其特征在于，具體按以下步驟實施：步驟1，利用預訓練過的VGG
?
19網絡學習風格遷移相關知識；步驟2，準備教師模型和學生模型；步驟3，使用編碼器
?
解碼器進行協同蒸餾，分別使用解碼器
?
編碼器和解碼器
?
小編碼器進行風格遷移，通過定義損失函數來最小化上述兩對組合所生成的結果圖像之間的損失，并且提出一種新的分段訓練策略在知識遷移的過程中對學生網絡進行加強訓練；步驟4，訓練小解碼器，使用與步驟3相同的蒸餾操作，來最小化編碼器
?
解碼器與編碼器
?
小解碼器這兩對組合風格化圖像之間的損失。2.根據權利要求1所述的基于分段訓練策略的知識蒸餾方法，其特征在于，所述步驟1具體為：利用預訓練的VGG
?
19模型提取圖像的特征，并通過優化器不斷更新生成圖像的像素值，最終得到遷移后的圖像。3.根據權利要求1所述的基于分段訓練策略的知識蒸餾方法，其特征在于，所述步驟2具體為：選擇一個已經訓練好的具有良好風格遷移能力的編碼器
?
解碼器作為教師模型復雜教師模型；然后訓練一對在性能上與原有的編碼器
?
解碼器能力相近，結構上更加精簡，參數量也比較小的小編碼器
?
小解碼器組合作為學生模型。4.根據權利要求3所述的基于分段訓練策略的知識蒸餾方法，其特征在于，所述小編碼器
?
小解碼器的Params為0.72*106、Storage為2.68MB、GFLOPs為0.20T，總體壓縮倍率為原有編碼器
?
解碼器的五倍。5.根據權利要求1所述的基于分段訓練策略的知識蒸餾方法，其特征在于，所...

【專利技術屬性】
技術研發人員：蘇澤斌，李佳敏，趙思源，張玉，李鵬飛，楚建安，李法建，
申請(專利權)人：西安德高印染自動化工程有限公司，
類型：發明
國別省市：