模型獲取方法、裝置、電子設備、存儲介質和程序產品制造方法及圖紙

本公開公開了一種模型獲取方法、裝置、電子設備、存儲介質和程序產品，涉及計算機視覺和深度學習技術領域。具體實現(xiàn)方案為：獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，得到目標模型；其中，所述子網絡的第i個中間節(jié)點是基于第i個目標連接層對應的第一軟件標簽進行更新，所述第i個中間節(jié)點位于所述超網絡包括的M個連接層中的第i個連接層。本公開可以提高更新得到的目標模型與超網絡之間性能的一致性。

【技術實現(xiàn)步驟摘要】
模型獲取方法、裝置、電子設備、存儲介質和程序產品
本公開涉及計算機
，尤其涉及計算機視覺和深度學習技術等人工智能領域。
技術介紹
隨著深度學習的不斷發(fā)展，其在眾多領域都取得了巨大的成功，且逐漸向全自動機器學習發(fā)展。例如，神經網絡結構搜索技術(NeuralArchitectureSearch，NAS)作為全自動機器學習的研究熱點之一，通過設計高效的搜索方法，自動獲取泛化能力強，硬件要求友好的神經網絡，大量的解放了相關研究人員的創(chuàng)造力。傳統(tǒng)的NAS方法需要獨立采樣并評估模型結構的性能，這種方式會造成很大的性能開銷。為降低性能開銷，基于梯度的超網絡訓練方法得以研究。其中，超網絡可以適用于多種不同的網絡結構應用。基于梯度的超網絡訓練方法，在超網絡訓練過程中，逐步刪除權重最低的連接，隨著連接的逐步刪除，搜索空間會逐步減少，最終收斂到最優(yōu)的結構中。
技術實現(xiàn)思路
本公開提供了一種模型獲取方法、裝置、電子設備、存儲介質和程序產品。根據(jù)本公開的一方面，提供了一種模型獲取方法，包括：獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，得到目標模型；其中，所述子網絡的第i個中間節(jié)點是基于第i個目標連接層對應的第一軟件標簽進行更新，所述第i個中間節(jié)點位于所述超網絡包括的M個連接層中的第i個連接層。根據(jù)本公開的另一方面，提供了一種模型獲取裝置，包括：獲取模塊，用于獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；更新模塊，用于依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，得到目標模型；其中，所述子網絡的第i個中間節(jié)點是基于第i個目標連接層對應的第一軟件標簽進行更新，所述第i個中間節(jié)點位于所述超網絡包括的M個連接層中的第i個連接層。根據(jù)本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本公開提供的模型獲取方法。根據(jù)本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執(zhí)行本公開提供的模型獲取方法。根據(jù)本公開的另一方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)本公開提供的模型獲取方法。根據(jù)本公開的技術方案，通過基于參考模型中的第一軟標簽，對超網絡進行更新，這樣，可以提高更新得到的目標模型與超網絡之間性能的一致性。應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。附圖說明附圖用于更好地理解本方案，不構成對本公開的限定。其中：圖1是本公開提供的一種模型獲取方法的流程圖；圖2是本公開提供的超網絡中的部分網絡結構示意圖；圖3是本公開提供的目標模型中的部分網絡結構示意圖；圖4是本公開提供的一種模型獲取裝置的結構圖之一；圖5是本公開提供的一種模型獲取裝置的結構圖之二；圖6是本公開提供的一種電子設備的示意性框圖。具體實施方式以下結合附圖對本公開的示范性實施例做出說明，其中包括本公開實施例的各種細節(jié)以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識到，可以對這里描述的實施例做出各種改變和修改，而不會背離本公開的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。近年來，深度學習技術在很多方向上都取得了巨大的成功，深度學習技術中，神經網絡結構的好壞對目標模型的效果有非常重要的影響。人工設計神經網絡結構需要非常豐富的經驗和眾多嘗試，并且眾多參數(shù)會產生爆炸性的組合，常規(guī)的隨機搜索幾乎不可行，因此NAS成為研究熱點。傳統(tǒng)的NAS方法需要獨立采樣并評估模型結構的性能，這種方式會造成很大的性能開銷。為降低性能開銷，基于超網絡的模型訓練方法通過參數(shù)共享的方式，大大加速的模型結構的搜索過程。然而，一致性問題是所有基于超網絡的模型訓練方案最大的問題，如果不解決一致性問題會導致搜索結果與預期結果存在非常大的性能差異。其中，一致性問題具體為：當將基于超網絡的訓練方法得到目標模型應用于具體的場景時，經常使得目標模型無法達到該場景對應的獨立網絡結構的性能，即訓練得到的目標模型與超網絡之間存在性能差異，也就是說，目前基于超網絡的訓練方法得到目標模型的性能較差。基于超網絡的模型訓練方案包括基于梯度的超網絡訓練方案和基于一步法(oneshot)的超網絡訓練方案。本實施例旨在解決基于梯度的超網絡訓練方案的一致性問題。目前，基于梯度的超網絡訓練方案，在超網絡訓練過程中，逐步刪除權重最低的連接方式，隨著連接方式的逐步刪除，搜索空間會逐步縮小，最終收斂到最優(yōu)的結構中。但上述方案無法保證刪除權重最低的連接方式對超網絡整體性能的影響，從而導致超網絡性能與獨立訓練得到的網絡結構之間的差異；此外，由于刪除掉連接方式存在的差異，會導致超網絡的性能也無法達到最優(yōu)。請參見圖1，圖1是本公開提供的一種模型獲取方法，包括：步驟S101、獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應。具體地，可以將所述參考模型作為教師模型，將超網絡作為學生模型。所述教師模型可以是用于對圖像/視頻數(shù)據(jù)進行編解碼處理的大模型，可以根據(jù)實際需求的不同，具體表現(xiàn)為不同類型的模型，例如，卷積神經網絡、深度神經網絡、長短期記憶網絡、生成對抗網絡等，本實施例中，所述教師模型可以采用resnet101_vd等結構，教師模型在imagenettop1acc超過80。應當說明的是，上述教師模型應當是預先訓練好且具有良好性能的網絡模型結構，以便于基于教師模型對所述學生模型進行訓練，例如，可以基于所述教師模型對所述學生模型進行蒸餾訓練，以提高訓練到的目標模型結構與超網絡之間的一致性。上述目標連接層可以是所述參考模型的中間連接層，即除輸出層和輸出層之外的連接層，例如，所述目標連接層可以是所述參考模型中的卷積層。上述第一軟標簽可以是參考模型之所以能夠表現(xiàn)出高精度的原因，即教師模型所擁有的“知識”的表現(xiàn)，以人為例，知識可以具有抽象為文字表述的經驗，但對于計算機模型而言，其知識通常表現(xiàn)為關鍵特征數(shù)據(jù)。由于參考模型中的每個中間連接層都能基于自身所擁有的“知識”對上層輸出的數(shù)據(jù)進行處理，因此，參考模型的每個目標連接層均具有特定的“知識”，本實施例中，所述M個第一軟標簽分布表示不同參考模型中的M個不同目標連接層所擁有的“知識”。具體本文檔來自技高網...

【技術保護點】
1.一種模型獲取方法，包括：/n獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；/n依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，得到目標模型；/n其中，所述子網絡的第i個中間節(jié)點是基于第i個目標連接層對應的第一軟件標簽進行更新，所述第i個中間節(jié)點位于所述超網絡包括的M個連接層中的第i個連接層。/n

【技術特征摘要】
1.一種模型獲取方法，包括：
獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；
依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，得到目標模型；
其中，所述子網絡的第i個中間節(jié)點是基于第i個目標連接層對應的第一軟件標簽進行更新，所述第i個中間節(jié)點位于所述超網絡包括的M個連接層中的第i個連接層。


2.根據(jù)權利要求1所述的方法，其中，所述子網絡中的每個中間節(jié)點均存在K+1個連接，所述K為大于1的整數(shù)，所述依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參數(shù)進行更新，包括：
對所述子網絡進行K輪迭代更新，其中，每輪迭代更新刪除每個所述中間節(jié)點的一個連接。


3.根據(jù)權利要求2所述的方法，其中，所述超網絡包括輸出節(jié)點，所述K輪迭代更新中的第j輪更新，包括：
按照預設順序分別對所述子網絡中的中間節(jié)點的連接進行刪除，其中，所述預設順序為按照所述子網絡中的中間節(jié)點與所述輸出節(jié)點之間的距離，由小至大進行排序得到的順序。


4.根據(jù)權利要求3所述的方法，其中，所述按照預設順序分別對所述子網絡中的中間節(jié)點的連接方式進行刪除，包括：
對目標中間節(jié)點進行K+1次刪除操作，得到K+1個中間超網絡，其中，每次刪除操作刪除所述目標中間節(jié)點的一個不同連接，所述目標中間節(jié)點為所述子網絡中的任意中間節(jié)點，且所述目標中間節(jié)點位于所述M個連接層中的第y個連接層，y為1至M中任一整數(shù)；
確定所述K+1個中間超網絡中的第y個連接層輸出的K+1個第二軟標簽；
基于所述K+1個第二軟標簽與第y個目標連接層所對應的目標第一軟標簽之間的距離，將所述K+1個中間超網絡中的目標超網絡確定為更新后的超網絡。


5.根據(jù)權利要求4所述的方法，其中，所述目標超網絡為所述K+1個中間超網絡中輸出的第二軟標簽與所述目標第一軟標簽之間的距離最小的超網絡。


6.根據(jù)權利要求1所述的方法，其中，所述參考模型包括的連接層的數(shù)量為所述M的整數(shù)倍，所述M個目標連接層中任意兩個目標連接層之間間隔的連接層數(shù)相同。


7.一種模型獲取裝置，包括：
獲取模塊，用于獲取參考模型輸出的M個第一軟標簽，其中，所述M個第一軟標簽分別與所述參考模型的M個目標連接層一一對應；
更新模塊，用于依據(jù)所述M個第一軟標簽對超網絡中的子網絡的中間節(jié)點的連接參...

【專利技術屬性】
技術研發(fā)人員：希滕，張剛，溫圣召，
申請(專利權)人：北京百度網訊科技有限公司，
類型：發(fā)明
國別省市：北京;11