【技術實現步驟摘要】
本申請涉及人工智能領域，尤其涉及一種神經網絡的訓練方法、圖像處理的方法以及裝置。
技術介紹
1、人工智能(artificial?intelligence，ai)是利用計算機或者計算機控制的機器模擬、延伸和擴展人的智能。人工智能包括研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。
2、機器學習是人工智能的一個分支。機器學習，是使用算法來解析數據、從中學習，然后對真實世界中的事件做出決策和預測。機器學習模型包括人工智能模型如神經網絡等。目前，機器學習已經取得了很大成功，大多數的神經網絡依賴于大量的帶標簽的訓練數據。然而，在很多領域中，無法獲取大量的帶標簽的訓練數據。例如：智能駕駛領域、醫療領域等都無法獲取大量的訓練數據，或者若要獲取大量的訓練數據需要付出很大代價。
3、因此，如何在難以獲取大量帶標簽的訓練數據的場景下，訓練出性能優秀的神經網絡是迫切需要解決的問題。
技術實現思路
1、本申請提供一種神經網絡的訓練方法、圖像處理的方法以及裝置，通過少量樣本即可給小樣本任務推斷合適的神經網絡模型。
2、本申請實施例第一方面提供一種神經網絡的訓練方法，該訓練方法適應于小樣本學習場景中，包括：將第一訓練圖像和多個預訓練神經網絡輸入元參數預測網絡。在訓練階段，第一訓練圖像為有標簽的圖像。標簽是我們要預測的事物，假設訓練階段需要基于第一訓練圖像執行物體檢測任務，則標簽是指第一訓練圖像中物體的位置和物體的類別。預訓練模型即預先訓練的網絡模型，
3、利用元參數預測網絡預測與第一訓練圖像適配的特征提取網絡，特征提取網絡的第i層卷積核的輸出通道參數值是基于多個預訓練神經網絡的第i層卷積核的輸出通道參數值得到的，i為正整數。其中，與第一訓練圖像適配的特征提取網絡可以理解為該特征提取網絡包括的多個卷積核的輸出通道參數值可以對該第一訓練圖像進行很好的特征提取。由于每個預訓練模型均是使用了大量的數據和算力訓練出來的，每個預訓練模型的卷積核的輸出通道參數值可以能對與其訓練數據類別相同的數據有很好的特征提取能力，所以在利用元參數預測網絡為第一訓練圖像預測對應的多個卷積核的輸出通常參數值時，可以參考該多個預訓練模型的卷積核的輸出通道參數值。
4、利用特征提取網絡的輸出得到第一訓練圖像對應的預測結果。根據預測結果和第一訓練圖像對應的期望結果之間的差異對元參數預測網絡進行訓練。本申請實施例提供的方案可以適用于任意一種圖像處理任務中，比如適用于圖像分類任務，則第一訓練圖像對應的預測結果為第一訓練圖像對應的分類結果，再比如適用于物體檢測任務，則第一訓練圖像對應的預測結果為第一訓練圖像對應的物體檢測結果。訓練裝置會根據和第一訓練圖像對應的期望結果和預測結果計算損失值，并根據該損失值對元參數預測網絡進行訓練。具體的，訓練設備可以根據損失值，通過反向傳播的方式對元參數預測網絡的權重參數進行梯度更新，以完成對元參數預測網絡的一次訓練。
5、第一方面提供的方案無需修改預訓練模型的參數，利用少量樣本即可給小樣本任務推斷合適的神經網絡模型。
6、在第一方面的一種可能的實施方式中，為了能夠更好的利用每張訓練樣本提供的信息，還應當充分考慮每張訓練樣本提供的信息，比如在預測元參數預測網絡的第i+1個卷積核的輸出通道參數值時，考慮基于元參數預測網絡針對不同訓練圖像預測的第i個卷積核的輸出通道參數值獲取的特征圖。換句話說，特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核的輸出通道參數值進行加權處理后得到的，多個目標卷積核的輸出通道參數值包括第一卷積核的輸出通道參數值和第二卷積核的輸出通道參數值，第一卷積核的輸出通道參數值是基于多個預訓練神經網絡的第i層卷積核的輸出通道參數值和第一訓練圖像得到的，第二卷積核輸出通道參數值是基于多個預訓練神經網絡的第i層卷積核的輸出通道參數值和第二訓練圖像得到的，第二訓練圖像和第一訓練圖像的類別相同，方法還包括：將第二訓練圖像和多個預訓練神經網絡輸入元參數預測網絡。
7、在第一方面的一種可能的實施方式中，第一卷積核輸出通道參數值具體是對多個參考值進行加權處理后獲取的，多個參考值是對第一神經網絡的輸出和每個預訓練神經網絡的第i層卷積核的輸出通道參數值進行目標運算后得到的，第一神經網絡的輸入為第一特征向量，第一特征向量是基于特征提取網絡的第i-1層卷積核的輸出通道參數值和第一訓練圖像得到的，根據預測結果和第一訓練圖像對應的期望結果之間的差異對元參數預測網絡進行訓練，包括：根據預測結果和第一訓練圖像對應的期望結果之間的差異訓練元參數預測網絡中的第一神經網絡。在這種實施方式中，充分利用少量樣本，提高不同預訓練模型同一卷積核之間的語義匹配程度，使得多模型參數可以高效融合。
8、在第一方面的一種可能的實施方式中，多個參考值的權重是基于第二神經網絡的輸出值得到的，第二神經網絡的輸入為第一特征向量，根據預測結果和第一訓練圖像對應的期望結果之間的差異對元參數預測網絡進行訓練，還包括：根據預測結果和第一訓練圖像對應的期望結果之間的差異訓練元參數預測網絡中的第二神經網絡。在這種實施方式中，通過第二神經網絡的輸出獲取多個參考值的權重，有助于提高計算效率，減少由于樣本過少導致的預測參數魯棒性差的問題。
9、在第一方面的一種可能的實施方式中，該方法還包括：利用第一神經網絡的輸出和預訓練神經網絡的第i+1層的卷積核的輸入通道參數值進行目標運算。在這種實施方式中，保證相鄰卷積層之間的連續性，避免卷積核和特征圖之間的錯亂。換句話說，通過這種方式保證通過第i+2個卷積核的輸出通道參數值和第i+1層輸出的特征圖能夠正確進行乘法運算。
10、在第一方面的一種可能的實施方式中，特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核輸出通道參數值求平均值處理后得到的。
11、本申請實施例第二方面提供一種圖像處理的方法，包括：將第一圖像測試集和多個預訓練神經網絡輸入元參數預測網絡，得到與第一圖像測試集適配的第一特征提取網絡，第一特征提取網絡的第i層卷積核的輸出通道參數值是基于多個預訓練神經網絡的第i層卷積核的輸出通道參數值得到的，第一圖像測試集中的圖像帶有標簽。將第二圖像測試集輸入到第一特征提取網絡，得到針對第二圖像測試集的特征向量，第二圖像測試集的類別和第一圖像測試集的類別相同，第二圖像測試集中的圖像沒有標簽。由于在元參數預測網絡的訓練階段，針對小批次輸入的訓練圖像，充分利用了每一張訓練樣本提供的信息，為該小批次輸入的訓練圖像預測適配的神經網絡模型，所以，訓練后的元參數預測網絡可以針對輸入的少量的有標簽的測試樣本，為該少量的有標簽的測試樣本預測出適配的神經網絡模型。該適配的神經網絡模型可以對該少量的有標簽的測試樣本有很好的特征提取能力，以及對于該少量的有標簽的測試樣本相同類別的無標本文檔來自技高網...
【技術保護點】
1.一種神經網絡的訓練方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核的輸出通道參數值進行加權處理后得到的，所述多個目標卷積核的輸出通道參數值包括第一卷積核的輸出通道參數值和第二卷積核的輸出通道參數值，所述第一卷積核的輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述第二卷積核輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和第二訓練圖像得到的，所述第二訓練圖像和所述第一訓練圖像的類別相同，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，所述第一卷積核輸出通道參數值具體是對多個參考值進行加權處理后獲取的，所述多個參考值是對第一神經網絡的輸出和每個所述預訓練神經網絡的第i層卷積核的輸出通道參數值進行目標運算后得到的，所述第一神經網絡的輸入為第一特征向量，所述第一特征向量是基于所述特征提取網絡的第i-1層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述根據所述預測結果和所述第一訓練圖像對
4.根據權利要求3所述的方法，其特征在于，所述多個參考值的權重是基于第二神經網絡的輸出值得到的，所述第二神經網絡的輸入為所述第一特征向量，所述根據所述預測結果和所述第一訓練圖像對應的期望結果之間的差異對所述元參數預測網絡進行訓練，還包括：
5.根據權利要求3或4所述的方法，其特征在于，所述方法還包括：
6.根據權利要求2至5任一項所述的方法，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核輸出通道參數值求平均值處理后得到的。
7.一種圖像處理的方法，其特征在于，包括：
8.根據權利要求7所述的方法，其特征在于，所述方法還包括：
9.一種圖像處理裝置，其特征在于，包括：
10.根據權利要求9所述的裝置，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核的輸出通道參數值進行加權處理后得到的，所述多個目標卷積核的輸出通道參數值包括第一卷積核的輸出通道參數值和第二卷積核的輸出通道參數值，所述第一卷積核的輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述第二卷積核輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和第二訓練圖像得到的，所述第二訓練圖像和所述第一訓練圖像的類別相同，所述獲取模塊，還用于：
11.根據權利要求10所述的裝置，其特征在于，所述第一卷積核輸出通道參數值具體是對多個參考值進行加權處理后獲取的，所述多個參考值是對第一神經網絡的輸出和每個所述預訓練神經網絡的第i層卷積核的輸出通道參數值進行目標運算后得到的，所述第一神經網絡的輸入為第一特征向量，所述第一特征向量是基于所述特征提取網絡的第i-1層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述處理模塊，具體用于：
12.根據權利要求11所述的裝置，其特征在于，所述多個參考值的權重是基于第二神經網絡的輸出值得到的，所述第二神經網絡的輸入為所述第一特征向量，所述處理模塊，還用于：
13.根據權利要求11或12所述的裝置，其特征在于，所述處理模塊，還用于：
14.根據權利要求10至13任一項所述的裝置，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核輸出通道參數值求平均值處理后得到的。
15.一種圖像處理的裝置，其特征在于，包括：
16.根據權利要求15所述的裝置，其特征在于，所述第一處理模塊，還用于：
17.一種圖像處理裝置，其特征在于，包括處理器，所述處理器和存儲器耦合，所述存儲器存儲有程序指令，當所述存儲器存儲的程序指令被所述處理器執行時實現權利要求1至6中任一項所述的方法。
18.一種圖像處理的裝置，其特征在于，包括處理器，所述處理器和存儲器耦合，所述存儲器存儲有程序指令，當所述存儲器存儲的程序指令被所述處理器執行時實現權利要求7或8所述的方法。
19.一種計算機可讀存儲介質，其特征在于，包括程序，當所述程序在計算機上運行時，使得計算機執行如權利要求1至6中任一項所述的方法。
20.一種計算機可讀存儲介質，其特征在于，包括程序，當所述程序在計算機上運行時，使得計算機執行如權利要求7或8所述的方法。
...【技術特征摘要】
1.一種神經網絡的訓練方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核的輸出通道參數值進行加權處理后得到的，所述多個目標卷積核的輸出通道參數值包括第一卷積核的輸出通道參數值和第二卷積核的輸出通道參數值，所述第一卷積核的輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述第二卷積核輸出通道參數值是基于所述多個預訓練神經網絡的第i層卷積核的輸出通道參數值和第二訓練圖像得到的，所述第二訓練圖像和所述第一訓練圖像的類別相同，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，所述第一卷積核輸出通道參數值具體是對多個參考值進行加權處理后獲取的，所述多個參考值是對第一神經網絡的輸出和每個所述預訓練神經網絡的第i層卷積核的輸出通道參數值進行目標運算后得到的，所述第一神經網絡的輸入為第一特征向量，所述第一特征向量是基于所述特征提取網絡的第i-1層卷積核的輸出通道參數值和所述第一訓練圖像得到的，所述根據所述預測結果和所述第一訓練圖像對應的期望結果之間的差異對所述元參數預測網絡進行訓練，包括：
4.根據權利要求3所述的方法，其特征在于，所述多個參考值的權重是基于第二神經網絡的輸出值得到的，所述第二神經網絡的輸入為所述第一特征向量，所述根據所述預測結果和所述第一訓練圖像對應的期望結果之間的差異對所述元參數預測網絡進行訓練，還包括：
5.根據權利要求3或4所述的方法，其特征在于，所述方法還包括：
6.根據權利要求2至5任一項所述的方法，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核輸出通道參數值求平均值處理后得到的。
7.一種圖像處理的方法，其特征在于，包括：
8.根據權利要求7所述的方法，其特征在于，所述方法還包括：
9.一種圖像處理裝置，其特征在于，包括：
10.根據權利要求9所述的裝置，其特征在于，所述特征提取網絡的第i層卷積核的輸出通道參數值是對多個目標卷積核的輸出通道參數值進行加權處理后得到的，所述多個目標卷積核的輸出通道參數值包括第一卷積核的輸出通道參數值和第二...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。