一種遙感圖像長尾分布目標半監(jiān)督檢測方法技術(shù)

本發(fā)明專利技術(shù)公開了一種遙感圖像長尾分布目標半監(jiān)督檢測方法，包括：將教師

【技術(shù)實現(xiàn)步驟摘要】
一種遙感圖像長尾分布目標半監(jiān)督檢測方法


[0001]本專利技術(shù)涉及數(shù)字圖像處理
，特別涉及一種基于主動學習的半監(jiān)督遙感圖像長尾目標檢測方法。

技術(shù)介紹

[0002]半監(jiān)督目標檢測是計算機視覺領(lǐng)域的一項研究課題，旨在通過結(jié)合有標注和無標注數(shù)據(jù)來提高目標檢測的性能。在傳統(tǒng)的目標檢測算法中，有監(jiān)督方法需要大量的有標注數(shù)據(jù)進行訓練，但是獲取有標注數(shù)據(jù)的成本很高，而且標注數(shù)據(jù)往往存在不準確、不完整等問題，這限制了算法的性能和應用范圍。
[0003]半監(jiān)督學習的方法結(jié)合有標注數(shù)據(jù)和無標注數(shù)據(jù)來訓練模型。具體而言，通過利用少量的有標注數(shù)據(jù)進行監(jiān)督學習，結(jié)合大量的無標注數(shù)據(jù)進行自監(jiān)督學習，從而提高目標檢測的性能。無標注數(shù)據(jù)可以是從互聯(lián)網(wǎng)上下載的圖片或視頻，也可以是從其他應用場景中獲取的數(shù)據(jù)。通過半監(jiān)督學習的方法，可以有效地利用有限的有標注數(shù)據(jù)和大量的無標注數(shù)據(jù)，從而提高目標檢測的性能和可靠性。
[0004]但是，在遙感圖像目標檢測任務中，經(jīng)常會出現(xiàn)一些類別的樣本數(shù)目較少，而另一些類別的樣本數(shù)目較多的情況，這就形成了長尾分布。由于模型在訓練過程中更容易學習到出現(xiàn)頻率較高的類別，而忽略掉出現(xiàn)頻率較低的類別，因此長尾分布會對模型的性能造成較大的影響。
[0005]傳統(tǒng)算法如SVM等，基于圖像特征對目標進行檢測，需要手動篩選特征，工作量大，而且難以解決類別不平衡的長尾分布問題。基于深度學習的遙感圖像目標檢測技術(shù)大多是先通過深度卷積網(wǎng)絡(luò)(CNN)對圖像特征進行提取，然后對生成的特征圖進行前景區(qū)域與背景區(qū)域的分離，對得到的前景區(qū)域進行分類與目標檢測框的回歸，最后得到目標檢測結(jié)果。但這種方法對于樣本中一些類別數(shù)目較少，而另一些類別數(shù)目較多的長尾分布問題的處理效果很差。因為，模型在訓練過程中更容易學習到出現(xiàn)頻率較高的類別，而忽略掉出現(xiàn)頻率較低的類別。這使得模型學習到了很多偏置信息，從而影響了網(wǎng)絡(luò)的檢測精度。此外，遙感圖像中有些圖像背景復雜，目標種類多，數(shù)目多，分布密集，而另一些數(shù)目少，分布稀疏，也就是樣本的難易程度存在較大差異。這對半監(jiān)督目標檢測的監(jiān)督樣本的篩選也提出了很高的要求，而傳統(tǒng)的半監(jiān)督目標檢測也忽略了這一特點，檢測結(jié)果往往不盡如人意。并且傳統(tǒng)的隨機篩選可能漏掉大量有價值的樣本導致模型學習到的知識不夠。
[0006]因此，如何提供一種針對遙感圖像長尾分布目標，能夠提高遙感圖像目標檢測的性能的半監(jiān)督檢測方法是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

[0007]本專利技術(shù)針對上述研究現(xiàn)狀和存在的問題，提供了一種遙感圖像長尾分布目標半監(jiān)督檢測方法，通過將師生學習網(wǎng)絡(luò)框架擴展為一個基于主動學習的迭代框架，提高偽標簽生成的質(zhì)量；通過使用平衡類別數(shù)據(jù)集調(diào)整分類器，緩解遙感數(shù)據(jù)集中類別不平衡的問題。
[0008]本專利技術(shù)提供的一種遙感圖像長尾分布目標半監(jiān)督檢測方法，包括如下步驟：
[0009]S1：教師
?
學生學習模型的構(gòu)建：從遙感圖像公共數(shù)據(jù)集中篩選有標注數(shù)據(jù)，使用有標注數(shù)據(jù)訓練基準目標檢測器，采用兩階段訓練策略優(yōu)化基準目標檢測器訓練過程：
[0010]使用長尾數(shù)據(jù)集中頭部類別有標注數(shù)據(jù)訓練基準目標檢測器的特征提取部分，并固定特征提取部分的網(wǎng)絡(luò)參數(shù)，得到一階段基準目標檢測器；
[0011]針對長尾數(shù)據(jù)集中所有類別平均提取給定數(shù)量個有標注數(shù)據(jù)樣本，得到平衡類別數(shù)據(jù)集，使用平衡類別數(shù)據(jù)集訓練一階段基準目標檢測器的分類回歸部分，得到優(yōu)化后的基準目標檢測器，教師模型和學生模型均采用優(yōu)化后的基準目標檢測器網(wǎng)絡(luò)結(jié)構(gòu)；
[0012]S2：教師模型的主動采樣：從公共數(shù)據(jù)集中篩選無標注數(shù)據(jù)，教師模型根據(jù)設(shè)定的度量指標對所述無標注數(shù)據(jù)進行主動采樣，對符合所述度量指標要求的無標注數(shù)據(jù)進行人工標注，得到新標注數(shù)據(jù)，將新標注數(shù)據(jù)與S1篩選的有標注數(shù)據(jù)合并，對于遙感圖像公共數(shù)據(jù)集中其余的無標注數(shù)據(jù)進行預測，產(chǎn)生偽標簽，預測結(jié)果為偽標簽數(shù)據(jù)；
[0013]S3：學生模型的半監(jiān)督學習：使用遙感圖像公共數(shù)據(jù)集中的有標注數(shù)據(jù)和偽標簽數(shù)據(jù)共同訓練學生模型；
[0014]S4：偽標簽篩選：學生模型的當前訓練輪次結(jié)束后，根據(jù)學生模型對無標注數(shù)據(jù)進行預測產(chǎn)生的檢測的標注類別和偽標簽的標簽類別的相似度，對所述偽標簽進行篩選，篩選的所述偽標簽數(shù)據(jù)參與下一輪次的訓練；
[0015]S5：迭代訓練：重復S2
?
S4，直到達到預設(shè)的訓練輪次或者教師
?
學生學習模型訓練性能滿足預設(shè)值要求為止。
[0016]優(yōu)選的，所述兩階段訓練策略具體包括：
[0017]使用長尾數(shù)據(jù)集中樣本數(shù)量滿足要求的頭部類別的有標注數(shù)據(jù)訓練基準目標檢測器的特征提取部分，并固定特征提取部分的網(wǎng)絡(luò)參數(shù)，得到一階段基準目標檢測器；
[0018]以長尾數(shù)據(jù)集中樣本數(shù)量最少的尾部類別的有標注數(shù)據(jù)的數(shù)量N為準，針對長尾數(shù)據(jù)集中所有類別的有標注數(shù)據(jù)均提取N個，N≥1，得到平衡類別數(shù)據(jù)集，使用平衡類別數(shù)據(jù)集訓練一階段基準目標檢測器的分類回歸部分，得到優(yōu)化后的基準目標檢測器。
[0019]優(yōu)選的，所述S2中設(shè)定的度量指標包括：困難度指標、信息量指標和多樣性指標，并以L1范式對三個指標進行聯(lián)合，得到所述度量指標。
[0020]優(yōu)選的，所述S2還包括：設(shè)置一個閾值，教師模型對符合所述度量指標要求的無標注數(shù)據(jù)進行預測，得到預測框，所述預測框的置信度高于所述閾值時，確定為正樣本，并產(chǎn)生偽標簽。
[0021]優(yōu)選的，所述S2還包括：對篩選的無標注數(shù)據(jù)人工標注后，將篩選的無標注數(shù)據(jù)從所述長尾數(shù)據(jù)集中移除并加入到遙感圖像公共數(shù)據(jù)集中的有標記數(shù)據(jù)中的步驟。
[0022]優(yōu)選的，所述S4包括：
[0023]學生模型的當前訓練輪次結(jié)束后，對無標注數(shù)據(jù)進行預測產(chǎn)生檢測框一，學生模型對有標注數(shù)據(jù)進行預測產(chǎn)生檢測框二；
[0024]將與所述檢測框一滿足相似度要求的偽標簽進行保留，相應的偽標簽數(shù)據(jù)參與學生模型下一輪次的訓練；
[0025]無監(jiān)督損失函數(shù)為學生模型與偽標簽數(shù)據(jù)產(chǎn)生的損失函數(shù)，有監(jiān)督損失函數(shù)為學生模型與有標注數(shù)據(jù)產(chǎn)生的損失函數(shù)；通過反向傳播算法，將損失值從輸出層向輸入層傳
播，計算學生模型每個參數(shù)對損失的貢獻度，并更新學生模型參數(shù)值。
[0026]優(yōu)選的，所述S5包括：
[0027]重復S2
?
S4，直到達到預設(shè)的訓練輪次或者學生模型的性能指標滿足預設(shè)值要求為止。
[0028]優(yōu)選的，所述S4還包括：
[0029]判斷學生模型對無標注數(shù)據(jù)進行預測產(chǎn)生的檢測框一與相應的所述偽標簽的相似度是否滿足要求；
[0030]若是，則所述偽標簽數(shù)據(jù)參與下一輪次的訓練；
[0031]若否，則確定所述偽標簽為噪聲標簽，并將所述噪聲標簽對應的數(shù)據(jù)從訓練數(shù)據(jù)中移除。
[0032]優(yōu)選的，所述S1中篩選的有標注數(shù)據(jù)和所述S2中篩選的無標注數(shù)據(jù)為將所述遙感圖像隨機切分為設(shè)定比例的小圖像，并設(shè)置所述本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種遙感圖像長尾分布目標半監(jiān)督檢測方法，其特征在于：包括如下步驟：S1：教師
?
學生學習模型的構(gòu)建：從遙感圖像公共數(shù)據(jù)集中篩選有標注數(shù)據(jù)，使用有標注數(shù)據(jù)訓練基準目標檢測器，采用兩階段訓練策略優(yōu)化基準目標檢測器訓練過程：使用長尾數(shù)據(jù)集中頭部類別有標注數(shù)據(jù)訓練基準目標檢測器的特征提取部分，并固定特征提取部分的網(wǎng)絡(luò)參數(shù)，得到一階段基準目標檢測器；針對長尾數(shù)據(jù)集中所有類別平均提取給定數(shù)量個有標注數(shù)據(jù)樣本，得到平衡類別數(shù)據(jù)集，使用平衡類別數(shù)據(jù)集訓練一階段基準目標檢測器的分類回歸部分，得到優(yōu)化后的基準目標檢測器，教師模型和學生模型均采用優(yōu)化后的基準目標檢測器網(wǎng)絡(luò)結(jié)構(gòu)；S2：教師模型的主動采樣：從遙感圖像公共數(shù)據(jù)集中篩選無標注數(shù)據(jù)，教師模型根據(jù)設(shè)定的度量指標對所述無標注數(shù)據(jù)進行主動采樣，對符合所述度量指標要求的無標注數(shù)據(jù)進行人工標注，得到新標注數(shù)據(jù)，將新標注數(shù)據(jù)與S1篩選的有標注數(shù)據(jù)合并，對遙感圖像公共數(shù)據(jù)集中其余的無標注數(shù)據(jù)進行預測，產(chǎn)生偽標簽，預測結(jié)果為偽標簽數(shù)據(jù)；S3：學生模型的半監(jiān)督學習：使用遙感圖像公共數(shù)據(jù)集中的有標注數(shù)據(jù)和偽標簽數(shù)據(jù)共同訓練學生模型；S4：偽標簽篩選：學生模型的當前訓練輪次結(jié)束后，根據(jù)學生模型對無標注數(shù)據(jù)進行預測產(chǎn)生的檢測框一檢測的標注類別和偽標簽的標簽類別的相似度，對所述偽標簽進行篩選，篩選的所述偽標簽數(shù)據(jù)參與下一輪次的訓練；S5：迭代訓練：重復S2
?
S4，直到達到預設(shè)的訓練輪次或者教師
?
學生學習模型訓練性能滿足預設(shè)值要求為止。2.根據(jù)權(quán)利要求1所述的一種遙感圖像長尾分布目標半監(jiān)督檢測方法，其特征在于，所述兩階段訓練策略具體包括：使用長尾數(shù)據(jù)集中樣本數(shù)量滿足要求的頭部類別的有標注數(shù)據(jù)訓練基準目標檢測器的特征提取部分，并固定特征提取部分的網(wǎng)絡(luò)參數(shù)，得到一階段基準目標檢測器；以長尾數(shù)據(jù)集中樣本數(shù)量最少的尾部類別的有標注數(shù)據(jù)的數(shù)量N為準，針對長尾數(shù)據(jù)集中所有類別的有標注數(shù)據(jù)均提取N個，N≥1，得到平衡類別數(shù)據(jù)集，使用平衡類別數(shù)據(jù)集訓練一階段基準目標檢測器的分類回歸部分，得到優(yōu)化后的基準目標檢測器。3.根據(jù)權(quán)利要求1所述的一種遙感圖像長尾分布目標半監(jiān)督檢測方法，其特征在于，所述S2中設(shè)定的度量指標包括：困難度指標、信息量指標和多樣性指...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張浩鵬，姚黎帆，王毓浩，張信耶，宋佳蕓，張芳芳，
申請(專利權(quán))人：北京航空航天大學青島研究院，
類型：發(fā)明
國別省市：