System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及計算機視覺,尤其涉及目標檢測域適應方法、設備、存儲介質及計算機程序產品。
技術介紹
1、無監督目標檢測域適應任務是當源域(source?domain)和目標域(targetdomain)之間存在明顯的數據分布差異時,不依賴于目標域的標注數據,直接將源域訓練好的模型適應到目標域。通過對齊源域和目標域之間的數據特征,讓源域和目標域之間的特征更加相似來實現目標檢測域適應。然而通過對抗訓練判別器的方式對齊源域和目標域之間的圖像級和實例級特征,強行將源域和目標域的特征靠近,會產生模糊的分類邊界,導致錯誤的分類,極端情況下還可能會使得所有實例特征沒有區分性,導致無法正常分類。此外,通過對抗訓練判別器的方式對齊源域和目標域之間的圖像級和實例級特征實現目標檢測域適應還受到源域和目標域之間數據不平衡的影響,數據不平衡會嚴重影響目標檢測域的適應過程。
2、因此,如何避免數據不平衡以及產生模糊分類邊界,更好地進行目標檢測域適應,成為本申請亟需解決的問題。
3、上述內容僅用于輔助理解本申請的技術方案,并不代表承認上述內容是現有技術。
技術實現思路
1、本申請的主要目的在于提供一種目標檢測域適應方法、設備、存儲介質及計算機程序產品,旨在解決如何避免數據不平衡以及產生模糊分類邊界,更好地進行目標檢測域適應的技術問題。
2、為實現上述目的,本申請提出一種目標檢測域適應方法,所述方法包括:
3、根據預先搭建的引擎構建仿真環境;
4、根據特定數據
5、獲取從真實環境中采集的目標域數據;
6、將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽;
7、對所述圖像級特征以及所述目標域偽標簽使用目標類別對比學習來進行目標檢測域適應。
8、在一實施例中,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之前還包括:
9、獲取學生模型和教師模型;
10、對所述學生模型之間進行權重共享,所述教師模型之間進行權重共享;
11、通過權重共享的學生模型和權重共享的教師模型構建平均教師對抗域適應基線模型。
12、在一實施例中,所述平均教師對抗域適應基線模型包括第一教師模型、第二教師模型、第一學生模型、第二學生模型中的一種或多種,將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟包括:
13、分別對所述源域數據進行弱增強處理和強增強處理;
14、將經過弱增強處理后的源域數據輸入所述第一教師模型,得到第一源域圖像級特征和源域標簽;
15、將經過強增強處理后的源域數據輸入所述第一學生模型,得到第二源域圖像級特征;
16、分別對所述目標域數據進行弱增強處理和強增強處理;
17、將經過弱增強處理后的目標域數據輸入第二教師模型,得到第一目標域圖像級特征以及目標域偽標簽;
18、將經過強增強處理后的目標域數據輸入第二學生模型得到第二目標域圖像級特征;
19、基于所述第一源域圖像級特征、所述第二源域圖像級特征、所述第一目標域圖像級特征、所述第二目標域圖像級特征構成圖像級特征。
20、在一實施例中,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之后還包括:
21、利用域判別器對所述圖像級特征進行特征對齊;
22、將所述目標域偽標簽作為監督所述第二學生模型的監督信號;
23、將所述源域標簽作為監督所述第一學生模型的監督信號;
24、通過所述第二學生模型的監督信號、所述第一學生模型的監督信號以及進行特征對齊后的圖像級特征最小化檢測器損失。
25、在一實施例中,所述目標類別對比學習包括:域內域間對比損失、不平衡對比損失,所述對所述圖像級特征以及所述目標域偽標簽使用目標類別對比學習來進行目標檢測域適應的步驟包括:
26、基于所述圖像級特征和所述目標域偽標簽提取目標區域特征;
27、通過將所述目標區域特征投影到分類對比學習潛在空間,進行域間域內對比損失,得到對比損失值;
28、基于所述對比損失值計算不平衡對比損失值;
29、結合所述對比損失值以及所述不平衡對比損失值進行目標檢測域適應。在一實施例中,所述目標區域特征包括:強增強源域、弱增強源域、弱增強目標域、強增強目標域中的一種或多種,所述通過將所述目標區域特征投影到分類對比學習潛在空間,進行域間域內對比損失,得到對比損失值的步驟包括:
30、將所述目標區域特征投影到分類對比學習潛在空間;
31、將所述強增強源域和所述強增強目標域定義為查詢樣本;
32、將所述弱增強源域和所述弱增強目標域定義為關鍵樣本;
33、將所述關鍵樣本存儲至類平衡動量字典中;
34、以所述查詢樣本為錨點,結合所述類平衡動量字典對所述目標區域特征進行域內域間對比損失。
35、在一實施例中,所述基于所述對比損失值計算不平衡對比損失值步驟包括:
36、統計所述錨點所屬域類對中的實例數量;
37、基于所述實例數量引入類別不平衡系數和域不平衡系數;
38、根據所述類別不平衡系數以及所述域不平衡系數對所述對比損失值進行重新加權計算,得到不平衡對比損失值。
39、此外,為實現上述目的,本申請還提出一種目標檢測域適應設備,所述設備包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述計算機程序配置為實現如上文所述的目標檢測域適應方法的步驟。
40、此外,為實現上述目的,本申請還提出一種存儲介質,所述存儲介質為計算機可讀存儲介質,所述存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時實現如上文所述的目標檢測域適應方法的步驟。
41、此外,為實現上述目的,本申請還提供一種計算機程序產品,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時實現如上文所述的目標檢測域適應方法的步驟。
42、本申請提出的一個或多個技術方案,至少具有以下技術效果:
43、用預先搭建的搭建引擎構建特定場景下的仿真環境,根據特定的數據采集算法從仿真環境中采集大量有標簽的源域數據。通過仿真環境采集大量帶標簽的源域數據之后,再從真實環境中采集一定量的無標簽目標域數據。采用的對抗訓練的方式,將源域數據和目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽。目標類別對比學習包括四個方向的對比損失以本文檔來自技高網...
【技術保護點】
1.一種目標檢測域適應方法,其特征在于,所述方法包括:
2.如權利要求1所述的方法,其特征在于,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之前還包括:
3.如權利要求2所述的方法,其特征在于,所述平均教師對抗域適應基線模型包括第一教師模型、第二教師模型、第一學生模型、第二學生模型中的一種或多種,將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟包括:
4.如權利要求3所述的方法,其特征在于,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之后還包括:
5.如權利要求1所述的方法,其特征在于,所述目標類別對比學習包括:域內域間對比損失、不平衡對比損失,所述對所述圖像級特征以及所述目標域偽標簽使用目標類別對比學習來進行目標檢測域適應的步驟包括:
6.如權利要求5所述的方法,其特征在于,所述目標區域特征包括:
7.如權利要求5所述的方法,其特征在于,所述基于所述對比損失值計算不平衡對比損失值的步驟包括:
8.一種目標檢測域適應設備,其特征在于,所述設備包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述計算機程序配置為實現如權利要求1至7中任一項所述的目標檢測域適應方法的步驟。
9.一種存儲介質,其特征在于,所述存儲介質為計算機可讀存儲介質,所述存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的目標檢測域適應方法的步驟。
10.一種計算機程序產品,其特征在于,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的目標檢測域適應方法的步驟。
...【技術特征摘要】
1.一種目標檢測域適應方法,其特征在于,所述方法包括:
2.如權利要求1所述的方法,其特征在于,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之前還包括:
3.如權利要求2所述的方法,其特征在于,所述平均教師對抗域適應基線模型包括第一教師模型、第二教師模型、第一學生模型、第二學生模型中的一種或多種,將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟包括:
4.如權利要求3所述的方法,其特征在于,所述將所述源域數據和所述目標域數據輸入預先構建的平均教師對抗域適應基線模型中進行處理,得到圖像級特征以及目標域偽標簽的步驟之后還包括:
5.如權利要求1所述的方法,其特征在于,所述目標類別對比學習包括:域內域間對比損失、不平衡對比損失,所述對所述圖像級特征以及所述目標域偽標簽使用目標類別對比學習來進行目標檢測域適應的步驟包括:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。