域自適應(yīng)語義分割方法、裝置、電子設(shè)備和存儲介質(zhì)制造方法及圖紙

本公開提供的域自適應(yīng)語義分割方法，包括：構(gòu)建學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)；執(zhí)行以下操作，獲得本輪學(xué)生網(wǎng)絡(luò)：利用源域數(shù)據(jù)和帶離線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)對學(xué)生網(wǎng)絡(luò)進行訓(xùn)練；計算相鄰兩次迭代由學(xué)生網(wǎng)絡(luò)輸出的目標(biāo)域數(shù)據(jù)的預(yù)測變化量；利用學(xué)生網(wǎng)絡(luò)對教師網(wǎng)絡(luò)進行動量更新；根據(jù)更新后的教師網(wǎng)絡(luò)構(gòu)造目標(biāo)域數(shù)據(jù)的在線偽標(biāo)簽；利用源域數(shù)據(jù)和帶在線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)，對學(xué)生網(wǎng)絡(luò)進行自蒸餾和對抗訓(xùn)練，得到本輪學(xué)生網(wǎng)絡(luò)；若本輪得到的所有預(yù)測變化量的統(tǒng)計值達到閾值，則迭代結(jié)束，利用最終的學(xué)生網(wǎng)絡(luò)對數(shù)據(jù)進行語義分割；若未達到閾值，則構(gòu)造目標(biāo)域數(shù)據(jù)的離線偽標(biāo)簽并通過其預(yù)測熵確定新一輪訓(xùn)練中目標(biāo)域數(shù)據(jù)的采樣次序。本公開的泛化能力強且精度高。的泛化能力強且精度高。的泛化能力強且精度高。

【技術(shù)實現(xiàn)步驟摘要】
域自適應(yīng)語義分割方法、裝置、電子設(shè)備和存儲介質(zhì)


[0001]本公開屬于圖像域自適應(yīng)語義分割領(lǐng)域，具體涉及一種基于Transformer在線離線聯(lián)合學(xué)習(xí)的域自適應(yīng)語義分割方法、裝置、電子設(shè)備和此存儲介質(zhì)。

技術(shù)介紹

[0002]語義分割是計算機視覺中最中心的任務(wù)之一，旨在為圖像逐像素進行語義分類。語義分割需要對訓(xùn)練圖像進行逐像素標(biāo)注，然而在實踐中由于其高昂的標(biāo)注成本，往往難以獲得這些密集逐像素標(biāo)簽，這使得語義分割任務(wù)變得更具挑戰(zhàn)性。一個普遍采用的解決方案是域自適應(yīng)語義分割，首先通過虛擬仿真環(huán)境采集大量自動標(biāo)注的虛擬圖像，并在虛擬圖像上訓(xùn)練模型，然后通過Sim2Real虛實遷移的域自適應(yīng)方法在沒有標(biāo)注的真實圖像上微調(diào)模型，使模型能夠遷移至真實場景中。盡管傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)CNN的方法在各種語義分割任務(wù)上都具有不錯的表現(xiàn)，但是它們?nèi)匀粺o法應(yīng)對域沖突，在域自適應(yīng)過程中遭受了性能瓶頸，距離有標(biāo)注監(jiān)督的語義分割性能還有很大差距。如今Transformer網(wǎng)絡(luò)架構(gòu)在各個任務(wù)上都表現(xiàn)出了比CNN更強大的性能，并且對形狀等高級特征具有更強的語義表征能力，而形狀等特征具有很強的域不變性，是域自適應(yīng)任務(wù)非常重要的對稱性先驗。因此，有必要基于Transformer網(wǎng)絡(luò)架構(gòu)開發(fā)一種更有效的域自適應(yīng)語義分割訓(xùn)練方法，以提供具有實際使用價值的語義分割模型。

技術(shù)實現(xiàn)思路

[0003]本公開旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
[0004]為此，本公開第一方面實施例提供的域自適應(yīng)語義分割方法，基于Transformer在線離線聯(lián)合學(xué)習(xí)的方式，可獲得泛化能力更強的域自適應(yīng)性能和更精細的語義分割結(jié)果。
[0005]本公開第一方面實施例提供的域自適應(yīng)語義分割方法，包括：
[0006]S100：獲取不同域數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括有真實標(biāo)簽的源域數(shù)據(jù)和無標(biāo)簽的目標(biāo)域數(shù)據(jù)，基于Transformer網(wǎng)絡(luò)分別構(gòu)建學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)，初始化各網(wǎng)絡(luò)的參數(shù)并初始化迭代訓(xùn)練次數(shù)和迭代訓(xùn)練輪數(shù)均為0；
[0007]S200：執(zhí)行以下操作，通過所述訓(xùn)練數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)和所述教師網(wǎng)絡(luò)進行迭代訓(xùn)練，獲得本輪學(xué)生網(wǎng)絡(luò)：
[0008]S210：針對首輪的每次迭代，僅利用有標(biāo)簽的源域數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)進行訓(xùn)練，針對其余輪的每次迭代，利用有標(biāo)簽的源域數(shù)據(jù)和帶離線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)進行訓(xùn)練；
[0009]S220：計算本次與上一次迭代由所述學(xué)生網(wǎng)絡(luò)輸出的針對目標(biāo)域數(shù)據(jù)的預(yù)測變化量；
[0010]S230：利用所述學(xué)生網(wǎng)絡(luò)對所述教師網(wǎng)絡(luò)進行動量更新，得到更新后的教師網(wǎng)絡(luò)；
[0011]S240：根據(jù)更新后的所述教師網(wǎng)絡(luò)，構(gòu)造目標(biāo)域數(shù)據(jù)的在線偽標(biāo)簽；
[0012]S250：利用有標(biāo)簽的源域數(shù)據(jù)和帶在線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)，對所述學(xué)生網(wǎng)絡(luò)進
行自蒸餾和對抗訓(xùn)練；
[0013]S260：令迭代訓(xùn)練次數(shù)加1，若在線迭代訓(xùn)練次數(shù)達到在線迭代訓(xùn)練次數(shù)上限，則獲得本輪學(xué)生網(wǎng)絡(luò)，進入步驟S300，若未達到迭代訓(xùn)練次數(shù)上限，則返回步驟S210繼續(xù)對學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進行迭代訓(xùn)練；
[0014]S300：按照以下步驟進行下一輪迭代訓(xùn)練前的準(zhǔn)備操作：
[0015]S310：計算本輪迭代訓(xùn)練過程中得到的所有所述預(yù)測變化量的統(tǒng)計值，判斷所述統(tǒng)計值是否達到閾值，若未達到閾值，則迭代訓(xùn)練結(jié)束，將最終獲得的學(xué)生網(wǎng)絡(luò)作為語義分割模型并進入步驟S400，若達到閾值，則令迭代訓(xùn)練輪數(shù)加1后執(zhí)行步驟S320；
[0016]S320：根據(jù)上一輪迭代訓(xùn)練得到的所述學(xué)生網(wǎng)絡(luò)構(gòu)造目標(biāo)域數(shù)據(jù)的離線偽標(biāo)簽；
[0017]S330：根據(jù)所述離線偽標(biāo)簽的預(yù)測熵對所述目標(biāo)域數(shù)據(jù)進行重排序，以確定新一輪迭代訓(xùn)練中所述目標(biāo)域數(shù)據(jù)的采樣次序；
[0018]S340：初始化所述學(xué)生網(wǎng)絡(luò)和所述教師網(wǎng)絡(luò)，初始化迭代訓(xùn)練次數(shù)為0，并返回步驟S210對所述學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進行新一輪迭代訓(xùn)練；
[0019]S400：利用所述語義分割模型對待處理的數(shù)據(jù)進行語義分割。
[0020]在一些實施例中，步驟S210中采用分別按照下式構(gòu)造的源域語義分割交叉熵損失函數(shù)和目標(biāo)域語義分割交叉熵損失函數(shù)
[0021][0022][0023]其中，表示求取數(shù)學(xué)期望，為源域數(shù)據(jù)的第k類的真實標(biāo)簽，為學(xué)生網(wǎng)絡(luò)對輸入的源域數(shù)據(jù)x
s
第k類的預(yù)測概率，為由源域數(shù)據(jù)x
s
構(gòu)建的源域數(shù)據(jù)集；為目標(biāo)域數(shù)據(jù)的第k類離線偽標(biāo)簽，為學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)x
t
第k類的預(yù)測概率，為由目標(biāo)域數(shù)據(jù)x
t
構(gòu)建的目標(biāo)域數(shù)據(jù)集；K
c
為語義類別總數(shù)，源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集含有的語義類別總數(shù)相等。
[0024]在一些實施例中，步驟S220中，按照下式計算相鄰兩次迭代由學(xué)生網(wǎng)絡(luò)輸出的針對目標(biāo)域數(shù)據(jù)的預(yù)測變化量：
[0025][0026]其中，p
i
和p
i+1
分別為第i次和第i+1次迭代訓(xùn)練時學(xué)生網(wǎng)絡(luò)對目標(biāo)域數(shù)據(jù)的預(yù)測輸出，為第i次迭代訓(xùn)練時學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)的第w行、第h列的第k類的預(yù)測概率，W和H為學(xué)生網(wǎng)絡(luò)輸出的預(yù)測像素尺寸，K
c
為語義類別總數(shù)。
[0027]在一些實施例中，步驟S230中，利用所述學(xué)生網(wǎng)絡(luò)對所述教師網(wǎng)絡(luò)按照下式進行動量更新：
[0028]θ
t
←
αθ
t
+(1
?
α)θ
s
[0029]其中，θ
t
為所述教師網(wǎng)絡(luò)的參數(shù)，θ
s
為所述學(xué)生網(wǎng)絡(luò)的參數(shù)，α為動量更新系數(shù)，α的取值范圍為[0，1)。
[0030]在一些實施例中，步驟S240中，按照下式構(gòu)造目標(biāo)域數(shù)據(jù)的在線偽標(biāo)簽：
[0031][0032]其中，為目標(biāo)域數(shù)據(jù)的第k類在線偽標(biāo)簽，為one
?
hot形式的向量，為所述教師網(wǎng)絡(luò)對目標(biāo)域數(shù)據(jù)的第k
′
類的預(yù)測概率，k
′
取1～K
c
中的任意值，K
c
為語義類別總數(shù)，代表最大時對應(yīng)的類別；和/或
[0033]步驟S320中，按照下式構(gòu)造目標(biāo)域數(shù)據(jù)的離線偽標(biāo)簽：
[0034][0035]其中，為目標(biāo)域數(shù)據(jù)的第k類離線偽標(biāo)簽，為one
?
hot形式的向量，為上一輪迭代訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)的第k
′
類的預(yù)測概率。
[0036]在一些實施例中，步驟S250對所述學(xué)生網(wǎng)絡(luò)進行自蒸餾和對抗訓(xùn)練的過程中，
[0037]采用按照下式構(gòu)造的目標(biāo)域自蒸餾交叉熵損失函數(shù)
[0038][0039]采用按照下式構(gòu)造的動態(tài)對抗學(xué)習(xí)損失函數(shù)
[0040][0041][0042][0043][0044]其中，為由源域數(shù)據(jù)x
s
構(gòu)建的源本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種域自適應(yīng)語義分割方法，其特征在于，包括：S100：獲取不同域數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括有真實標(biāo)簽的源域數(shù)據(jù)和無標(biāo)簽的目標(biāo)域數(shù)據(jù)，基于Transformer網(wǎng)絡(luò)分別構(gòu)建學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)，初始化各網(wǎng)絡(luò)的參數(shù)并初始化迭代訓(xùn)練次數(shù)和迭代訓(xùn)練輪數(shù)均為0；S200：執(zhí)行以下操作，通過所述訓(xùn)練數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)和所述教師網(wǎng)絡(luò)進行迭代訓(xùn)練，獲得本輪學(xué)生網(wǎng)絡(luò)：S210：針對首輪的每次迭代，僅利用有標(biāo)簽的源域數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)進行訓(xùn)練，針對其余輪的每次迭代，利用有標(biāo)簽的源域數(shù)據(jù)和帶離線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)對所述學(xué)生網(wǎng)絡(luò)進行訓(xùn)練；S220：計算本次與上一次迭代由所述學(xué)生網(wǎng)絡(luò)輸出的針對目標(biāo)域數(shù)據(jù)的預(yù)測變化量；S230：利用所述學(xué)生網(wǎng)絡(luò)對所述教師網(wǎng)絡(luò)進行動量更新，得到更新后的教師網(wǎng)絡(luò)；S240：根據(jù)更新后的所述教師網(wǎng)絡(luò)，構(gòu)造目標(biāo)域數(shù)據(jù)的在線偽標(biāo)簽；S250：利用有標(biāo)簽的源域數(shù)據(jù)和帶在線偽標(biāo)簽的目標(biāo)域數(shù)據(jù)，對所述學(xué)生網(wǎng)絡(luò)進行自蒸餾和對抗訓(xùn)練；S260：令迭代訓(xùn)練次數(shù)加1，若在線迭代訓(xùn)練次數(shù)達到在線迭代訓(xùn)練次數(shù)上限，則獲得本輪學(xué)生網(wǎng)絡(luò)，進入步驟S300，若未達到迭代訓(xùn)練次數(shù)上限，則返回步驟S210繼續(xù)對學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進行迭代訓(xùn)練；S300：按照以下步驟進行下一輪迭代訓(xùn)練前的準(zhǔn)備操作：S310：計算本輪迭代訓(xùn)練過程中得到的所有所述預(yù)測變化量的統(tǒng)計值，判斷所述統(tǒng)計值是否達到閾值，若未達到閾值，則迭代訓(xùn)練結(jié)束，將最終獲得的學(xué)生網(wǎng)絡(luò)作為語義分割模型并進入步驟S400，若達到閾值，則令迭代訓(xùn)練輪數(shù)加1后執(zhí)行步驟S320；S320：根據(jù)上一輪迭代訓(xùn)練得到的所述學(xué)生網(wǎng)絡(luò)構(gòu)造目標(biāo)域數(shù)據(jù)的離線偽標(biāo)簽；S330：根據(jù)所述離線偽標(biāo)簽的預(yù)測熵對所述目標(biāo)域數(shù)據(jù)進行重排序，以確定新一輪迭代訓(xùn)練中所述目標(biāo)域數(shù)據(jù)的采樣次序；S340：初始化所述學(xué)生網(wǎng)絡(luò)和所述教師網(wǎng)絡(luò)，初始化迭代訓(xùn)練次數(shù)為0，并返回步驟S210對所述學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進行新一輪迭代訓(xùn)練；S400：利用所述語義分割模型對待處理的數(shù)據(jù)進行語義分割。2.根據(jù)權(quán)利要求1所述的域自適應(yīng)語義分割方法，其特征在于，步驟S210中采用分別按照下式構(gòu)造的源域語義分割交叉熵損失函數(shù)和目標(biāo)域語義分割交叉熵損失函數(shù)和目標(biāo)域語義分割交叉熵損失函數(shù)和目標(biāo)域語義分割交叉熵損失函數(shù)其中，表示求取數(shù)學(xué)期望，為源域數(shù)據(jù)的第k類的真實標(biāo)簽，為學(xué)生網(wǎng)絡(luò)對輸入的源域數(shù)據(jù)x
s
第k類的預(yù)測概率，為由源域數(shù)據(jù)x
s
構(gòu)建的源域數(shù)據(jù)集；為目標(biāo)域數(shù)據(jù)的第
k類離線偽標(biāo)簽，為學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)x
t
第k類的預(yù)測概率，為由目標(biāo)域數(shù)據(jù)x
t
構(gòu)建的目標(biāo)域數(shù)據(jù)集；K
c
為語義類別總數(shù)，源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集含有的語義類別總數(shù)相等。3.根據(jù)權(quán)利要求1所述的域自適應(yīng)語義分割方法，其特征在于，步驟S220中，按照下式計算相鄰兩次迭代由學(xué)生網(wǎng)絡(luò)輸出的針對目標(biāo)域數(shù)據(jù)的預(yù)測變化量：其中，p
i
和p
i+1
分別為第i次和第i+1次迭代訓(xùn)練時學(xué)生網(wǎng)絡(luò)對目標(biāo)域數(shù)據(jù)的預(yù)測輸出，為第i次迭代訓(xùn)練時學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)的第w行、第h列的第k類的預(yù)測概率，W和H為學(xué)生網(wǎng)絡(luò)輸出的預(yù)測像素尺寸，K
c
為語義類別總數(shù)。4.根據(jù)權(quán)利要求1所述的域自適應(yīng)語義分割方法，其特征在于，步驟S230中，利用所述學(xué)生網(wǎng)絡(luò)對所述教師網(wǎng)絡(luò)按照下式進行動量更新：θ
t
←
αθ
t
+(1
?
α)θ
s
其中，θ
t
為所述教師網(wǎng)絡(luò)的參數(shù)，θ
s
為所述學(xué)生網(wǎng)絡(luò)的參數(shù)，α為動量更新系數(shù)，α的取值范圍為[0,1)。5.根據(jù)權(quán)利要求1所述的域自適應(yīng)語義分割方法，其特征在于，步驟S240中，按照下式構(gòu)造目標(biāo)域數(shù)據(jù)的在線偽標(biāo)簽：其中，為目標(biāo)域數(shù)據(jù)的第k類在線偽標(biāo)簽，為one
?
hot形式的向量，為所述教師網(wǎng)絡(luò)對目標(biāo)域數(shù)據(jù)的第k
‘
類的預(yù)測概率，k
‘
取1～K
c
中的任意值，K
c
為語義類別總數(shù)，代表最大時對應(yīng)的類別；和/或步驟S320中，按照下式構(gòu)造目標(biāo)域數(shù)據(jù)的離線偽標(biāo)簽：其中，為目標(biāo)域數(shù)據(jù)的第k類離線偽標(biāo)簽，為one
?
hot形式的向量，為上一輪迭代訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)對輸入的目標(biāo)域數(shù)據(jù)的第k
‘
類的預(yù)測概率。6.根據(jù)權(quán)利要求5所述的域自適應(yīng)語義分割方法，其特征在于，步驟...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孫富春，陳潤發(fā)，閔海波，
申請(專利權(quán))人：北京愛賓果科技有限公司，
類型：發(fā)明
國別省市：