【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)技術(shù)中的人工智能領(lǐng)域，具體來說涉及領(lǐng)域，更具體地說，涉及一種基于軟標(biāo)簽自蒸餾的圖像分割訓(xùn)練方法。自監(jiān)督學(xué)習(xí)和圖像分割
技術(shù)介紹
1、隨著深度學(xué)習(xí)模型和數(shù)據(jù)規(guī)模的迅速膨脹，傳統(tǒng)依賴大量人工標(biāo)注的有監(jiān)督學(xué)習(xí)框架已無法滿足現(xiàn)代深度學(xué)習(xí)的需求，尤其是圖像分割任務(wù)中涉及的像素級(jí)標(biāo)注。因此，自監(jiān)督學(xué)習(xí)成為近年深度學(xué)習(xí)技術(shù)的發(fā)展趨勢，即不依賴人工標(biāo)注，僅通過圖像中隱含的不變量作為監(jiān)督信息學(xué)習(xí)圖像或像素的嵌入。
2、主流自監(jiān)督學(xué)習(xí)算法可大致劃分為兩種流派，即對比學(xué)習(xí)與非對比學(xué)習(xí)，兩者均約束同一圖像在不同數(shù)據(jù)增廣下的嵌入保持不變。其中，對比學(xué)習(xí)同時(shí)使用正負(fù)樣本對來訓(xùn)練模型，而非對比度學(xué)習(xí)只使用正樣本對來訓(xùn)練模型。兩者的主要區(qū)別在于如何防止平凡解(即恒定的解)，其中，對比學(xué)習(xí)顯式增大不同樣本的嵌入的距離，而非對比學(xué)習(xí)則在拉近正樣本對的嵌入的距離時(shí)通過非對稱技術(shù)防止模式崩潰。
3、盡管現(xiàn)有方法已經(jīng)在圖像級(jí)任務(wù)(如基于整張圖進(jìn)行分類的任務(wù))上取得卓越的性能提升，甚至在部分下游任務(wù)上已超越有監(jiān)督學(xué)習(xí)，但出現(xiàn)了大部分方法在像素級(jí)任務(wù)(如圖像語義分割這類稠密預(yù)測任務(wù))上性能提升有限的情況。專利技術(shù)人研究發(fā)現(xiàn)，出現(xiàn)該情況的一個(gè)原因是：自監(jiān)督學(xué)習(xí)的過度分散現(xiàn)象，即現(xiàn)有方法約束同一圖像塊的不同變換嵌入一致，而同類不同樣本對的嵌入被顯式或隱式地增大，這類樣本對被稱為潛在正樣本對。潛在正樣本對的嵌入距離應(yīng)該縮小，從而能被分為同一類，但是現(xiàn)有方法會(huì)將其距離增大。過度分散現(xiàn)象會(huì)導(dǎo)致在下游任務(wù)中同一類別或同一物體的不同部位被過度分
4、因此，自監(jiān)督訓(xùn)練需要解決現(xiàn)有技術(shù)過度分割的問題。解決該問題主要面臨三個(gè)挑戰(zhàn)：其一，在人工標(biāo)注缺失的情況下，潛在正樣本對難以定位；其二，大多數(shù)圖像塊對屬于負(fù)例，即兩個(gè)圖像塊不屬于同一類，致使模型學(xué)習(xí)受負(fù)例主導(dǎo)，難以學(xué)習(xí)正例信息；其三，圖像塊對的數(shù)量遠(yuǎn)超圖像對的數(shù)量(一個(gè)圖像塊對是指兩個(gè)圖像塊，可以屬于同一圖像，也可以屬于不同圖像)，因此直接約束所有塊對的相似度會(huì)帶來難以處理的計(jì)算量。
技術(shù)實(shí)現(xiàn)思路
1、因此，本專利技術(shù)的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種圖像分割訓(xùn)練方法。
2、本專利技術(shù)的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：
3、根據(jù)本專利技術(shù)的第一方面，提供一種圖像分割訓(xùn)練方法，包括步驟：
4、a1、從預(yù)設(shè)的圖像數(shù)據(jù)集中，采樣一個(gè)批次的多個(gè)圖像，包括：采樣多張基準(zhǔn)圖像以及通過聚類方式為每張基準(zhǔn)圖像采樣正、負(fù)樣本圖像構(gòu)建其候選集合，正樣本圖像從與基準(zhǔn)圖像相似度較高的多個(gè)圖像選取；a2、利用當(dāng)前批次獲得的每張基準(zhǔn)圖像及其候選集合中的每張圖像構(gòu)建一個(gè)圖像對，得到多個(gè)圖像對；a3、根據(jù)所述圖像對以及當(dāng)前批次的多個(gè)圖像分別輸入在線分支、目標(biāo)分支得到的特征圖，確定基于圖像級(jí)子損失和圖像塊級(jí)子損失的總損失，其中，所述圖像塊級(jí)子損失配置為與基準(zhǔn)圖像和正樣本圖像對應(yīng)的特征圖相關(guān)；a4、固定目標(biāo)分支參數(shù)，根據(jù)所述總損失更新在線分支的參數(shù)；a5、利用歷史的多個(gè)在線分支的參數(shù)，通過指數(shù)滑動(dòng)平均策略更新目標(biāo)分支的參數(shù)；a6、重復(fù)步驟a1-a5以進(jìn)行自監(jiān)督訓(xùn)練，直到所述在線分支訓(xùn)練至收斂后轉(zhuǎn)至步驟a7；a7、獲取圖像分割模型，其包括用于從輸入圖像提取圖像特征的特征提取器和用于根據(jù)所述圖像特征確定圖像分割結(jié)果的線性模塊，所述特征提取器采用訓(xùn)練至收斂的在線分支；a8、利用有監(jiān)督的圖像分割訓(xùn)練集訓(xùn)練所述圖像分割模型，得到經(jīng)訓(xùn)練的圖像分割模型。
5、可選的，所述總損失按照以下方式確定：
6、
7、其中，表示圖像級(jí)子損失，表示圖像塊級(jí)子損失，α表示的權(quán)重，β表示的權(quán)重。
8、可選的，每個(gè)基準(zhǔn)圖像的候選集合包括正樣本圖像和多張負(fù)樣本圖像，該正樣本圖像在每個(gè)批次隨機(jī)從與基準(zhǔn)圖像相似度較高的多個(gè)圖像采樣得到，其中，所述圖像級(jí)子損失被配置為與當(dāng)前批次的所有圖像對的第一相似度的排序和第二相似度的排序的差異相關(guān)，所述第一相似度是由在線分支對基準(zhǔn)圖像提取的特征圖以及對圖像對中另一圖像提取的特征圖之間的相似度，所述第二相似度是由目標(biāo)分支對基準(zhǔn)圖像提取的特征圖以及對圖像對中另一圖像提取的特征圖之間的相似度。
9、可選的，輸入在線分支的圖像先經(jīng)第一增強(qiáng)方式處理，而輸入目標(biāo)分支的圖像先經(jīng)第二增強(qiáng)方式處理，所述圖像級(jí)子損失被配置為按照以下方式確定：
10、
11、其中，x表示基準(zhǔn)圖像，cx表示該基準(zhǔn)圖像的候選集合，xc表示候選集合中的一張圖像，v1(·)表示第一增強(qiáng)方式，v2(·)表示第二增強(qiáng)方式，表示基準(zhǔn)圖像和圖像xc分別經(jīng)第一增強(qiáng)方式處理后輸入在線分支得到的輸出之間的所述第一相似度，表示基準(zhǔn)圖像和圖像xc分別經(jīng)第二增強(qiáng)方式處理后輸入目標(biāo)分支得到的輸出之間的所述第二相似度，τ1表示圖像級(jí)子損失對應(yīng)的可調(diào)超參數(shù)。
12、可選的，所述圖像塊級(jí)子損失被配置為與基準(zhǔn)圖像及其正樣本圖像的特征圖之間各個(gè)像素對應(yīng)的第三相似度的排序和第四相似度的排序的差異相關(guān)，其中，所述第三相似度是在線分支對基準(zhǔn)圖像及其正樣本圖像提取的特征圖中對應(yīng)像素的相似度，所述第四相似度是目標(biāo)分支對基準(zhǔn)圖像及其正樣本圖像提取的特征圖中對應(yīng)像素的相似度。
13、可選的，所述圖像塊級(jí)子損失按照以下方式確定：
14、
15、其中，x表示基準(zhǔn)圖像，x+表示基準(zhǔn)圖像的正樣本圖像，sp(v1(x)，v1(x+))ij表示基準(zhǔn)圖像x及其正樣本圖像x+分別經(jīng)第一增強(qiáng)方式處理后輸入在線分支提取的特征圖中第i行第j列的像素對應(yīng)的第三相似度，sz(v2(x),v2(x+))ij表示基準(zhǔn)圖像x及其正樣本圖像x+分別經(jīng)第二增強(qiáng)方式處理后輸入目標(biāo)分支提取的特征圖之間第i行第j列的像素對應(yīng)的所述第四相似度，τ2表示圖像塊級(jí)子損失對應(yīng)的可調(diào)超參數(shù)。
16、可選的，對于以上的按照以下方式確定：
17、
18、其中，s表示基于在線分支輸出的特征圖確定的相關(guān)元素的相似度的集合，si,si∈s，si表示集合s中第i個(gè)元素的相似度，sj表示集合s中第j個(gè)元素的相似度，t表示基于目標(biāo)分支輸出的特征圖確定的相關(guān)元素的相似度的集合，所述t中的元素的相似度用作軟標(biāo)簽，ti,ti∈t，ti表示集合t中第i個(gè)元素的相似度，tj表示集合t中第j個(gè)元素的相似度，τ表示可調(diào)超參數(shù)，n表示集合的元素的總個(gè)數(shù)，w(ti)表示第i個(gè)元素的相似度的加權(quán)函數(shù)，σ(·)表示單調(diào)遞增的函數(shù)，lt(ti-tj)表示元素i和j之間的軟標(biāo)簽差異，ls(si-sj；τ)表示元素i和j之間的相似度差異；i[ti≤tj]表示指示函數(shù)，若ti≤tj為真輸出1，否則輸出0；i[si≤sj]表示指示函數(shù)，若si≤sj為真輸出1，否則輸出0。
19、根據(jù)本專利技術(shù)的第二方面，提供一種圖本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種圖像分割訓(xùn)練方法，其特征在于，包括步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述總損失按照以下方式確定：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個(gè)基準(zhǔn)圖像的候選集合包括正樣本圖像和多張負(fù)樣本圖像，該正樣本圖像在每個(gè)批次隨機(jī)從與基準(zhǔn)圖像相似度較高的多個(gè)圖像采樣得到，
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，輸入在線分支的圖像先經(jīng)第一增強(qiáng)方式處理，而輸入目標(biāo)分支的圖像先經(jīng)第二增強(qiáng)方式處理，所述圖像級(jí)子損失被配置為按照以下方式確定：
5.根據(jù)權(quán)利要求2-4之一所述的方法，其特征在于，所述圖像塊級(jí)子損失被配置為與基準(zhǔn)圖像及其正樣本圖像的特征圖之間各個(gè)像素對應(yīng)的第三相似度的排序和第四相似度的排序的差異相關(guān)，
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述圖像塊級(jí)子損失按照以下方式確定：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，對于以上的按照以下方式確定：
8.一種圖像分割方法，其特征在于，所述方法包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，所述
10.一種電子設(shè)備，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種圖像分割訓(xùn)練方法，其特征在于，包括步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述總損失按照以下方式確定：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個(gè)基準(zhǔn)圖像的候選集合包括正樣本圖像和多張負(fù)樣本圖像，該正樣本圖像在每個(gè)批次隨機(jī)從與基準(zhǔn)圖像相似度較高的多個(gè)圖像采樣得到，
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，輸入在線分支的圖像先經(jīng)第一增強(qiáng)方式處理，而輸入目標(biāo)分支的圖像先經(jīng)第二增強(qiáng)方式處理，所述圖像級(jí)子損失被配置為按照以下方式確定：
5.根據(jù)權(quán)利要求2-4之一所述的方法，其特征在于，所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃慶明，溫佩松，許倩倩，
申請(專利權(quán))人：中國科學(xué)院計(jì)算技術(shù)研究所，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。