【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及遙感圖像處理,具體地說是一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法。
技術(shù)介紹
1、遙感圖像的語義分割是遙感
的一項(xiàng)重要任務(wù),其目的是將獲取的遙感圖像數(shù)據(jù)精確地劃分為不同的特征類。準(zhǔn)確識(shí)別遙感影像中地表的語義信息,在城市發(fā)展規(guī)劃、災(zāi)害管理等多個(gè)領(lǐng)域具有重要意義。
2、近年來,深度學(xué)習(xí)技術(shù)由于其提取深度特征的特殊能力,在包括遙感圖像分類在內(nèi)的各個(gè)領(lǐng)域獲得了顯著的普及。為語義分割設(shè)計(jì)的深度學(xué)習(xí)模型展示了出色的特征提取和表征能力,使它們能夠直接從原始遙感圖像數(shù)據(jù)中學(xué)習(xí)高級(jí)語義特征。這樣可以實(shí)現(xiàn)準(zhǔn)確的端到端分類,有效提高分類的準(zhǔn)確率和效率。然而,語義分割方法的有效性在很大程度上依賴于用于訓(xùn)練模型的大量語義標(biāo)簽。語義標(biāo)簽的制作成本較高,對(duì)精度的要求也更嚴(yán)格,這對(duì)大規(guī)模遙感圖像分類中的語義分割方法提出了挑戰(zhàn),尤其是數(shù)據(jù)標(biāo)注難度較大。
3、近年來,為了減少人工干預(yù)訓(xùn)練樣本的需要,研究人員將注意力放在了弱監(jiān)督方法上,弱監(jiān)督可以利用部分或不完全標(biāo)記的數(shù)據(jù)完成遙感影像分類。在遙感圖像分類的背景下,弱監(jiān)督學(xué)習(xí)可以通過使用圖像級(jí)標(biāo)注、邊界框和涂鴉標(biāo)注等替代形式的標(biāo)注來減少對(duì)大量完全標(biāo)注樣本的依賴。圖像級(jí)標(biāo)簽提供圖像中存在的類別的信息,而不指定它們的確切位置。然而,這種方法可能并不總是滿足某些應(yīng)用程序的精度要求。邊界框標(biāo)注包括使用矩形邊界框標(biāo)注目標(biāo)實(shí)例的位置和類別信息。盡管如此,將邊界框標(biāo)記應(yīng)用于遙感圖像可能具有挑戰(zhàn)性,因?yàn)檫@些圖像通常是在高海拔地區(qū)捕獲的,并且包含具有顯著尺度差異的目標(biāo)。涂鴉注釋通常
4、相比于以上的弱監(jiān)督標(biāo)簽,點(diǎn)注釋語義標(biāo)簽提供的優(yōu)點(diǎn)包括更低的制作成本、更快的注釋速度以及提供有關(guān)相應(yīng)像素的位置和類別的信息的能力。但是點(diǎn)注釋語義標(biāo)簽再深度學(xué)習(xí)中也存在著一些挑戰(zhàn):首先,點(diǎn)標(biāo)注語義標(biāo)簽不提供像素級(jí)細(xì)節(jié),容易導(dǎo)致邊界區(qū)域或小目標(biāo)的誤分類,且受噪聲影響較大。其次,點(diǎn)樣樣本中信息的丟失可能會(huì)阻礙模型區(qū)分相似類別或有效處理復(fù)雜場景的能力。
5、因此,需要設(shè)計(jì)一種基于點(diǎn)注釋語義標(biāo)簽的弱監(jiān)督遙感影像分類方法,通過數(shù)據(jù)擴(kuò)充等方法有效擴(kuò)充有限的點(diǎn)注釋標(biāo)簽；然后基于弱監(jiān)督深度學(xué)習(xí)模型充分利用遙感影像中本身存在的紋理信息,并將傳統(tǒng)圖像處理技術(shù)中的邊緣檢測以及模糊等他方法應(yīng)用到深度學(xué)習(xí)中,降低傳統(tǒng)弱監(jiān)督方法中噪聲對(duì)于分類結(jié)果的影響；最后通過樣本擴(kuò)充的方法增加可用的點(diǎn)注釋信息,充分發(fā)揮深度學(xué)習(xí)模型的優(yōu)勢并完成遙感影像的高精度分類。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)旨在改善現(xiàn)有技術(shù)的缺陷,并提供一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法。該方法能夠有效地利用弱監(jiān)督中的點(diǎn)注釋標(biāo)簽,并將傳統(tǒng)圖像處理技術(shù)中的邊緣檢測和模糊等方法應(yīng)用在深度學(xué)習(xí)中,解決了現(xiàn)有研究受噪聲影響嚴(yán)重、檢測精度低等問題。通過結(jié)合超像素,本專利技術(shù)可以有效地?cái)U(kuò)充點(diǎn)注釋的數(shù)量,從而提高檢測精度。
2、為了實(shí)現(xiàn)上述目的,本專利技術(shù)提供了一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,包括以下步驟:
3、s1,數(shù)據(jù)準(zhǔn)備以及數(shù)據(jù)增強(qiáng):
4、s1-1:所選擇的遙感影像數(shù)據(jù)僅包含紅、綠、藍(lán)三個(gè)可見光波段；標(biāo)簽為包含多個(gè)地表覆蓋類別的弱監(jiān)督語義標(biāo)簽,標(biāo)簽中僅有極少數(shù)的像素點(diǎn)的類別信息是已知的；
5、s1-2:確定影像分割尺寸img_size以及剪裁步長step,所有的數(shù)據(jù)和標(biāo)簽在使用前均被剪裁為img_size×img_si?ze大小的圖像塊；
6、s1-3:通過模糊、添加椒鹽噪聲的方式擴(kuò)充樣本數(shù)量；
7、s1-4:確定模型訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集的樣本數(shù)量；
8、s2,模型參數(shù)設(shè)置
9、s2-1:確定網(wǎng)絡(luò)學(xué)習(xí)率、優(yōu)化迭代次數(shù)以及模型優(yōu)化器adam；
10、s2-2:確定深度學(xué)習(xí)模型中編碼和解碼部分的下采樣層數(shù)量為3和上采樣層數(shù)量為2；
11、s3,基于s2中的參數(shù)設(shè)置弱監(jiān)督語義分割網(wǎng)絡(luò)pixel-net,并使用s1中準(zhǔn)備的訓(xùn)練數(shù)據(jù)完成模型的訓(xùn)練。pixel-net其特征在于包括以下組件:
12、a)輸入層,用于接收遙感影像作為輸入；
13、b)多個(gè)級(jí)聯(lián)的邊緣增強(qiáng)模塊和最大值下采樣層,邊緣增強(qiáng)模塊被用于擴(kuò)充特征的感受野、進(jìn)一步挖掘特征的邊緣信息；
14、c)多尺度特征組合,用于組合空間分辨率不同的多尺度深度特征；
15、d)解碼器,用于將特征圖的分辨率恢復(fù)至原始圖像的大小,解碼器一共包含兩個(gè)上采樣層和三個(gè)卷積塊組成；
16、e)多尺度模糊模塊,用于解決檢測結(jié)果中嚴(yán)重的噪聲干擾問題；該模塊可以通過采用不同尺度的上采樣和下采樣層,有效地控制圖像中的高頻信息,減輕不同尺度噪聲對(duì)分類結(jié)果的影響；
17、f)分類器,用于組合感受野不同的上采樣特征,并通過卷積獲得最終的軟概率圖,進(jìn)而完成遙感影像分類。
18、s4,基于超像素的迭代樣本擴(kuò)展:
19、s4-1:采用slic方法對(duì)遙感圖像進(jìn)行超像素分割；
20、s4-2:利用現(xiàn)有的點(diǎn)標(biāo)注語義標(biāo)簽和基于s3的pixel-net模型對(duì)圖像進(jìn)行預(yù)測分類,獲得圖像的初步分類結(jié)果,并作為之后的偽標(biāo)簽使用；
21、s4-3:基于超像素的樣本擴(kuò)充:利用超像素分割的結(jié)果、已有的點(diǎn)注釋語義標(biāo)簽和生成的偽標(biāo)簽對(duì)標(biāo)簽進(jìn)行擴(kuò)展。
22、s5:模型重復(fù)訓(xùn)練:
23、使用s4的樣本擴(kuò)充方法生成的新標(biāo)簽重新訓(xùn)練s3的pixel-net模型,然后基于驗(yàn)證數(shù)據(jù)對(duì)樣本擴(kuò)充前后的模型精度進(jìn)行對(duì)比,如果模型精度不再變化則認(rèn)為模型已經(jīng)穩(wěn)定,不需要再進(jìn)行s4的樣本擴(kuò)充；如果模型精度仍有提高,則繼續(xù)進(jìn)行s4的樣本擴(kuò)充,直至模型穩(wěn)定為止。
24、s6:輸出穩(wěn)定的模型,并用于進(jìn)行遙感影像語義分割。
25、s3的邊緣增強(qiáng)模塊具體為:
26、a)包含兩個(gè)特征提取分支,分別為光譜信息提取特征和邊緣信息增強(qiáng)分支；
27、b)光譜信息提取特征包括兩個(gè)3×3的卷積層,目的是捕獲輸入特征的語義信息；
28、c)邊緣信息增強(qiáng)分支由一個(gè)sobel卷積層、一個(gè)殘差連接層、一個(gè)
29、1×1卷積層和一個(gè)核大小為7的非對(duì)稱卷積層組成,可以有效地保留遙感圖像的特征邊緣,增強(qiáng)圖像中的細(xì)節(jié)信息；
30、d)最后將兩個(gè)特征分支獲得的輸出特征進(jìn)行堆疊并得到最終的輸出結(jié)果,這有助于語義信息和邊緣信息的融合。
31、s3的多尺度模糊模塊具體為:
32、a)4個(gè)感受野不同的下采樣層:2個(gè)最大值池化層(核大小分別為2和4)
33、、一個(gè)3×3卷積層和一個(gè)3×3擴(kuò)張率為5的空洞卷積層；
34、b)空間注意力機(jī)制,用于增強(qiáng)多尺度感受野下采樣特征的空間信息；
35、c)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,S3所述的多個(gè)級(jí)聯(lián)的邊緣增強(qiáng)模塊具體為:
3.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,S3所述的多尺度模糊模塊具體為:
4.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,S3所述的解碼器具體為:
5.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,所述S4-3的基于超像素的樣本擴(kuò)充具體為:
【技術(shù)特征摘要】
1.一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,其特征在于,s3所述的多個(gè)級(jí)聯(lián)的邊緣增強(qiáng)模塊具體為:
3.根據(jù)權(quán)利要求1所述的一種基于遙感影像點(diǎn)狀語義標(biāo)簽的弱監(jiān)督深度學(xué)習(xí)分類方法,...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙元昊，王凱，張愛華，楊碩，趙旭東，
申請(qǐng)(專利權(quán))人：青島星科瑞升信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。