【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于遙感圖像信息提取，涉及一種基于多尺度交互和交叉解碼的遙感圖像建筑物提取方法。
技術(shù)介紹
1、隨著遙感傳感器和對地觀測技術(shù)的發(fā)展，如今可以快速獲取大范圍的高質(zhì)量影像數(shù)據(jù)。超高分辨率(vhr)遙感影像相比傳統(tǒng)低分辨率影像，包含更多地物細(xì)節(jié)、空間紋理及語義信息，便于精確識(shí)別建筑、道路等地物，因此在城市管理、智慧城市和虛擬現(xiàn)實(shí)等領(lǐng)域應(yīng)用廣泛。然而，基于vhr影像的建筑物提取面臨諸多挑戰(zhàn)。vhr影像中除建筑物外還包含大量樹木、道路等冗余信息，影響提取精度。此外，建筑物屋頂材質(zhì)、形狀、大小和光譜特性多樣，且易與背景地物混淆，進(jìn)一步增加了提取難度。
2、近年來，深度學(xué)習(xí)方法在建筑物提取中的應(yīng)用取得了顯著進(jìn)展。基于深度學(xué)習(xí)的建筑物提取屬于語義分割任務(wù)，其中編碼器-解碼器架構(gòu)(如fcn)為圖像分割提供了基礎(chǔ)，能夠有效恢復(fù)圖像的時(shí)空信息。u-net和segnet作為典型的編碼-解碼器網(wǎng)絡(luò)，在處理vhr遙感圖像時(shí)效果顯著，但仍難以應(yīng)對復(fù)雜場景中的目標(biāo)提取。為此，注意力機(jī)制被引入以提高模型在復(fù)雜環(huán)境下的提取能力。例如，ser-unet結(jié)合了注意力機(jī)制和跳躍連接，有效改進(jìn)了建筑物邊緣的提取精度；mssdmpa-net通過引入動(dòng)態(tài)注意力模塊精確提取建筑物和道路足跡。此外，多尺度特征學(xué)習(xí)有助于提升模型對不同大小物體的敏感性，并增強(qiáng)其在復(fù)雜環(huán)境中的適應(yīng)性。map-net通過并行路徑學(xué)習(xí)保留多尺度特征，優(yōu)化了特征融合；mdcga-net則通過引入方向性注意力提高了全局和局部特征提取的效果。全局上下文信息的利用進(jìn)一步增強(qiáng)了模型的語義理解能
3、然而，基于編碼器-解碼器架構(gòu)的建筑物提取框架在解碼器階段的多尺度特征融合方面仍然存在一些局限性。具體來說，一方面因?yàn)槿鄙倭瞬煌瑢哟沃g的交互，而不僅是高層和低層的交互，直接將高級(jí)和低級(jí)特征進(jìn)行融合，可能導(dǎo)致信息的冗余和沖突，影響建筑物提取的準(zhǔn)確性。另一方面，在高級(jí)和低級(jí)特征的上下文融合過程中，以往的建筑物提取方法通過注意力機(jī)制來關(guān)注建筑物特征，卻容易忽略了它們的語義相似性，這會(huì)使模型無法充分聚焦于建筑物的關(guān)鍵語義特征，從而降低了提取結(jié)果的精確度。綜上所述，目前亟需一種優(yōu)化方法來彌合這些層次之間的語義差距，使多尺度信息在解碼過程中得到更合理的融合，并優(yōu)化解碼的語義捕捉能力。特別是針對遙感圖像中建筑物提取的需求，需要設(shè)計(jì)能夠逐步細(xì)化和加強(qiáng)建筑物特征的模塊，既能保留語義一致性，又能抑制干擾信息，最終實(shí)現(xiàn)對建筑物的更高精度提取。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)的目的在于提供一種基于多尺度交互和交叉解碼的遙感圖像建筑物提取方法，提高遙感圖像建筑物提取的準(zhǔn)確度。
2、為達(dá)到上述目的，本專利技術(shù)提供如下技術(shù)方案：
3、一種基于多尺度交互和交叉解碼的遙感圖像建筑物提取方法，具體包括以下步驟：
4、s1：獲取遙感圖像并標(biāo)注標(biāo)簽，將其劃分為訓(xùn)練集、驗(yàn)證集和測試集，圖像輸入時(shí)，對其進(jìn)行圖像數(shù)據(jù)增強(qiáng)；
5、s2：構(gòu)建mgcc模型，包括msag模塊和clcc模塊，其中mgcc表示基于多尺度交互和交叉解碼的建筑物提取網(wǎng)絡(luò)，msag表示多尺度交互引導(dǎo)模塊，clcc表示跨層交叉解碼模塊；
6、s3：訓(xùn)練mgcc模型：將訓(xùn)練集輸入至mgcc模型，并計(jì)算對應(yīng)的損失函數(shù)，然后采用adamw優(yōu)化器與余弦重啟策略迭代訓(xùn)練mgcc模型，直至模型收斂；
7、s4：將測試集輸入訓(xùn)練好的mgcc模型，得到只有建筑物特征的圖像。
8、進(jìn)一步，步驟s1中，對圖像進(jìn)行增強(qiáng)，包括隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。
9、進(jìn)一步，步驟s2中，構(gòu)建的mgcc模型采用編碼器-解碼器架構(gòu)，編碼器部分采用buildformer中提出的bfb?vit來捕捉全局多尺度信息，同時(shí)對于特征提取最后一層加入aspp(atrous?spatial?pyramid?pooling，空洞空間卷積池化金字塔)，構(gòu)成模型的backbone，輸出特征從上至下為f1,f2,f3,fas；編碼器過程表述為：
10、f1,f2,f3,fas＝backbone(x)???(1)
11、解碼器部分包括msag模塊和clcc模塊。
12、進(jìn)一步，步驟s2中，所述msag模塊設(shè)置在編碼器進(jìn)行特征提取后，用于縮短多級(jí)特征之間的語義差距，并將多尺度信息嵌入到特征中；所述msag模塊包括多尺度融合(multi-scale?fusion)、位置交互(position?interactive)和通道交互(channel?interactive)三個(gè)部分；
13、所述多尺度融合具體是：對于提取的特征c代表特征圖的通道維度數(shù)，h代表特征圖的高度，w代表特征圖的寬度，將其拼接得到表示第i層拼接的特征，隨后將通過1×1卷積將通道壓縮為ci(i＝1,2,3)，并將壓縮后的特征饋入3個(gè)并行的深度可分離卷積，卷積核大小分別為3×3、5×5、7×7，并行輸出的結(jié)果相加得到多尺度融合結(jié)果上述過程表述為：
14、fmsi＝b(conv3×3(fci))+b(conv5×5(fci))+b(conv7×7(fci))?(2)
15、其中，b(·)代表batchnorm；convk×k代表卷積核為k的卷積操作，對編碼器的前三層進(jìn)行該操作得到三個(gè)多尺度嵌入的特征fms1，fms2，fms3；
16、所述位置交互具體是：通過多尺度融合后，隨后進(jìn)行空間位置細(xì)化，首先分別沿水平和垂直方向?qū)斎胩卣鱢msi應(yīng)用全局平局池化，并將輸出特征映射連接生成上述過程表述如下：
17、fhwi＝[gaph(fmsi),gapw(fmsi)]?(3)
18、其中，gaph(·)表示沿水平方向的全局平均池化，gapw(·)表示沿垂直方向的全局平均池化；[,]代表拼接操作，隨后應(yīng)用1×1卷積進(jìn)行通道縮減得到捕捉來自橫縱坐標(biāo)的信息，r是通道縮減的倍數(shù)，上述過程表述為：
19、frhwi＝br(conv(fhwi))?(4)
20、其中，br(·)代表batchnorm和relu操作，conv代表1×1卷積；然后對frhwi沿水平和垂直方向拆分(split)得到fhi和fwi，并對fhi和fwi應(yīng)用1×1卷積，將通道還原為ci再進(jìn)行sigmod函數(shù)激活得到沿寬度和高度維度的方向權(quán)值whi和wwi，最終將該權(quán)值與fmsi進(jìn)行相乘得到帶有空間位置信息交互的注意特征fpi，上述過程表述為：
21、fpi＝fmsiσ(conv(fhi))*σ(conv(fwi))?(5)
22、其中，σ代表sigmoid激活函數(shù)；
23、所述通道交互具體是：在多尺度融合中的第一步，用1×1將通道壓縮，導(dǎo)致一定本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于多尺度交互和交叉解碼的遙感圖像建筑物提取方法，其特征在于，該方法具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的遙感圖像建筑物提取方法，其特征在于，步驟S1中，對圖像進(jìn)行增強(qiáng)，包括隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求1所述的遙感圖像建筑物提取方法，其特征在于，步驟S2中，構(gòu)建的MGCC模型采用編碼器-解碼器架構(gòu)，編碼器部分采用BuildFormer中提出的BFB?Vit來捕捉全局多尺度信息，同時(shí)對于特征提取最后一層加入ASPP，構(gòu)成模型的Backbone，輸出特征從上至下為F1,F2,F3,Fas；編碼器過程表述為：
4.根據(jù)權(quán)利要求3所述的遙感圖像建筑物提取方法，其特征在于，步驟S2中，所述MSAG模塊設(shè)置在編碼器進(jìn)行特征提取后，用于縮短多級(jí)特征之間的語義差距，并將多尺度信息嵌入到特征中；所述MSAG模塊包括多尺度融合、位置交互和通道交互三個(gè)部分；
5.根據(jù)權(quán)利要求4所述的遙感圖像建筑物提取方法，其特征在于，步驟S2中，所述CLCC模塊的結(jié)構(gòu)是：將來自低層和高層的特征送入多尺度條帶卷塊，進(jìn)行多尺度對齊，并生成相關(guān)的Q,K,V
6.根據(jù)權(quán)利要求5所述的遙感圖像建筑物提取方法，其特征在于，步驟S2中，所述MGCC模型在經(jīng)過層層解碼細(xì)化結(jié)果后，得到輸出，同時(shí)網(wǎng)絡(luò)包含一個(gè)多尺度輸出用于深度監(jiān)督；最后一層解碼SegHead表述為：
7.根據(jù)權(quán)利要求6所述的遙感圖像建筑物提取方法，其特征在于，步驟S3中，所述損失函數(shù)是采用交叉熵?fù)p失函數(shù)和骰子損失函數(shù)相結(jié)合，在訓(xùn)練時(shí)對R,R1,R2,R3進(jìn)行監(jiān)督訓(xùn)練。
...【技術(shù)特征摘要】
1.基于多尺度交互和交叉解碼的遙感圖像建筑物提取方法，其特征在于，該方法具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的遙感圖像建筑物提取方法，其特征在于，步驟s1中，對圖像進(jìn)行增強(qiáng)，包括隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求1所述的遙感圖像建筑物提取方法，其特征在于，步驟s2中，構(gòu)建的mgcc模型采用編碼器-解碼器架構(gòu)，編碼器部分采用buildformer中提出的bfb?vit來捕捉全局多尺度信息，同時(shí)對于特征提取最后一層加入aspp，構(gòu)成模型的backbone，輸出特征從上至下為f1,f2,f3,fas；編碼器過程表述為：
4.根據(jù)權(quán)利要求3所述的遙感圖像建筑物提取方法，其特征在于，步驟s2中，所述msag模塊設(shè)置在編碼器進(jìn)行特征提取后，用于縮短多級(jí)特征之間的語義差距，并將多尺度信息嵌入到特征中；所述msag模塊包括多尺度融合、位置...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉純，王玖洲，梁棟，
申請(專利權(quán))人：重慶郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。