【技術實現步驟摘要】
本專利技術涉及圖像處理，具體涉及一種基于多尺度深度監督的高分辨遙感圖像語義分割方法。
技術介紹
1、隨著傳感器技術和遙感平臺的快速發展，大量高分辨率遙感圖像被廣泛運用于土地覆蓋分析、城市規劃、變化檢測、場景分類、環境監測等領域。而高分辨率圖像中包含反復的空間細節信息，可以清晰地捕捉地物邊界，反映復雜的地物語義特征。此類細粒度的圖像數據為遙感語義分割帶來了全新的機遇與挑戰。與圖像分類相比，語義分割可以提供更復雜的特征信息，然而復雜特征的有效提取與利用，復雜的地物分布、多尺度變化以及類別間的不平衡問題，顯著增加了分割任務的難度。
2、隨著人工智能的發展，自然圖像的語義分割進展迅速，基于深度學習的語義分割方法精度遠遠優于傳統方法。對于遙感圖像語義分割而言，語義分割比自然圖像更具有挑戰性，尤其事同一類別對象在特征上可能存在顯著差異，而不同類別對象之間可能具有相似特征。全卷積網絡（fully?convolutional?network，fcn）真正實現了像素級分割，許多研究者提出了全卷積網絡的方法來解決高分率遙感圖像語義分割任務中的問題。由于卷積的局限性，它不能像人類一樣廣泛觀察周圍的信息（上下文信息），而是主要通過學習對象的紋理來判斷類別，但缺乏上下文學習會導致錯誤分類；其次，在遙感影像中有很多陰影。大的陰影會導致不同類別之間的特征區別小，增加判斷難度。小的陰影會截斷單個對象內的連續特征，導致分割結果的不連續。卷積神經網絡具有一定深度的特征提取層，隨著特征提取層的深入，輸出的高級特征具有豐富的語義信息和較好的連續性，而淺層次
技術實現思路
1、專利技術目的：本專利技術所要解決的技術問題是針對現有技術的不足，提供一種基于多尺度深度監督的高分辨遙感圖像語義分割方法，包括如下步驟：步驟1，獲取isprs?potsdam數據集和vaihingen數據集，對數據集進行統一預處理后劃分為訓練集、驗證集和測試集。
2、步驟2，搭建多尺度深度監督網絡mdsnet（multi-scale?deep?supervisionnetwork,?mdsnet），包括空間分支、語義分支網絡和多尺度特征聚合部分；所述空間分支、語義分支網絡和多尺度特征聚合部分均為四層結構。
3、步驟3，將訓練集輸入至多尺度深度監督網絡mdsnet中訓練，計算損失函數并進行反向傳播，更新網絡參數，獲取訓練好的參數模型。
4、步驟4，將測試集輸入到訓練好的參數模型中，輸出目標圖像的分割圖。
5、步驟1包括：通過隨機采樣裁剪對vaihingen數據集進行數據增強。
6、步驟2包括：所述空間分支包括四層空間去冗余殘差模塊，四層空間去冗余殘差模塊的輸出由淺至深為s1，s2，s3和s4，空間去冗余殘差模塊的輸出是b×a×h×w四維特征，其中b為批大小、a為通道數、h為長、w為寬。
7、第二層空間去冗余殘差模塊的通道數比第一層空間去冗余殘差模塊的通道數擴大一倍，長和寬縮小一倍；第三層空間去冗余殘差模塊的通道數比第二層空間去冗余殘差模塊的通道數擴大一倍，長和寬縮小一倍；第四層空間去冗余殘差模塊的通道數比第三層空間去冗余殘差模塊的通道數擴大一倍，長和寬縮小一倍。
8、將s2，s3和s4進行通道重新加權連接，根據不同特征圖的可學習參數判斷每個通道數的差異程度，動態調整通道的重要性，最后將通道重新加權連接的輸出m4作為多尺度特征聚合部分中第四層輸入的一部分。
9、步驟2還包括：所述語義分支網絡包括四層殘差注意力mamba，殘差注意力mamba用于細粒度特征的提取，殘差注意力mamba包括殘差transformer和mamba，殘差transformer關注全局語義建模，從而實現對多尺度信息的全面整合，四層殘差注意力mamba的輸出由淺至深為c1，c2，c3和c4，通道數與長寬變化與空間分支一致。
10、在空間分支和語義分支之前采用雙層卷積塊進行特征的粗略提取，每層卷積塊中包含一次常規卷積、批歸一化和relu激活函數。
11、所述多尺度特征聚合部分包括大內核分組特征提取模塊與多尺度卷積注意模塊，其中，大內核分組特征提取模塊用于將空間分支輸出s、上采樣和通道重新加權輸出m和語義分支輸出c三類特征進行選擇性融合提取，大內核分組特征提取模塊將特征映射與注意系數逐步結合起來，由于m來自深層特征，普通卷積難以專注于某一特定尺度的特征，對此，通過引入分組卷積整合來自淺層（s、c）和深層的特征，組卷積的分組機制限制特征交互范圍，有效減少了冗余特征的干擾，同時組卷積僅對分組內的通道進行卷積操作，顯著減少了參數量和計算開銷；將分組卷積后的特征進行批歸一化，并進行特征融合，之后對特征融合結果進行普通卷積，并與初始的空間分支輸出s和語義分支輸出c進行拼接，最后送入多尺度卷積注意模塊中。
12、將空間分支和語義分支網絡輸出的特征采用四層多尺度卷積特征融合模塊與三層高效上采樣卷積塊連接，三層高效上采樣卷積塊的輸出由淺至深依次為m1，m2和m3，將每一層多尺度卷積特征融合模塊的輸出輸入分割頭，進行分割，分割頭包括一次3×3卷積核的普通卷積塊、一次1×1卷積核的普通卷積和一次上采樣；分割頭有四層，對應四層多尺度卷積特征融合模塊。
13、步驟3包括：將特征維度為的遙感圖像送入多尺度深度監督網絡mdsnet中，其中b為batch_size，batch_size表示一個批次訓練的圖像總數；3表示為通道數；將遙感圖像送入雙層卷積塊中，輸出特征維度變為，完成對原始圖像特征的粗略提取。
14、將雙層卷積塊的輸出送入空間分支與語義分支網絡中；對于空間分支，所述第一層空間去冗余殘差模塊包括左半部分和右半殘差部分，其中，所述左半部分包括為水平垂直卷積，所述右半殘差部分為殘差結構；先將的特征進行水平垂直卷積，卷積核分別為3本文檔來自技高網...
【技術保護點】
1.一種基于多尺度深度監督的高分辨遙感圖像語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，步驟1包括：通過隨機采樣裁剪對Vaihingen數據集進行數據增強。
3.根據權利要求2所述的方法，其特征在于，步驟2包括：
4.根據權利要求3所述的方法，其特征在于，步驟2還包括：所述語義分支網絡包括四層殘差注意力Mamba，殘差注意力Mamba用于細粒度特征的提取，殘差注意力Mamba包括殘差Transformer和Mamba，四層殘差注意力Mamba的輸出由淺至深為C1，C2，C3和C4，通道數與長寬變化與空間分支一致；
5.根據權利要求4所述的方法，其特征在于，步驟3包括：將特征維度為的遙感圖像送入多尺度深度監督網絡MDSNet中，其中為batch_size，batch_size表示一個批次訓練的圖像總數；3表示為通道數；將遙感圖像送入雙層卷積塊中，輸出特征維度變為，完成對原始圖像特征的粗略提取；
6.根據權利要求5所述的方法，其特征在于，步驟3還包括：使用損失函數對最終分割結果的四維特征
7.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有程序代碼，當所述程序代碼被所述處理器執行時，使得所述處理器執行如權利要求1至6中任一項所述的方法的步驟。
8.一種存儲介質，其特征在于，存儲有計算機程序或指令，當所述計算機程序或指令在計算機上運行時，執行如權利要求1至6中任一項所述的方法的步驟。
...【技術特征摘要】
1.一種基于多尺度深度監督的高分辨遙感圖像語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，步驟1包括：通過隨機采樣裁剪對vaihingen數據集進行數據增強。
3.根據權利要求2所述的方法，其特征在于，步驟2包括：
4.根據權利要求3所述的方法，其特征在于，步驟2還包括：所述語義分支網絡包括四層殘差注意力mamba，殘差注意力mamba用于細粒度特征的提取，殘差注意力mamba包括殘差transformer和mamba，四層殘差注意力mamba的輸出由淺至深為c1，c2，c3和c4，通道數與長寬變化與空間分支一致；
5.根據權利要求4所述的方法，其特征在于，步驟3包括：將特征維度為的遙感圖像送入多尺度深度監督網絡mdsne...
【專利技術屬性】
技術研發人員：單慧琳，王興濤，張銀勝，孟祥源，吳心悅，馬丁，
申請(專利權)人：無錫學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。