【技術實現步驟摘要】
本申請涉及遙感信息提取與分析領域，具體涉及一種基于光學與sar聯合建筑物提取方法和系統。
技術介紹
1、人類活動造成的氣候變化已經影響到全球每個區域，建筑物是人類活動程度的重要體現，通過現代遙感技術進行建筑物提取是了解人類活動很好的手段，對于提高我們對于地球和環境的理解有重要的意義。隨著多傳感器地球觀測技術的進步，越來越多的多模態數據被獲取。其中，光學、合成孔徑雷達(sar)影像是應用最典型的多模態遙感數據。光學影像來源于被動傳感器，成像波段多為可見光或者近紅外等，這種影像主要靠地物反射的太陽輻射來捕獲信息，具有豐富的紋理、色彩等輻射特征。sar影像來源于主動微波傳感器，影像上的信息是地物目標的后向散射形成的，對于立體面比較敏感。但受成像機理差異的影響，光學、sar影像具有完全不同的非線性輻射特征，導致了這兩種影像中建筑物的表現形式存在巨大的鴻溝。近年來，光學、sar影像聯合信息提取在變化檢測，云檢測與修復和農作物制圖等方面取得了不錯的效果，但也存在特征差異巨大、信息互相干擾等挑戰，對于聯合應用來說，準確提取建筑物的條件受到了嚴重干擾。
2、現有的光學、sar聯合解譯的一種方法是將光學影像、sar影像在圖像級別進行融合，然后利用深度神經網絡的編碼器進行特征提取后輸入解碼器反卷積得到解譯結果。但是這類方法圖像原始數據規模導致算法實現費時；數據未經處理，傳感器原始信息的優缺點會疊加，影響融合效果；對硬件的設施的要求相當高，進行影像融合時，配準的精度要求精確的各傳感器數據之間每個像素；因為基于像素計算，像素信息易受污染，噪
3、現有的光學、sar影像聯合解譯的另一種方案是將光學、sar影像分別使用獨立的編碼器分別提取特征，然后將提取的特征通過相加、通道并聯、注意力機制和門控機制等手段進行融合后輸入到解碼器反卷積得到影像聯合解譯的結果。這類方法進行光學、sar影像的特征融合之前存在并未充分提取各自特征的風險；光學、sar影像的特征融合部分融合策略復雜、模型過大、參數過多，優化難度增大。
技術實現思路
1、為解決上述現有技術中存在的技術問題，本專利技術的目的在于提供基于多階段特征融合的光學與sar影像聯合建筑物提取方法。
2、為實現上述專利技術目的，本專利技術的技術方案是：基于多階段特征融合的光學與sar影像聯合建筑物提取方法，包括如下步驟：
3、步驟1，采集光學影像和sar影像，構建光學-sar影像對數據集，并將數據集劃分為訓練集和測試集；
4、步驟2，分別計算訓練集集和測試集中光學影像、sar影像的相位圖；
5、步驟3，分別將訓練集和測試集中光學影像、sar影像的相位圖進行通道并聯；
6、步驟4，將訓練集中光學影像、sar影像以及通道并聯后的相位圖進行影像增強處理；
7、步驟5，構建多階段光學與sar影像聯合筑物提取網絡，利用增強處理后的訓練集對所述多階段光學與sar影像聯合筑物提取網絡進行訓練優化，輸出建筑物提取結果；
8、步驟6，構建全局損失函數，通過最小化所述全局損失函數，并結合隨機梯度下降優化算法迭代更新所述多階段光學與sar影像聯合筑物提取網絡的參數；
9、步驟7，重復步驟5-步驟6，遍歷訓練集中所有的光學影像與sar影像對，得到優化后的建筑物提取模型；
10、步驟8，利用優化后的建筑物提取模型對測試集進行建筑物提取。
11、進一步的，步驟1中，采集相同區域、相同時段的光學遙感影像a和sar遙感影像b，將影像a、b中地理位置相同的像素對齊得到重疊區域；利用滑動窗將重疊區域內的影像a、b裁剪成大小相同的若干影像塊，將地理區域相同的一個光學遙感影像塊a和一個sar影像塊b構成一個影像單元，利用所有影像單元構建光學-sar影像對數據集，將該數據集劃分為訓練集和測試集。
12、進一步的，步驟2中利用快速傅里葉變換計算相位圖。
13、進一步的，步驟3的具體實現包括如下子步驟：
14、步驟3-1，將訓練集中光學影像的相位與訓練集光學影像進行通道并聯；
15、步驟3-2，將訓練集中sar影像的相位與訓練集sar影像進行通道并聯；
16、步驟3-3，將測試集中光學影像的相位與測試集光學影像進行通道并聯；
17、步驟3-4，將測試集中sar影像的相位與測試集sar影像進行通道并聯。
18、進一步的，步驟4的具體實現包括如下子步驟：
19、步驟4-1，對所述光學-sar影像對訓練集中的光學影像采用隨機裁剪、翻轉、顏色失真、轉換為灰度圖和隨機噪聲的方式進行圖像增強；
20、步驟4-2，對所述光學-sar影像對訓練集的相位影像采用隨機裁剪、翻轉、顏色失真、轉換為灰度圖和隨機噪聲的方式進行圖像增強；
21、步驟4-3，對所述光學-sar影像對訓練集的sar影像采用隨機裁剪、翻轉、顏色失真、轉換為灰度圖和隨機噪聲的方式進行圖像增強。
22、進一步的，光學、相位、sar影像聯合解譯網絡的具體處理過程如下：
23、步驟5-1，第1階段：將增強后的sar影像輸入到卷積核為3×3的卷積層提取初級特征，然后將初級特征輸入到通道注意力機制計算不同通道的特征圖之間的關系，然后將其輸入到unet編碼器提取高級語義特征，再將其輸入到unet解碼器得到解譯特征圖，最后利用1×1卷積將解譯特征圖的通道變換為2輸入softmax作歸一化操作，歸一化的特征圖輸入到第2階段；
24、步驟5-2，這一階段是與第1階段同時開始，首先利用卷積核為3×3的卷積層提取光學、sar影像的相位的初級特征，然后再利用通道注意力機制計算通道注意力圖，將其與第1階段sar影像的歸一化特征圖進行通道并聯操作后輸入unet編碼器得到相位的高級語義特征，然后利用unet解碼器解碼這種特征得到相位的解譯特征圖，將其進行卷積核為1×1的卷積輸入到第3階段；
25、步驟5-3，這一階段是與第1、2階段同時開始，將光學影像依次輸入到卷積核為3×3的卷積層和通道注意力機制得到通道注意力圖，然后將其與第2階段影像相位輸出歸一化特征圖通道并聯后輸入到deeplabv3+編碼器繼續提取高級語義特征，最后，利用deeplabv3+解碼器將這些語義特征解碼為解譯結果。
26、進一步的，全局損失函數的表達式如下：
27、
28、其中p表示預測置信度分數，y表示二進制標簽，n為光學-sar影像對訓練集中樣本個數，lbce為二分類交叉熵損失函數，ldice為骰子損失函數，l為全局損失函數。
29、進一步的，deeplabv3+解碼器的特征提取網絡采用resnet50的主干網絡。
30、進一步的，還包括步驟9，利用解譯指標對建筑物提取結果進行評價，解譯指標包括各類別目標的交并比、召回率、精確率、召回率和精確率的調和平均值。
【技術保護點】
1.多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于，包括如下步驟：
2.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：步驟1中，采集相同區域、相同時段的光學遙感影像A和SAR遙感影像B，將影像A、B中地理位置相同的像素對齊得到重疊區域；利用滑動窗將重疊區域內的影像A、B裁剪成大小相同的若干影像塊，將地理區域相同的一個光學遙感影像塊a和一個SAR影像塊b構成一個影像單元，利用所有影像單元構建光學-SAR影像對數據集，將該數據集劃分為訓練集和測試集。
3.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：步驟2中利用快速傅里葉變換計算相位圖。
4.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：步驟3的具體實現包括如下子步驟：
5.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：步驟4的具體實現包括如下子步驟：
6.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：光
7.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：全局損失函數的表達式如下：
8.如權利要求6所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：Deeplabv3+解碼器的特征提取網絡采用ResNet50的主干網絡。
9.如權利要求1所述的多階段融合的光學與SAR影像聯合建筑物提取方法，其特征在于：還包括步驟9，利用解譯指標對建筑物提取結果進行評價，解譯指標包括各類別目標的交并比、召回率、精確率、召回率和精確率的調和平均值。
10.多階段融合的光學與SAR影像聯合建筑物提取系統，其特征在于，包括如下模塊：
...【技術特征摘要】
1.多階段融合的光學與sar影像聯合建筑物提取方法，其特征在于，包括如下步驟：
2.如權利要求1所述的多階段融合的光學與sar影像聯合建筑物提取方法，其特征在于：步驟1中，采集相同區域、相同時段的光學遙感影像a和sar遙感影像b，將影像a、b中地理位置相同的像素對齊得到重疊區域；利用滑動窗將重疊區域內的影像a、b裁剪成大小相同的若干影像塊，將地理區域相同的一個光學遙感影像塊a和一個sar影像塊b構成一個影像單元，利用所有影像單元構建光學-sar影像對數據集，將該數據集劃分為訓練集和測試集。
3.如權利要求1所述的多階段融合的光學與sar影像聯合建筑物提取方法，其特征在于：步驟2中利用快速傅里葉變換計算相位圖。
4.如權利要求1所述的多階段融合的光學與sar影像聯合建筑物提取方法，其特征在于：步驟3的具體實現包括如下子步驟：
5.如權利要求1所述的多階段融合的光學與sar...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。