【技術實現步驟摘要】
本專利技術涉及遙感圖像，具體涉及一種多源遙感圖像的地物分類方法。
技術介紹
1、地物分類是指對遙感圖像進行像素級的精確識別與分類，對每一個像素打上其對應地物類別的標簽，是遙感圖像處理領域研究的熱點問題。它在城市規劃、環境監測、農業、災害監測、資源開發等方面發揮著重要的作用，為人們提供了豐富的地表信息。在過去的幾十年里，地物分類任務都是使用來自單個傳感器的數據進行探索的，然而，這種單一傳感器數據往往不足以識別和分類某些應用領域中感興趣的對象，如建筑物屋頂和道路都是由混凝土構成的，它們的光譜響應相似，僅使用高光譜圖像很難區分它們，但若能引入高程數據比如激光雷達圖像，就可以很準確地進行區分。近年來，隨著對地觀測平臺、遙感傳感器的日益豐富，針對同一地區的海量遙感圖像如多光譜、高光譜、合成孔徑雷達、激光雷達圖像等源源不斷的產生，可以提供具有較強互補性的地物信息。
2、經過四十多年的發展，地物分類方法的性能不斷提高，尤其是基于深度學習的方法相比于傳統方法表現更加優異。其中，基于卷積神經網絡的方法與基于transformer的方法引起了更多的關注。基于卷積神經網絡的方法廣泛地運用了參數共享機制，通過滑動窗口的方式對輸入數據進行卷積操作，并使用相同的卷積核對不同的位置進行特征提取，這樣一來，卷積層的參數可以在不同的位置上共享，大大減少了參數的數量。這種參數共享機制使得卷積神經網絡能夠有效地處理圖像等結構化數據，提取出局部的特征，但是因為每個卷積核都必須學習相同的特征，限制了卷積神經網絡在細粒度任務及全局性任務上的性能，使得其在某些復
3、transformer通過多頭注意力機制可以有效地捕捉長程依賴，提取全局信息，它在處理不同尺寸的圖像時更具靈活性，因為它不依賴于卷積核的大小。但是transformer參數多且缺乏類似cnn的參數共享機制，導致其在數據量不足的情況下缺乏足夠的泛化能力，模型訓練困難，難以達到理想的效果。此外，地物分類標注困難，多源地物分類領域更是標注稀缺，限制了數據驅動的有監督方法的分類性能，迫切需要探究半監督甚至是無監督條件下的多源地物分類方法。
技術實現思路
1、為了克服現有技術的不足，本專利技術提供一種基于半監督cnn-transformer混合模型的多源地物分類方法，包括多源特征提取模塊、多源特征融合模塊、全局-局部特征提取模塊和偽標簽生成模塊，數據集上的實驗結果表明，與已有的深度學習模型相比，本專利技術獲得的地物分類結果具有較高的預測精度。
2、本專利技術解決其技術問題所采用的技術方案包括如下步驟：
3、步驟1：數據集準備；
4、對成對、配準的大幅高光譜圖像和激光雷達圖像，按照其標簽以每類固定數量s隨機劃分互斥的訓練集和測試集；先分別對訓練集和測試集進行歸一化處理；再將歸一化處理后的訓練集與測試集圖像塊作為模型的輸入；
5、步驟2：構建半監督混合網絡模型；
6、半監督cnn-transformer混合模型包括多源特征提取模塊、多源特征融合模塊、全局-局部特征提取模塊以及偽標簽生成模塊；每一輪訓練中，數據依次進入多源特征提取模塊、多源特征融合模塊、全局-局部特征提取模塊和偽標簽生成模塊，然后生成的偽標簽再在下一輪次訓練中被送到多源特征提取模塊以及其他三個模塊；
7、多源特征提取模塊包括卷積層與多層特征融合操作，用于提取多層次的不同模態特征；多源特征融合模塊是一個門控網絡，用于篩選來自不同模態的互補特征；全局-局部特征提取模塊包括cnn與transformer兩個分支，cnn分支利用卷積網絡的局部感受野提取局部信息，transformer分支使用vit作為主干網絡，利用多頭自注意力機制提取全局信息；偽標簽生成模塊將來自cnn與transformer兩個分支的信息進行整合，使用投票策略篩選預測概率高于閾值的預測結果用來生成偽標簽；將生成的偽標簽加入下一輪次的訓練數據參與網絡訓練；
8、步驟3：構建損失函數；
9、步驟4：采用損失函數使用訓練集對半監督cnn-transformer混合模型進行訓練，每輪訓練中自適應地產生偽標簽，并加入到下一輪的訓練樣本中，達到指定的訓練輪次n后，得到訓練后的網絡模型，然后使用測試集測試半監督cnn-transformer混合模型的有效性。
10、所述步驟3中，損失函數包含有監督部分與無監督部分，定義如下：
11、
12、其中，m1代表有標簽樣本的數目，m2代表被網絡打上偽標簽的樣本的數目，代表第i個樣本的真實標簽，代表第i個樣本的網絡對有監督樣本的預測概率，代表偽標簽，代表網絡對無監督樣本的預測概率，lcls代表分類損失，為有監督部分，為無監督部分；
13、所述分類損失lcls為交叉熵損失，定義為：
14、
15、其中，yi代表第i個輸入樣本的類別標簽，pi是網絡計算出的第i個樣本對應的預測概率，log代表取對數操作。
16、優選地，所述歸一化處理為圖像像素偏移量除以像素數值范圍，圖像像素偏移量為圖像像素值減圖像像素最小值，像素數值范圍為圖像像素最大值與圖像像素最小值的差值，將不同范圍數據統一到相同的尺度[0,1]上。
17、優選地，所述輸入半監督cnn-transformer混合模型的圖像塊尺寸設置為：houston數據集為9×9，muufl數據集為5×5，trento數據集為11×11。
18、優選地，一次性輸入進半監督cnn-transformer混合模型并計算總損失的圖像塊組數為128組。
19、優選地，所述多源特征提取模塊中，兩個模態的特征提取器網絡層數均設置為4層，每一層包含一個3×3卷積層、一個批量歸一化bn層與一個relu激活函數層，卷積層、bn層、relu激活函數層為順序級聯的結構，多層特征融合操作連接了第一層的輸出與第三層的輸出，并作為第四層的輸入，高光譜圖像特征提取分支的每層通道數設置為[128,64,32,32]，四個數值代表高光譜圖像分支每層網絡輸出的特征圖的通道數，依次對應第一層網絡到第四層網絡，激光雷達圖像特征提取分支的每層通道數被設置為[8,16,32,32]，四個數值分別代表激光雷達圖像分支每層網絡輸出的特征圖的通道數，依次對應第一層網絡到第四層網絡。
20、優選地，所述全局-局部特征提取模塊包含全局分支與局部分支，全局分支中編碼器的層數設置為5，多頭注意力的頭數設置為4，多層感知器中隱藏層的通道維度為8。
21、優選地，所述偽標簽生成模塊中，偽標簽篩選閾值根據不同數據集特性設為：houston數據集0.92、muufl數據集0.90、trento數據集0.95。
22、優選地，所述訓練集的樣本數目為每類20個，其余有標簽數據作為測試集。
23、所述步驟4中訓練輪次n取值為1000。
24、本專利技術的有益效果如下：
25、1本文檔來自技高網...
【技術保護點】
1.一種基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于包括下述步驟：
2.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
3.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
4.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
5.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
6.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
7.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
8.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
9.根據權利要求1所述的基于半監督CNN-Transf
10.根據權利要求1所述的基于半監督CNN-Transformer混合模型的多源地物分類方法，其特征在于：
...【技術特征摘要】
1.一種基于半監督cnn-transformer混合模型的多源地物分類方法，其特征在于包括下述步驟：
2.根據權利要求1所述的基于半監督cnn-transformer混合模型的多源地物分類方法，其特征在于：
3.根據權利要求1所述的基于半監督cnn-transformer混合模型的多源地物分類方法，其特征在于：
4.根據權利要求1所述的基于半監督cnn-transformer混合模型的多源地物分類方法，其特征在于：
5.根據權利要求1所述的基于半監督cnn-transformer混合模型的多源地物分類方法，其特征在于：
<...【專利技術屬性】
技術研發人員：張艷寧，李晴旖，邢穎慧，張秀偉，張世周，孔德璇，
申請(專利權)人：西北工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。