【技術實現步驟摘要】
本專利技術屬于圖像處理及多譜段目標識別領域，具體涉及基于雙支路多視角空譜特征交互的多譜段目標識別方法。
技術介紹
1、多譜段圖像將高空間與高光譜分辨率、遙感宏觀與微觀、空間信息與譜段信息有機結合，不再是傳統的二維圖像，而是一個三維數據立方體。多譜段圖像的譜段數量能達到幾個或幾百個不等，成像范圍覆蓋紫外、可見光、近紅外到中紅外電磁波譜區域，具有譜段覆蓋范圍廣、數量多的特點。多譜段圖像的精細譜段信息能夠反映出肉眼及普通光學傳感器無法探測的目標內在的物理、化學屬性及不同目標之間的細微差異；精細的空間信息能夠反映出目標的物理位置、結構關系、外形比例等外部品質特征，具有“空譜合一”的特點，為目標識別提供了豐富的數據支撐，使目標信息獲取更加全面，有益于提高目標識別的準確性。
2、目前多譜段目標識別方法主要有以下兩種：1）傳統的多譜段目標識別方法利用特征工程實現對多譜段圖像降維并獲得具有判別特性的特征或譜段，將這些特征或譜段傳輸給分類器進行優化訓練。然而，傳統的多譜段目標識別方法在很大程度上依賴于手工特征或淺層描述。大多數手工特征或淺層描述通常針對特定任務設計，并且在參數設置階段需要依賴有經驗的專家設計特征提取方法，導致這些方法只適用某些特定場景，限制了它們對不同場景的適用性；2）基于深度學習的多譜段目標識別方法通過搭建多個層級網絡結構，模擬人腦的信息處理結構，通過訓練方法對原始數據進行自動學習，以獲得這些數據的信息特征。這些方法利用層級結構能夠自動從原始數據中學習重要的特征，并逐步抽象為更高層次的特征表示，無需人為進行特征工程，
3、但是，由于結構范式的本質差異，使不同網絡捕獲的光譜-空間聯合特征存在不可逾越的感知差距。此外，基于深度學習的多譜段目標識別方法側重于通過增加網絡模型的深度或寬度來提高識別精度，導致具有判別特性的光譜-空間聯合特征在訓練過程中隨模型加深或變寬而消失。因此，需要一種專門的多譜段目標識別網絡模型解決上述問題。
技術實現思路
1、本專利技術針對現有基于深度學習的多譜段目標識別方法的不足，提供了基于雙支路多視角空譜特征交互的多譜段目標識別方法。該方法充分發揮cnn和transformer網絡在結構范式上的優勢互補特性，采用早期融合策略實現cnn和transformer雙網絡捕獲的局部和全局光譜-空間聯合特征的自適應交互，從而獲得多譜段目標識別結果。
2、本專利技術采用的技術方案如下：基于雙支路多視角空譜特征交互的多譜段目標識別方法，包括以下六個步驟：
3、步驟一：對多譜段圖像執行主成分分析操作進行光譜譜段降維處理，并利用像素級分割操作提取三維圖像塊作為輸入數據；
4、步驟二：捕獲輸入數據的淺層光譜-空間聯合特征；
5、步驟三：利用cnn提取輸入數據的局部和全局光譜-空間聯合特征；
6、步驟四：利用transformer提取光譜譜段和空間像素二者間的局部和全局相關特性；
7、步驟五：對稱多維意識融合機制利用早期融合策略早期融合cnn和transformer捕獲的局部和全局光譜-空間聯合特征的自適應交互，生成更具有判別特性的相互依賴注意力；
8、步驟六：利用輸出模塊，通過相互依賴注意力獲得多譜段目標識別結果。
9、本專利技術與現有技術相比的優點及有益效果在于：
10、本專利技術設計的cnn利用多個光譜-空間特征提取模塊和交叉層傳遞局部地和全局地解譯多譜段圖像，有效降低cnn和transformer二者間的感受差異。
11、本專利技術設計的transformer集成了cnn的畸變不變性，利用多個復合型編碼器（encoder）模塊和交叉層傳遞局部地和全局地編碼光譜譜段和空間像素二者間的相關特性。
12、本專利技術設計的對稱多維意識融合機制獲得cnn和transformer相互依賴注意力，有效加深兩種網絡的跨維度交互，從而避免重要信息丟失。
本文檔來自技高網...【技術保護點】
1.一種基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于，包括：
2.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟一中對多譜段圖像執行主成分分析操作進行光譜譜段降維處理包括：剔除高相關性譜段；利用像素級分割操作提取目標像素及其鄰域像素組成三維圖像塊作為輸入數據。
3.根據權利要求2所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟二中所述的初始化模塊是由兩個內核大小為和的二維卷積層、兩個批歸一化層和兩個ReLU激活函數組成，用于獲取輸入數據的淺層光譜-空間聯合特征，計算過程如下：
4.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟三中所述的CNN是由三個光譜-空間特征提取模塊和交叉層傳遞操作組成，用于挖掘局部和全局光譜-空間聯合特征，計算過程如下：
5.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟四中所述的Transformer由四個復合型編碼器和交叉層傳遞操作組成，用于捕獲光
6.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟五中所述的對稱多維意識融合機制利用早期融合策略早期融合CNN和Transformer捕獲的局部和全局光譜-空間聯合特征的自適應交互，生成更具有判別特性的相互依賴注意力，計算過程如下：
7.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟六中所述的利用輸出模塊獲得多譜段目標識別結果，其中，輸出模塊是由一個二維全局平均池化、三個全連接層和一個softmax函數組成，計算公式如下：
...【技術特征摘要】
1.一種基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于，包括：
2.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟一中對多譜段圖像執行主成分分析操作進行光譜譜段降維處理包括：剔除高相關性譜段；利用像素級分割操作提取目標像素及其鄰域像素組成三維圖像塊作為輸入數據。
3.根據權利要求2所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟二中所述的初始化模塊是由兩個內核大小為和的二維卷積層、兩個批歸一化層和兩個relu激活函數組成，用于獲取輸入數據的淺層光譜-空間聯合特征，計算過程如下：
4.根據權利要求1所述的基于雙支路多視角空譜特征交互的多譜段目標識別方法，其特征在于：步驟三中所述的cnn是由三個光譜-空間特征提取模塊和交叉層傳遞操作組成，用于挖掘局部和全局光譜-空間聯合特征...
【專利技術屬性】
技術研發人員：劉東旭，魏宇星，李美惠，
申請(專利權)人：中國科學院光電技術研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。