【技術實現步驟摘要】
本專利技術屬于高光譜圖像無監督，具體的說是涉及一種基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法。
技術介紹
1、高光譜圖像是由高光譜成像儀對地面進行拍攝并成像得到的三維立方體數據，不同于生活中的三通道可見光圖像，高光譜圖像的光譜通道數量可以達到幾十甚至上百，可以提供更加豐富的光譜信息。這些光譜信息可以用來區分不同地物類別，有助于植被覆蓋分析、生態環境檢測、地質勘探等實際應用。高光譜圖像分類對高光譜圖像中的像素根據光譜信息進行識別與分析，判斷每一個像素對應的實際場景中的地物類別。根據是否含有樣本的標簽信息，高光譜圖像分類包括監督分類和無監督分類。但是，獲取樣本的標簽往往需要進行實地勘察，這個過程是耗時、耗力和耗費財力的。特別是在發生自然災害或難以勘查的地區，使得實地勘察變得困難甚至不可行。通常情況下，獲取大量有標簽的訓練樣本是非常困難的，因此無監督分類或聚類方法具有更廣泛的應用價值。
2、近年來，深度學習方法憑借強大的特征提取能力，被廣泛應用到高光譜圖像無監督分類任務中。深度聚類算法通常利用自監督學習構建監督信息更新網絡模型。例如，基于子空間的深度聚類，junjian?zhang等人提出了自監督卷積子空間聚類網絡(self-supervised?convolutional?subspace?clustering?network，s2convscn?cvpr2019)，包含特征提取模塊、自表達模塊、譜聚類模塊和分類模塊，利用譜聚類的結果監督整個網絡的更新，構成一個端到端可訓練的聯合優化框架。j?lv,z?kang等
3、上述這些transformer模型使用單一結構模型來學習特征。然而，高光譜圖像是空間和光譜相結合的復雜數據，單一結構難以充分挖掘高光譜圖像的內在特征。
技術實現思路
1、針對現有技術中存在的問題，本專利技術利用cnn來提取局部細節特征，同時利用多層全局transformer的優勢提取的長依賴的全局特征，提出一種新的基于局部-全局雙路徑架構的高光譜自監督聚類方法，該方法有效提高了高光譜地物的識別精度。
2、為了達到上述目的，本專利技術是通過以下技術方案實現的：
3、本專利技術是一種基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，所述局部-全局雙分支網絡具體包括雙路徑網絡模塊、resnet模塊和雙重自監督模塊，所述雙路徑網絡模塊由cnn模塊和多層全局transformer模塊組成，具體的，所述高光譜圖像自監督聚類方法具體包括以下步驟：
4、步驟1、對高光譜圖像進行預處理，構造以每個像素點為中心的3d像素塊；
5、步驟2、將步驟1獲得的3d像素塊送入resnet模塊獲取高光譜圖像的淺層深度特征；
6、步驟3、將步驟2獲取到的淺層深度特征注入到雙路徑網絡模塊即cnn模塊提取局部細節特征和多層全局transformer模塊提取全局語義特征；
7、步驟4、基于步驟3中cnn模塊獲取的局部細節特征，利用核函數計算所述局部細節特征的特征向量與每一個類別的kmeans算法聚類中心向量之間的相似性，得到每一個樣本屬于類別簇的預測分布，即局部語義概率分布，然后通過學習高置信度分配來優化局部細節特征表示，提高類別簇的凝聚力，計算得到目標分布；
8、步驟5、將步驟3的多層全局transformer模塊獲得的全局語義特征送入前饋神經網絡并利用softmax函數獲得全局語義概率分布；
9、步驟6、基于步驟4獲得的預測分布和目標分布以及步驟5獲得的全局語義概率分布，通過雙重自監督模塊構建網絡損失函數指導整個所述局部-全局雙分支網絡的更新。
10、本專利技術的進一步改進在于：所述局部-全局雙分支網絡中的所述resnet模塊包括三層殘差結構，每層所述殘差結構包括兩個卷積層，每個卷積層后接一個批量規范化層和relu激活函數，3d像素塊hpca∈rp×p×c′通過所述resnet模塊獲取到淺層深度特征xs∈rp×p×c′。
11、本專利技術的進一步改進在于：雙路徑網絡模塊中的所述cnn模塊包括四個卷積層組成，每個所述卷積層后接relu激活函數，對步驟2中獲得的淺層深度特征xs∈rp×p×c′通過cnn模塊獲得局部細節特征xl∈rp×p×z，其中z是cnn模塊中最后一個卷積層中的輸出通道數。
12、本專利技術的進一步改進在于：雙路徑網絡模塊中的所述多層全局transformer模塊由多層全局transformer模型堆疊組本文檔來自技高網...
【技術保護點】
1.一種基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：所述局部-全局雙分支網絡具體包括雙路徑網絡模塊、ResNet模塊和雙重自監督模塊，所述雙路徑網絡模塊由CNN模塊和多層全局Transformer模塊組成，具體的，所述高光譜圖像自監督聚類方法具體包括以下步驟：
2.根據權利要求1所述的基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：所述局部-全局雙分支網絡中的所述ResNet模塊包括三層殘差結構，每層所述殘差結構包括兩個卷積層，每個卷積層后接一個批量規范化層和ReLU激活函數，3D像素塊Hpca∈Rp×p×c′通過所述ResNet模塊獲取到淺層深度特征Xs∈Rp×p×c′，其中p表示像素塊的高和寬。
3.根據權利要求2所述的基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：雙路徑網絡模塊中的所述CNN模塊包括四個卷積層組成，每個所述卷積層后接ReLU激活函數，對步驟2中獲得的淺層深度特征Xs∈Rp×p×c′通過CNN模塊獲得局部細節特征Xl∈Rp×p×z，其中z是CNN模塊中最后一個卷積層中的輸出通道數。<...
【技術特征摘要】
1.一種基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：所述局部-全局雙分支網絡具體包括雙路徑網絡模塊、resnet模塊和雙重自監督模塊，所述雙路徑網絡模塊由cnn模塊和多層全局transformer模塊組成，具體的，所述高光譜圖像自監督聚類方法具體包括以下步驟：
2.根據權利要求1所述的基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：所述局部-全局雙分支網絡中的所述resnet模塊包括三層殘差結構，每層所述殘差結構包括兩個卷積層，每個卷積層后接一個批量規范化層和relu激活函數，3d像素塊hpca∈rp×p×c′通過所述resnet模塊獲取到淺層深度特征xs∈rp×p×c′，其中p表示像素塊的高和寬。
3.根據權利要求2所述的基于局部-全局雙分支網絡的高光譜圖像自監督聚類方法，其特征在于：雙路徑網絡模塊中的所述cnn模塊包...
【專利技術屬性】
技術研發人員：黃楠，吳桐，鄭志忠，劉鵬飛，倪康，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。