基于制造技術

本發明專利技術涉及一種基于

【技術實現步驟摘要】
基于Transformer和非局部神經網絡雙分支架構的高光譜圖像分類方法


[0001]本專利技術涉及計算機視覺和圖像處理
，尤其是一種基于
Transformer
和非局部神經網絡雙分支架構的高光譜圖像分類方法
。

技術介紹

[0002]高光譜圖像比普通圖像具有更豐富的光譜空間信息
,
能充分反映地物特征
。
目前為止，高光譜圖像廣泛應用于環境管理
、
資源評估
、
城市發展檢測
、
作物分析等領域，而高光譜圖像分類則是這些應用的先決條件
。
在高光譜圖像分類領域的早期研究中，主要采用機器學習方法來提取高光譜圖像特征，其中包括
k
近鄰法
、
貝葉斯估計法
、
多項邏輯回歸法
、
支持向量機和隨機森林等，此外，還發展了主成分分析
、
獨立成分分析等多種降維和光譜特征提取方式，然而，這些方法忽略了像素之間在空間維度上相關性，未能充分利用空間特征
。
因此，又開發了多種形態學算子，如形態學輪廓和擴展多屬性輪廓等方法，但這些機器學習方法存在一些缺陷，如特征提取能力不足和對不同高光譜圖像場景的適用性差
。
[0003]近年來，深度學習的快速發展成功地打破了傳統提取技術的局限性，它可以自動從數據中提取深層次特征，在計算機視覺方面取得了重大進展
。
到目前為止，已經有很多深度學習模型用于高光譜圖像分類的研究，其中卷積神經網絡
CNN
具有局部感知和參數共享的特點，同時在學習特征的時能保留原有結構，并大大減少網絡參數的數量，正是這些顯著的優勢使
CNN
在高光譜圖像分類任務中表現出了較好的性能，得到了廣泛的關注
。
雖然基于
CNN
高光譜分類方法可以有效提取光譜和空間信息，但
CNN
的卷積操作在處理輸入內容時通常呈現出一種平等的趨勢，但光譜和空間特征往往對分類的貢獻存在差異
。
并且
CNN
卷積操作主要關注局部鄰域的特征提取，對于像素之間的長距離依賴關系能力有限
。
這使得
CNN
在處理具有復雜的空間布局和結構的高光譜圖像時可能存在一定的局限性
。
[0004]總結而言，盡管深度學習方法在高光譜圖像分類領域取得了顯著的進展，但需要認識到高光譜圖像通常具有高維度的特點
。
這導致了模型的復雜性增加，訓練變得更加困難，同時需要更多的計算資源和數據才能獲得令人滿意的結果
。
這些挑戰需要在未來的研究中得到更好的解決，以進一步推動高光譜圖像分類技術的發展和應用
。

技術實現思路

[0005]為克服
CNN
無法有效處理像素之間的長距離依賴關系以及高光譜維度問題，本專利技術的目的在于提供一種有效處理像素之間的長距離依賴關系來提高中心像素識別，緩解高光譜圖像的維度問題，增強模型對光譜特征的理解能力的基于
Transformer
和非局部神經網絡雙分支架構的高光譜圖像分類方法
。
[0006]為實現上述目的，本專利技術采用了以下技術方案：一種基于
Transformer
和非局部神經網絡雙分支架構的高光譜圖像分類方法，該方法包括下列順序的步驟：
[0007](1)
輸入高光譜圖像
H∈R
h
×
w
×
b
，其中，
h、w
和
b
分別為數據集的長度
、
寬度和波段數；
[0008](2)
對輸入的高光譜圖像
H
進行雙分支處理：先將高光譜圖像
H
通過主成分分析降維為
H
pca
∈R
h
×
w
×
b'
，其中，
b'
為降維后的波段；再將
H
pca
裁剪成多個立方塊
H
sp
，將多個立方塊
H
sp
依次輸入空間子網絡；取
H
的光譜信息
H
spe
作為光譜子網絡的輸入；
[0009](3)
對于輸入空間子網絡的多個立方塊
H
sp
，先經過一個二維卷積層用于保證足夠的輸入信息，再使用空間注意力模塊實現全局與局部特征融合，最后經過全局二維平均池化得到一維空間特征；
[0010](4)
輸入光譜子網絡的光譜信息
H
spe
經過
Transformer
模塊得到一維光譜特征；
[0011](5)
構建多層感知器模塊將提取的一維空間特征和一維光譜特征進行融合，得到分類結果
。
[0012]所述步驟
(3)
具體包括以下步驟：
[0013](3a)
所述二維卷積層包括二維卷積
、
批歸一化層和
Mish
激活函數，輸入空間子網絡的多個立方塊
H
sp
先經過一個二維卷積，其卷積核為3×3；再經過批歸一化層緩解梯度消失和梯度爆炸問題，增強網絡的泛化能力，再經過
Mish
激活函數增加網絡的非線性能力；
[0014](3b)
在二維卷積層后加入空間注意力模塊以融合全局和局部特征，增強特征表示；空間注意力模塊使用兩個模塊來提取特征，所述兩個模塊分別為余弦和高斯歐幾里得相似自注意力模塊
、
尺度信息提取模塊，使用余弦和高斯歐幾里得相似自注意力模塊提取全局特征，然后經過尺度信息提取模塊提取局部特征；
[0015](3c)
余弦和高斯歐幾里得相似自注意力模塊的輸入為二維卷積層的輸出
X∈R
s
×
s
×
c
，其中，
s
×
s
為空間大小，
c
為通道數，將
X
的中心像素表示為
X
i
∈R
1X1
×
c
，周圍像素
X
i
，
t
＝
[X
i
，1，
X
i
，2，
X
i
，3，
X
i
，4，
...
，
X
i
，
n
]，
n
＝
s
×
s
；中心像素
X
i
和周圍像本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.
一種基于
Transformer
和非局部神經網絡雙分支架構的高光譜圖像分類方法，其特征在于：該方法包括下列順序的步驟：
(1)
輸入高光譜圖像
H∈R
h
×
w
×
b
，其中，
h、w
和
b
分別為數據集的長度
、
寬度和波段數；
(2)
對輸入的高光譜圖像
H
進行雙分支處理：先將高光譜圖像
H
通過主成分分析降維為
H
pca
∈R
h
×
w
×
b
′
，其中，
b
′
為降維后的波段；再將
H
pca
裁剪成多個立方塊
H
sp
，將多個立方塊
H
sp
依次輸入空間子網絡；取
H
的光譜信息
H
spe
作為光譜子網絡的輸入；
(3)
對于輸入空間子網絡的多個立方塊
H
sp
，先經過一個二維卷積層用于保證足夠的輸入信息，再使用空間注意力模塊實現全局與局部特征融合，最后經過全局二維平均池化得到一維空間特征；
(4)
輸入光譜子網絡的光譜信息
H
spe
經過
Transformer
模塊得到一維光譜特征；
(5)
構建多層感知器模塊將提取的一維空間特征和一維光譜特征進行融合，得到分類結果
。2.
根據權利要求1所述的基于
Transformer
和非局部神經網絡雙分支架構的高光譜圖像分類方法，其特征在于：所述步驟
(3)
具體包括以下步驟：
(3a)
所述二維卷積層包括二維卷積
、
批歸一化層和
Mish
激活函數，輸入空間子網絡的多個立方塊
H
sp
先經過一個二維卷積，其卷積核為3×3；再經過批歸一化層緩解梯度消失和梯度爆炸問題，增強網絡的泛化能力，再經過
Mish
激活函數增加網絡的非線性能力；
(3b)
在二維卷積層后加入空間注意力模塊以融合全局和局部特征，增強特征表示；空間注意力模塊使用兩個模塊來提取特征，所述兩個模塊分別為余弦和高斯歐幾里得相似自注意力模塊
、
尺度信息提取模塊，使用余弦和高斯歐幾里得相似自注意力模塊提取全局特征，然后經過尺度信息提取模塊提取局部特征；
(3c)
余弦和高斯歐幾里得相似自注意力模塊的輸入為二維卷積層的輸出
X∈R
s
×
s
×
c
，其中，
s
×
s
為空間大小，
c
為通道數，將
X
的中心像素表示為
X
i
∈R1×1×
c
，周圍像素
X
i
，
t
＝
[X
i
，1，
X
i,2
，
X
i
，3，
X
i,4
，
...
，
X
i,n
】
，
n
＝
s
×
s
；中心像素
X
i
和周圍像素的高斯歐幾里得相似性
G
i,t
和余旋相似性
C
i
，
t
的計算公式分別為：的計算公式分別為：其中，
GESim(X
i
，
X
i,t
)
為計算高斯歐幾里得相似性，
CosSim(X
i
，
X
i,t
)
為計算余弦相似性，
σ
影響相似性衰減的速率；
t
為周圍像素坐標的索引；當
G
i
，
t
和
C
i
，
t
的值趨近于1時，意味著
X
i
、X
i
，
t
的相似性較高；反之，當值趨近于0時，相似性逐漸減小；再利用
softmax
函數進一步歸一化，由相應的相似性矩陣分別得到高斯歐氏距離自相似注意圖
GaEd∈R
s
×
s
和余弦自相似注意圖
Cos∈R
...

【專利技術屬性】
技術研發人員：趙晉陵，王家界，黃林生，阮超，雷雨，黃文江，梁棟，
申請(專利權)人：安徽大學，
類型：發明
國別省市：