【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像處理領(lǐng)域，具體涉及一種基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法及系統(tǒng)。
技術(shù)介紹
1、高光譜解混是指利用高光譜圖像在光譜維度的優(yōu)勢(shì)，分析空間分辨率有限情況下圖像的像素內(nèi)部組成，求解高光譜圖像的基本組分和對(duì)應(yīng)占比，得到圖像的端元和豐度。高光譜圖像憑借其光譜分辨率的優(yōu)勢(shì)，能夠刻畫(huà)細(xì)節(jié)更豐富的光譜曲線，為實(shí)現(xiàn)成像目標(biāo)的材質(zhì)分析提供了有效途徑。
2、由于現(xiàn)實(shí)成像場(chǎng)景下光照、環(huán)境等因素的差異，或者成像目標(biāo)內(nèi)部的變化，高光譜圖像中經(jīng)常呈現(xiàn)“同物異譜”的現(xiàn)象，為高光譜解混帶來(lái)了挑戰(zhàn)。為了減少上述現(xiàn)象對(duì)高光譜解混性能的影響，考慮光譜可變性的解混算法得到了廣泛研究。目前，考慮光譜可變性的解混算法總體上可以分為基于端元束的算法、基于混合模型的算法以及基于深度學(xué)習(xí)的算法。傳統(tǒng)的解混算法通常基于固定的先驗(yàn)假設(shè)，無(wú)法為眾多復(fù)雜的數(shù)據(jù)提供合適的通解，因此其解混性能受限。基于深度學(xué)習(xí)的算法利用全連接層、卷積層等模塊挖掘光譜可變性的信息并擬合其對(duì)光譜造成的影響，并基于此對(duì)可變信息建模，削弱其對(duì)豐度估計(jì)的影響。當(dāng)前基于深度學(xué)習(xí)的算法在考慮光譜可變時(shí)，往往基于生成式的模型直接輸出擬合的光譜可變項(xiàng)，并基于各種正則項(xiàng)督促網(wǎng)絡(luò)訓(xùn)練。然而先有的算法的性能不穩(wěn)定，可能生成物理意義不明確的端元，造成豐度估計(jì)不準(zhǔn)確。
3、端元束算法通過(guò)提取多條光譜代表同一種端元，能夠保持求解端元的物理意義，然而其基于傳統(tǒng)啟發(fā)式算法的尋優(yōu)速度慢、效率低，當(dāng)前少有基于深度學(xué)習(xí)的算法發(fā)揮端元束算法的優(yōu)越性。
1、為解決現(xiàn)有技術(shù)中的問(wèn)題，本專利技術(shù)提出了一種基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法及系統(tǒng)。
2、本專利技術(shù)采用的技術(shù)方案如下：
3、第一方面，本專利技術(shù)公開(kāi)了一種基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法，包括以下步驟：
4、步驟1)：獲取高光譜圖像的初始端元，并獲得數(shù)據(jù)特征圖和端元令牌；
5、步驟2)：構(gòu)造基于端元導(dǎo)向transformer和端元束的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)用于基于數(shù)據(jù)特征圖和端元令牌獲得高光譜圖像的豐度估計(jì)結(jié)果和端元提取結(jié)果，所述神經(jīng)網(wǎng)絡(luò)包括端元導(dǎo)向的transformer編碼器模塊、基于端元束的端元生成器模塊、異質(zhì)信息融合模塊和豐度解碼器模塊；
6、步驟3)：對(duì)基于端元導(dǎo)向transformer和端元束的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；
7、步驟4)：利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)獲得待解混的高光譜圖像的豐度估計(jì)結(jié)果和端元提取結(jié)果，實(shí)現(xiàn)對(duì)高光譜圖像的解混。
8、第二方面，本專利技術(shù)公開(kāi)了一種所述方法的基于端元導(dǎo)向transformer和端元束的高光譜圖像解混系統(tǒng)，包括：
9、圖像預(yù)處理模塊，其用于獲取高光譜圖像的初始端元，并獲得數(shù)據(jù)特征圖和端元令牌；
10、神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊，其用于構(gòu)造基于端元導(dǎo)向transformer和端元束的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)用于基于數(shù)據(jù)特征圖和端元令牌獲得高光譜圖像的豐度估計(jì)結(jié)果和端元提取結(jié)果，所述神經(jīng)網(wǎng)絡(luò)包括端元導(dǎo)向的transformer編碼器模塊、基于端元束的端元生成器模塊、異質(zhì)信息融合模塊和豐度解碼器模塊；
11、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，其用于對(duì)基于端元導(dǎo)向transformer和端元束的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)；
12、高光譜圖像解混模塊，其用于利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)獲得待解混的高光譜圖像的豐度估計(jì)結(jié)果和端元提取結(jié)果，實(shí)現(xiàn)對(duì)高光譜圖像的解混。
13、與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果在于：
14、1)本專利技術(shù)提出了端元導(dǎo)向的transformer編碼器模塊，將數(shù)據(jù)特征圖基于定向投影實(shí)現(xiàn)特征提取，并且首次提出了基于混合專家系統(tǒng)的低冗余注意力機(jī)制，能夠有效約束模型的解空間，提供更準(zhǔn)確的特征提取結(jié)果，并提高網(wǎng)絡(luò)擬合效率。
15、2)本專利技術(shù)提出了基于端元束的端元生成器模塊，首次采用將端元導(dǎo)向特征轉(zhuǎn)化為類(lèi)內(nèi)權(quán)重并結(jié)合端元束生成端元的估計(jì)結(jié)果。
16、3)本專利技術(shù)提出了異質(zhì)信息融合模塊，能夠在信息融合時(shí)引入端元在空間上分布互補(bǔ)的先驗(yàn)，實(shí)現(xiàn)不同端元導(dǎo)向特征的充分融合。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于端元導(dǎo)向Transformer和端元束的高光譜圖像解混方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于端元導(dǎo)向Transformer和端元束的高光譜圖像解混方法，其特征在于，所述步驟1)，包括：
3.根據(jù)權(quán)利要求1所述的基于端元導(dǎo)向Transformer和端元束的高光譜圖像解混方法，其特征在于，步驟2)中，所述端元導(dǎo)向的Transformer編碼器模塊從數(shù)據(jù)特征圖中挖掘與端元令牌相關(guān)的端元導(dǎo)向特征；所述基于端元束的端元生成器模塊將端元導(dǎo)向特征轉(zhuǎn)換為端元束的類(lèi)內(nèi)權(quán)重，再基于所述類(lèi)內(nèi)權(quán)重對(duì)端元束加權(quán)得到最終的端元曲線，并以所述端元曲線作為端元提取結(jié)果；所述異質(zhì)信息融合模塊從空間互補(bǔ)和通道交互的角度融合端元導(dǎo)向特征得到異質(zhì)信息融合特征；豐度解碼器模塊基于異質(zhì)信息融合特征獲得估計(jì)的豐度圖，并以所述豐度圖作為豐度估計(jì)結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于端元導(dǎo)向Transformer和端元束的高光譜圖像解混方法，其特征在于，所述端元導(dǎo)向的Transformer編碼器模塊從數(shù)據(jù)特征圖中挖掘與端元令牌相關(guān)的端元導(dǎo)向特征；包括：
...【技術(shù)特征摘要】
1.一種基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法，其特征在于，所述步驟1)，包括：
3.根據(jù)權(quán)利要求1所述的基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法，其特征在于，步驟2)中，所述端元導(dǎo)向的transformer編碼器模塊從數(shù)據(jù)特征圖中挖掘與端元令牌相關(guān)的端元導(dǎo)向特征；所述基于端元束的端元生成器模塊將端元導(dǎo)向特征轉(zhuǎn)換為端元束的類(lèi)內(nèi)權(quán)重，再基于所述類(lèi)內(nèi)權(quán)重對(duì)端元束加權(quán)得到最終的端元曲線，并以所述端元曲線作為端元提取結(jié)果；所述異質(zhì)信息融合模塊從空間互補(bǔ)和通道交互的角度融合端元導(dǎo)向特征得到異質(zhì)信息融合特征；豐度解碼器模塊基于異質(zhì)信息融合特征獲得估計(jì)的豐度圖，并以所述豐度圖作為豐度估計(jì)結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于端元導(dǎo)向transformer和端元束的高光譜圖像解混方法，其特征在于，所述端元導(dǎo)向的transformer編碼器模塊從數(shù)據(jù)特征圖中挖掘與端元令牌相關(guān)的端元導(dǎo)向特征；包括：
5.根據(jù)權(quán)利要求4所述的基于端元導(dǎo)向tr...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：厲小潤(rùn)，向澍，陳淑涵，王晶，
申請(qǐng)(專利權(quán))人：浙江大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。