本申請(qǐng)公開了一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，涉及遙感技術(shù)領(lǐng)域，公開了基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，包括：獲取遙感圖像的多光譜圖像與高光譜圖像；基于預(yù)設(shè)融合模型中的CSAM模塊，對(duì)多光譜圖像與高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征；基于預(yù)設(shè)融合模型中的SFBM模塊，對(duì)空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征；基于預(yù)設(shè)融合模型中的卷積層，對(duì)空間特征與頻率特征進(jìn)行融合，獲得多光譜圖像與高光譜圖像的融合圖像。通過整合空間域和頻率域特征，使得模型能夠更準(zhǔn)確地捕捉和融合多光譜和高光譜圖像中的復(fù)雜信息，顯著提升了圖像融合的質(zhì)量。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及遙感，尤其涉及基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法。
技術(shù)介紹
1、高光譜圖像可提供數(shù)百至數(shù)千個(gè)窄帶的光譜信息，捕捉各種材料的獨(dú)特特征，多光譜成像系統(tǒng)則提供了高空間分辨率，為了生成高空間分辨率的高光譜圖像，多光譜與高光譜圖像的融合研究結(jié)合了兩者的優(yōu)勢。
2、由于頻域特征可以提供全局視野，捕捉圖像中的全局相關(guān)性，有效補(bǔ)充空間域的局部特征，從而增強(qiáng)圖像的整體表征能力，目前通過利用方向性成對(duì)多頭交叉關(guān)注來捕捉不同模態(tài)之間的相互作用，從而促進(jìn)模態(tài)之間的信息傳遞，在交叉注意后加入了一個(gè)swintransformer塊，以增強(qiáng)上下文中的自注意力來更好的融合多光譜圖像和高光譜圖像，還可以通過傅里葉變換和可學(xué)習(xí)濾波器替代了視覺中的自注意力，在傅里葉頻率域交換圖像的振幅和相位成分來增強(qiáng)和調(diào)整頻率信息，在頻域中實(shí)現(xiàn)了長時(shí)空依賴，將圖像分解為振幅和相位分量，以有效描述圖像的結(jié)構(gòu)信息。雖然傅里葉變換在增強(qiáng)頻域信息捕捉能力方面具有優(yōu)勢，但是不能有效的整合頻域與空間特征，進(jìn)而限制了圖像融合的質(zhì)量。
3、上述內(nèi)容僅用于輔助理解本申請(qǐng)的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的主要目的在于提供一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，旨在解決不能有效的整合頻域與空間特征，進(jìn)而限制了圖像融合的質(zhì)量的技術(shù)問題。
2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，所述的方法包括：
<
p>3、獲取遙感圖像的多光譜圖像與高光譜圖像；4、基于預(yù)設(shè)融合模型中的csam模塊，對(duì)所述多光譜圖像與所述高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征，所述空間分支特征為對(duì)所述多光譜圖像與所述高光譜圖像進(jìn)行空間分支處理后的特征；
5、基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征；
6、基于所述預(yù)設(shè)融合模型中的卷積層，對(duì)所述空間特征與所述頻率特征進(jìn)行融合，獲得所述多光譜圖像與所述高光譜圖像的融合圖像。
7、在一實(shí)施例中，所述基于預(yù)設(shè)融合模型中的csam模塊，對(duì)所述多光譜圖像與所述高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征的步驟包括：
8、基于預(yù)設(shè)融合模型中的卷積層，對(duì)所述多光譜圖像與所述高光譜圖像的拼接圖像進(jìn)行空間分支處理，獲得所述拼接圖像的空間分支特征；
9、基于所述預(yù)設(shè)融合模型中的csam模塊，壓縮所述空間分支特征獲得所述空間分支特征的特征表征圖；
10、基于所述特征表征圖，執(zhí)行所述csam模塊中的自注意力機(jī)制，對(duì)所述空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征。
11、在一實(shí)施例中，所述基于所述預(yù)設(shè)融合模型中的csam模塊，壓縮所述空間分支特征獲得所述空間分支特征的特征表征圖的步驟包括：
12、基于所述預(yù)設(shè)融合模型中的csam模塊，對(duì)所述空間分支特征進(jìn)行空間維度的壓縮，獲得各所述空間分支特征的聚合圖；
13、基于所述csam模塊中的可分離卷積層對(duì)所述聚合圖進(jìn)行卷積處理，獲得保留所述空間分支特征中全局信息的特征表征圖。
14、在一實(shí)施例中，所述基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
15、基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻域分支，獲得所述空間分支特征的特征頻譜；
16、基于所述sfbm模塊中的頻率分叉層，從所述特征頻譜中提取所述空間分支特征對(duì)應(yīng)頻譜的幅值分量與相位分量；
17、基于所述sfbm模塊中的點(diǎn)卷積層，利用所述幅值分量與所述相位分量，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征。
18、在一實(shí)施例中，所述基于所述sfbm模塊中的點(diǎn)卷積層，利用所述幅值分量與所述相位分量，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
19、基于所述sfbm模塊中的點(diǎn)卷積層，從所述幅值分量中捕獲所述拼接圖像的結(jié)構(gòu)信息，從所述相位分量中捕獲所述拼接圖像的頻率信息；
20、根據(jù)所述結(jié)構(gòu)信息與所述頻率信息捕捉所述拼接圖像的光譜帶信息；
21、基于所述光譜帶信息，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征。
22、在一實(shí)施例中，所述基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻域分支，獲得所述空間分支特征的特征頻譜的步驟包括：
23、基于所述預(yù)設(shè)融合模型中sfbm模塊的頻率感知器，將所述空間分支特征切換至頻域，獲得各所述空間分支特征的特征頻率；
24、基于所述頻率感知器中的分解線性層，對(duì)所述特征頻率進(jìn)行分解與線性轉(zhuǎn)換，獲得表征非線性濾波的非線性頻率；
25、基于所述頻率感知中的頻率分量層，對(duì)所述非線性頻率進(jìn)行分量處理，獲得頻率分量；
26、基于所述頻率分量層對(duì)所述頻率分量進(jìn)行重組，獲得所述空間分支特征的特征頻譜。
27、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合裝置，所述基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合裝置包括：
28、獲取模塊，用于獲取遙感圖像的多光譜圖像與高光譜圖像；
29、捕捉模塊，用于基于預(yù)設(shè)融合模型中的csam模塊，對(duì)所述多光譜圖像與所述高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征，所述空間分支特征為對(duì)所述多光譜圖像與所述高光譜圖像進(jìn)行空間分支處理后的特征；
30、確定模塊，用于基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征；
31、融合模塊，用于基于所述預(yù)設(shè)融合模型中的卷積層，對(duì)所述空間特征與所述頻率特征進(jìn)行融合，獲得所述多光譜圖像與所述高光譜圖像的融合圖像。
32、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
33、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
34、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
35、本申請(qǐng)?zhí)岢龅囊粋€(gè)或多個(gè)技術(shù)方案，至少具有以下技術(shù)效果：
36、獲取到遙感本文檔來自技高網(wǎng)
...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)融合模型中的CSAM模塊，對(duì)所述多光譜圖像與所述高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征的步驟包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的CSAM模塊，壓縮所述空間分支特征獲得所述空間分支特征的特征表征圖的步驟包括：
4.如權(quán)利要求1所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的SFBM模塊，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
5.如權(quán)利要求4所述的方法，其特征在于，所述基于所述SFBM模塊中的點(diǎn)卷積層，利用所述幅值分量與所述相位分量，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
6.如權(quán)利要求4所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的SFBM模塊，對(duì)所述空間分支特征進(jìn)行頻域分支，獲得所述空間分支特征的特征頻譜的步驟包括：
7.一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合裝置，其特征在于，所述裝置包括：
8.一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法的步驟。
...
【技術(shù)特征摘要】
1.一種基于空間頻率協(xié)同網(wǎng)絡(luò)的多光譜和高光譜圖像融合方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)融合模型中的csam模塊，對(duì)所述多光譜圖像與所述高光譜圖像的空間分支特征進(jìn)行空間依賴關(guān)系的捕捉，獲得空間特征的步驟包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的csam模塊，壓縮所述空間分支特征獲得所述空間分支特征的特征表征圖的步驟包括：
4.如權(quán)利要求1所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
5.如權(quán)利要求4所述的方法，其特征在于，所述基于所述sfbm模塊中的點(diǎn)卷積層，利用所述幅值分量與所述相位分量，對(duì)所述空間分支特征進(jìn)行頻率依賴性的確定，獲得頻率特征的步驟包括：
6.如權(quán)利要求4所述的方法，其特征在于，所述基于所述預(yù)設(shè)融合模型中的sfbm模塊，對(duì)所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐萌，莫子謙，賈森，張書瑜，符喜優(yōu)，何汝艷，
申請(qǐng)(專利權(quán))人：深圳大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。