【技術實現步驟摘要】
本專利技術涉及一種基于多頻跳躍mamba網絡的高效全色銳化系統及其方法，屬于圖像處理及遙感。
技術介紹
1、現有的遙感影像技術在獲取高空間分辨率和高光譜分辨率圖像時，通常存在難以兼得的局限性。全色圖像雖然具有較高的空間分辨率，但缺乏豐富的光譜信息；而多光譜圖像則包含豐富的光譜信息，但其空間分辨率較低。為了同時提升光譜和空間分辨率，圖像融合技術被廣泛應用。現有的圖像融合技術主要包括基于多分辨率分析、模型優化和成分替換的方法。
2、基于多分辨率分析的方法通過提取全色圖像中的高頻空間細節，并與多光譜圖像的光譜信息相融合，提升了空間分辨率。模型優化方法將圖像融合問題作為數學優化任務進行求解，通過先驗信息提升融合精度。成分替換方法則通過構建光譜和空間特征的替換模型，實現特征的最優融合。然而，傳統方法在處理復雜圖像結構、全局信息建模、光譜與空間特征融合等方面仍存在一定的不足。近年來，卷積神經網絡(cnn)在圖像融合任務中得到了廣泛應用，其具備強大的非線性擬合能力，可以有效提升融合效果。然而，cnn的局部感受野限制了其全局信息的建模能力。此外，基于transformer的模型雖然增強了全局建模能力，但計算復雜度較高，難以處理大規模遙感影像。
3、因此，本專利技術提出了一種結合自適應mamba模塊(amm)與跨域mamba模塊(cdm)的多頻率跳躍mamba網絡系統，在不顯著增加計算復雜度的前提下，實現了更高效的全色圖像與多光譜圖像的融合。
技術實現思路
1、本專利技術解決
2、一種基于多頻跳躍mamba網絡的高效全色銳化系統，包括圖像預處理模塊、自適應性mamba模塊、跨域mamba模塊、多尺度融合模塊和輸出模塊；
3、圖像預處理模塊用于將低分辨率多光譜圖像的分辨率調整至與高分辨率全色圖像分辨率一致；
4、自適應性mamba模塊用于將調整分辨率后的低分辨率多光譜圖像與高分辨率全色圖像，分別提取不同尺度下的圖像頻率特征，獲取空間與光譜信息；
5、跨域mamba模塊用于將自適應性mamba模塊提取得到不同尺度下的圖像頻率特征實現跨域mamba模塊空間與光譜特征融合，將全色圖像中的高頻細節與多光譜圖像中的光譜信息進行整合；
6、多尺度融合模塊用于將跨域mamba模塊整合后的多尺度特征圖像進一步整合，生成高分辨率多光譜圖像；
7、輸出模塊用于輸出生成高分辨率多光譜圖像。
8、所述自適應性mamba模塊包括多層卷積操作單元、最大池化與平均池化操作單元和激活函數單元。
9、多層卷積操作單元用于動態調整卷積核大小和步幅的能力，能夠根據輸入圖像的復雜性和特征分布，靈活調整感受野大小。在圖像的高頻區域，amm模塊采用較大的卷積核，以捕捉圖像的全局特征和高空間細節；在低頻區域，模塊則使用較小的卷積核，以便細致提取光譜信息。
10、最大池化與平均池化操作單元用于確保不同尺度下的特征信息被完整捕獲；
11、激活函數單元生成加權系數，用于自動增強關鍵區域的特征提取能力。
12、所述自適應性mamba模塊中多層卷積操作根據以下公式動態調整卷積核大小和步幅的能力：
13、ic＝max(conv(im))+mean(conv(im))×conv(im)?(1)；
14、其中conv(·)表示卷積層,max(·)最大池化，mean(·)表示平均池化，im表示原始輸入的特征，ic表示動態調整后的特征，生成的特征矩陣每個的維度為h×w×c；自適應性mamba模塊的動態特性使得它能夠根據不同輸入動態調整內部狀態，從而增強模型對輸入變化的敏感性，適應復雜的序列建模任務。
15、所述跨域mamba模塊包括跨域卷積操作單元和頻域處理單元。
16、跨域卷積操作單元用于調整卷積核的大小，以及用于將不同尺度下的圖像頻率特征投射至頻域空間，并進行跨域卷積融合；頻域處理單元用于捕捉光譜變化的細節，并結合卷積操作，確保光譜信息與空間細節在多尺度上的一致性。通過調整卷積核的大小，cdm模塊能夠靈活適應不同頻率的圖像細節，確保生成的高分辨率圖像在光譜保真度和空間分辨率上都有出色表現。
17、所述跨域mamba模塊輸出多尺度特征圖像表示為：
18、mamba(ifusion)＝mlp(ipan+ims)????(2)
19、其中，ifusion為融合后的多尺度特征圖像，表示高分辨率全色圖像(pan圖像)，表示低分辨率多光譜圖像(ms圖像)。
20、所述跨域mamba模塊中跨域卷積操作單元包括3×3的卷積操作，進一步融合不同分辨率的特征，表示為：
21、ada(conv(is))＝avg(max(conv(ifusion)))+fourier(conv(ifusion))??(3)
22、其中is表示多尺度融合特征，fourier表示傅里葉頻域增強，avg表示平均池化，max表示最大池化，conv(·)表示卷積層，ifusion為融合后的不同分辨率多尺度特征圖像。
23、所述多尺度融合模塊包括多尺度融合策略單元和殘差連接技術單元，確保輸入的原始圖像信息在融合過程中得到充分保留，并通過逐層特征整合提升圖像的整體質量。
24、一種基于多頻跳躍mamba網絡的高效全色銳化方法，其步驟包括：
25、s1、圖像預處理模塊采用插值上采樣的方法將低分辨率多光譜圖像的分辨率調整至與高分辨率全色圖像分辨率一致；
26、s2、采用自適應性mamba模塊將調整分辨率后的低分辨率多光譜圖像與高分辨率全色圖像，分別提取不同尺度下的圖像頻率特征的方法；
27、s3、采用跨域mamba模塊將提取得到不同尺度下的圖像頻率特征實現空間與光譜特征融合的方法；
28、s4、采用多尺度融合模塊將融合后的多尺度特征圖像繼續融合的方法，生成高分辨率多光譜圖像；
29、s5、采用輸出模塊將生成的高分辨率多光譜圖像輸出的方法。
30、所述經s4高分辨率多光譜圖像采用l1損失函數和ergas損失函數進行優化，生成優化后的高分辨率多光譜圖像；通過輸出模塊將優化后的高分辨率多光譜圖像輸出。
31、本專利技術的有益效果是：
32、1、全局與局部特征的高效融合：通過自適應mamba模塊，系統能夠靈活地提取圖像的多尺度特征，確保在不同區域內，空間和光譜特征都能被充分提取；跨域mamba模塊則通過頻域和空間域信息的融合，進一步提升圖像的整體表現。
33、2、高效的特本文檔來自技高網...
【技術保護點】
1.一種基于多頻跳躍Mamba網絡的高效全色銳化系統，其特征在于：包括圖像預處理模塊、自適應性Mamba模塊、跨域Mamba模塊、多尺度融合模塊和輸出模塊；
2.根據權利要求1所述的基于多頻跳躍Mamba網絡的高效全色銳化系統，其特征在于：所述自適應性Mamba模塊包括多層卷積操作單元、最大池化與平均池化操作單元和激活函數單元；多層卷積操作單元用于動態調整卷積核大小和步幅的能力；最大池化與平均池化操作單元用于確保不同尺度下的特征信息被完整捕獲；激活函數單元用于自動增強關鍵區域的特征提取能力。
3.根據權利要求2所述的基于多頻跳躍Mamba網絡的高效全色銳化系統，其特征在于：所述自適應性Mamba模塊中多層卷積操作根據以下公式動態調整卷積核大小和步幅的能力：
4.根據權利要求1所述的基于多頻跳躍Mamba網絡的高效全色銳化系統，其特征在于：所述跨域Mamba模塊包括跨域卷積操作單元和頻域處理單元，跨域卷積操作單元用于調整卷積核的大小，以及用于將不同尺度下的圖像頻率特征投射至頻域空間，并進行跨域卷積融合；頻域處理單元用于捕捉光譜變化的細節。
...【技術特征摘要】
1.一種基于多頻跳躍mamba網絡的高效全色銳化系統，其特征在于：包括圖像預處理模塊、自適應性mamba模塊、跨域mamba模塊、多尺度融合模塊和輸出模塊；
2.根據權利要求1所述的基于多頻跳躍mamba網絡的高效全色銳化系統，其特征在于：所述自適應性mamba模塊包括多層卷積操作單元、最大池化與平均池化操作單元和激活函數單元；多層卷積操作單元用于動態調整卷積核大小和步幅的能力；最大池化與平均池化操作單元用于確保不同尺度下的特征信息被完整捕獲；激活函數單元用于自動增強關鍵區域的特征提取能力。
3.根據權利要求2所述的基于多頻跳躍mamba網絡的高效全色銳化系統，其特征在于：所述自適應性mamba模塊中多層卷積操作根據以下公式動態調整卷積核大小和步幅的能力：
4.根據權利要求1所述的基于多頻跳躍mamba網絡的高效全色銳化系統，其特征在于：所述跨域mamba模塊包括跨域卷積操作單元和頻域處理單元，跨域卷積操作單元用于調整卷積核的大小，以及用于將不同尺度下的圖像頻...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。