【技術實現步驟摘要】
本專利技術屬于多光譜圖像，具體涉及一種特征融合網絡結構、方法及相關重建光譜圖像系統。
技術介紹
1、光譜成像（spectral?imaging,?si）技術巧妙地將數字成像與光譜學融合一體，能夠同步捕捉物質的空間分布信息與精細的光譜特征，進而實現對物質成分及微觀結構的深度剖析。這一技術在眾多領域內展現出了廣泛的應用潛力，涵蓋了食品質量控制、醫學診斷成像、衛星遙感監測、精準農業管理以及高級計算機視覺分析等，其科學研究價值不可小覷。
2、光譜成像的核心在于，它能在不同波長范圍內，通過有限的波段選擇，構建出包含源物體空間位置與光譜特征的三維（3d）光譜立方體。鑒于當前技術條件下，二維（2d）檢測器陣列的局限性，系統設計者通常采取兩種策略來應對這一挑戰：一是通過時間序列的2d切片逐一測量并構建光譜立方體，這被稱為掃描式光譜成像；二是將數據立方體分割為多個可并行測量的2d元素，并在后續處理中重新整合為完整立方體，這種方法被稱為快照式光譜成像。
3、掃描式光譜成像系統細分為點掃描、線掃描及光譜掃描三種模式。點掃描高光譜相機利用分光儀，通過單次掃描獲取一維光譜信息，再結合二維空間掃描，完成整個3d光譜立方體的構建。線掃描相機則通過掃描儀，在一次掃描中同時捕獲一維空間與一維光譜信息。而光譜掃描相機，則利用光譜儀，在單次掃描內僅捕獲一個窄光譜帶內的二維空間信息。
4、快照式光譜成像技術憑借其單次觀測即可全面捕獲場景光譜信息的能力，顯著縮短了掃描周期，為動態場景的高幀率成像提供了可能。相較于掃描式系統，快照式光譜
5、針對這一問題，當前已發展出三類快照式光譜圖像去馬賽克算法：（1）基于插值的方法，盡管實現簡便、運算高效且穩定，但重建圖像質量欠佳，影響了后續應用的效能；（2）低秩矩陣補全方法，將光譜圖像重建視為低秩矩陣補全問題，并引入非負約束，有效提升了圖像重建質量；（3）基于深度學習的方法，利用殘差連接、注意力機制及密集連接等先進算法構建卷積神經網絡（cnn），通過對圖像數據的訓練與測試，實現了高質量的圖像重建。然而，該方法也可能帶來高對比度明亮區域的假彩色偽影、去馬賽克結果中的光暈效應以及網絡訓練過程中的收斂難題。
6、因此，如何提供一種能夠降低重建圖像的誤差，提升圖像質量，減少馬賽克痕跡，使重建后的圖像在視覺上接近原始光譜圖像的質量水平的方案，已成為當前本領域技術人員亟待攻克的技術難題。
技術實現思路
1、本專利技術的目的在于提供一種特征融合網絡結構、方法及相關重建光譜圖像系統，以克服現有技術中重建圖像質量不佳的問題。
2、本專利技術通過下述技術方案來解決上述技術問題：
3、一種特征融合網絡結構，包括以下模塊：
4、淺層特征提取模塊，用于對圖像特征，進行1×1卷積提取淺層特征；
5、特征處理模塊，用于對淺層特征分別進行感受野不同的多支路處理，得到多支路處理后的特征，其中，至少一個支路包括傅立葉變換處理；
6、特征融合模塊，用于合并多支路處理后的特征，進行1×1卷積，然后與輸入特征相加得到第一特征a。
7、一種特征融合網絡結構的方法，包括以下步驟：
8、輸入圖像特征，進行1×1卷積提取淺層特征，得到淺層特征，對淺層特征分別進行感受野不同的多支路處理，得到特征，具體為：淺層特征不做處理，得到特征；
9、淺層特征經3×3卷積分為兩路，一路不做處理，得到特征，另一路，將特征傳遞至的支路；
10、淺層特征經3×3卷積分為兩路，一路不做處理，得到特征，另一路，將特征傳遞至的支路；
11、淺層特征和特征經3×3卷積，得到特征；
12、淺層特征依次通過傅立葉正變換、兩個1×1卷積及傅立葉反變換，得到特征；其中，fft為傅立葉正變換；ifft為傅立葉反變換；為1×1卷積；
13、合并所有特征，進行?1×1卷積，再與輸入特征相加得到第一特征a。
14、一種基于特征融合網絡結構重建光譜圖像的方法，包括以下步驟：
15、通過3×3卷積提取光譜圖像特征，得到圖像特征；
16、基于權利要求2的一種特征融合網絡結構的方法，得到第一特征a；
17、對第一特征a進行兩次pixelunshuffle操作，在不損失信息的情況下，減少圖像的空間尺寸，增加特征通道數量，得到待處理第一特征b，再分兩路操作；
18、其中，一路對待處理第一特征b進行通道注意力加權處理，得到通道注意力加權處理后的第一特征，再對通道注意力加權處理后的第一特征進行空間注意力加權處理，得到空間注意力加權處理后的第一特征c，將空間注意力加權處理后的第一特征c與待處理第一特征b相加，得到綜合特征d，再將綜合特征d經卷積處理后與未進行卷積處理的綜合特征d相加，得到第二特征；
19、另一路對待處理第一特征b進行兩次pixelshuffle操作，恢復圖像的空間尺寸和特征通道數量，分別對兩次pixelshuffle操作結果的特征進行上采樣并相加，得到第三特征；
20、將第三特征與第二特征進行相加，得到最終的重建光譜圖像。
21、進一步地，通道注意力加權處理具體包括以下步驟：
22、依次進行全局平均池化、全連接網絡、relu激活、全連接網絡及sigmoid激活生成通道注意力權重，將通道注意力權重的權重向量與待處理第一特征b進行逐元素乘積，得到通道注意力加權處理后的第一特征。
23、進一步地，空間注意力加權處理具體包括以下步驟：
24、對通道注意力加權處理后的第一特征分別進行全局池化和最大池化，分別得到全局池化的第一特征和最大池化的第一特征，將全局池化的第一特征和最大池化的第一特征進行相加，得到綜合空間特征表示，對綜合空間特征表示依次進行3×3卷積和sigmoid激活生成空間注意力權重，將空間注意力權重的權重向量與通道注意力加權處理后的第一特征進行逐元素乘積，得到空間注意力加權處理后的第一特征c。
25、進一步地，將綜合特征d經卷積處理具體包括依次經3×3卷積和1×1卷積處理。
26、一種基于特征融合網絡結構重建光譜圖像的系統，采用上述基于特征融合網絡結構重建光譜圖像的方法，具體包括以下模塊：
27、編碼模塊，用于通過3×3卷積提取光譜圖像特征，得到圖像特征，基于一種特征融合網絡結構的方法，得到第一特征a；對第一特征a進行兩次pixelunshuffle操作，在不損失信息的情況下，減少圖像的空間尺寸，增加特征通道數量，得到待處理第一特征b；
28、視覺注意模塊，包括通道注意力模塊、空間注意力模塊及尾端處理模塊，其中，通道注意力模塊，用于對待處理第一特征b進行通道注意力加權處本文檔來自技高網...
【技術保護點】
1.一種特征融合網絡結構，其特征在于，包括以下模塊：
2.一種特征融合網絡結構的方法，其特征在于，包括以下步驟：
3.一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，包括以下步驟：
4.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述通道注意力加權處理具體包括以下步驟：
5.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述空間注意力加權處理具體包括以下步驟：
6.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述將綜合特征D經卷積處理具體包括依次經3×3卷積和1×1卷積處理。
7.一種基于特征融合網絡結構重建光譜圖像的系統，其特征在于，采用權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，具體包括以下模塊：
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求3~6任一所述基于特征融合網絡結構重建光
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求3~6任一所述基于特征融合網絡結構重建光譜圖像的方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求3~6任一所述基于特征融合網絡結構重建光譜圖像的方法。
...【技術特征摘要】
1.一種特征融合網絡結構，其特征在于，包括以下模塊：
2.一種特征融合網絡結構的方法，其特征在于，包括以下步驟：
3.一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，包括以下步驟：
4.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述通道注意力加權處理具體包括以下步驟：
5.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述空間注意力加權處理具體包括以下步驟：
6.根據權利要求3所述的一種基于特征融合網絡結構重建光譜圖像的方法，其特征在于，所述將綜合特征d經卷積處理具體包括依次經3×3卷積和1×1卷積處理。
7.一種基于特征...
【專利技術屬性】
技術研發人員：孫文方，王夢陽，李崩崩，宋蓓蓓，于淑芳，杜文旺，王哲，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。