【技術實現步驟摘要】
本專利技術涉及圖像處理和計算機視覺，具體涉及去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法及系統。
技術介紹
1、紅外與可見光圖像融合技術作為一種突破單一傳感器局限性的有效策略，基于不同傳感器的成像特性，能夠為我們提供更加全面且精確的場景描繪。紅外傳感器通過感知物體的熱輻射來生成圖像，擅長在夜間、霧霾等復雜環境中捕捉清晰的目標信息，但其圖像往往缺少豐富的紋理細節。相反，可見光傳感器通過捕捉物體反射的光線來成像，能夠提供詳盡的結構和紋理信息，但在低光照或遮擋條件下其效能會受限。因此，紅外與可見光圖像融合技術能夠巧妙地融合這兩種傳感器的優勢，為各種復雜環境提供高質量的圖像信息.
2、傳統的圖像融合方法大多依賴于數學變換和規則設計來實現多源圖像的有效整合，這些方法包括多尺度分解、子空間變換、稀疏表示和優化算法等。其中，多尺度分解方法通過將圖像分解為不同尺度的細節和逼近成分來進行融合，典型技術有小波變換和拉普拉斯金字塔分解。然而，這些傳統方法在處理紅外與可見光圖像各自獨特的特征時存在局限，難以同時兼顧紅外圖像的熱輻射特性和可見光圖像的細節紋理，導致融合后的圖像信息不夠完整。此外，傳統方法還高度依賴于經驗參數，難以在復雜多變的場景中實現自適應調整，從而限制了其實用性和推廣范圍。
3、隨著深度學習技術的迅猛進步，基于深度學習的融合方法逐漸成為研究的新熱點。卷積神經網絡(cnn)作為深度學習領域的重要模型，在圖像融合任務中得到了廣泛應用。通過自動學習圖像的高層次特征，cnn克服了傳統方法依賴手工設計特征的不足。然而
4、生成對抗網絡(gan)也被引入到圖像融合領域。gan通過生成器和判別器的對抗訓練，能夠生成逼真的融合圖像。但gan的訓練過程復雜且不穩定，對數據質量和參數調優的要求較高。此外，gan生成的圖像可能伴隨偽影，且缺乏足夠的可解釋性，這在一定程度上阻礙了其在實際應用中的推廣。
5、自編碼器(autoencoder)則通過編碼器提取圖像特征，再利用解碼器實現特征的融合與重構。這類方法在特征提取方面具有一定的優勢，但在細節保留和色彩還原方面仍有待提升。同時，深度學習模型通常需要大量標注數據進行訓練，而獲取高質量的融合數據集成本高昂，這也限制了其應用范圍。
6、綜上所述，當前無論是傳統方法還是深度學習融合方法，在應對復雜場景下的紅外與可見光圖像融合任務時都存在諸多挑戰，包括如何有效兼顧不同圖像特征、提高融合質量的穩定性、增強模型的可解釋性以及提升實時處理能力等。
技術實現思路
1、本專利技術的目的在于，提出去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法及系統，顯著提升了融合圖像的質量和視覺效果，同時增強了融合結果的結構保真度和信息完整性。
2、根據本公開實施例的第一個方面，提供了去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，包括以下步驟：
3、對紅外與可見光圖像進行多尺度時空建模；
4、通過邊緣檢測卷積網絡增強紅外圖像的高頻紋理特征；
5、基于雙向多尺度卷積模塊與雙向注意力融合模塊，捕獲遠程依賴關系和編碼多尺度信息以確保全局信息的充分利用和局部細節的精確捕捉；
6、基于自適應結構相似性損失函數，以及多通道強度和紋理損失，優化融合結果的結構保真度和色彩強度分布以提升融合圖像的質量。
7、根據本公開實施例的第二個方面，提供了去噪擴散模型驅動的紋理增強紅外與可見光圖像融合系統，包括：
8、時空建模模塊，對紅外與可見光圖像進行多尺度時空建模；
9、增強模塊，通過邊緣檢測卷積網絡增強紅外圖像的高頻紋理特征；
10、圖像融合模塊，基于雙向多尺度卷積模塊與雙向注意力融合模塊，捕獲遠程依賴關系和編碼多尺度信息以確保全局信息的充分利用和局部細節的精確捕捉；
11、優化模塊，基于自適應結構相似性損失函數，以及多通道強度和紋理損失，優化融合結果的結構保真度和色彩強度分布以提升融合圖像的質量。
12、根據本公開實施例的第三個方面，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上運行的計算機程序，所述處理器執行所述程序時實現所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法。
13、根據本公開實施例的第四個方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法。
14、本專利技術采用的以上技術方案，與現有技術相比，具有的優點是：本專利技術將紅外和可見光圖像輸入擴散模型進行多尺度時空建模，并借助邊緣檢測卷積網絡來增強紅外圖像的高頻紋理特征，這些特征與擴散模型提取的多尺度時空特征相結合，從而顯著提高了多源圖像融合的質量。其次，運用雙向多尺度卷積與注意力機制，有效地捕獲了圖像中的遠程依賴關系，并對多尺度信息進行了精確編碼，確保了全局信息與局部細節在融合過程中的無縫結合。這樣，本專利技術在圖像融合時能夠同時保留圖像的全局結構和精細的局部細節，進一步提升了融合結果的整體質量。最后，還設計了自適應結構相似性損失函數以及多通道強度和梯度損失，以此來優化融合結果的結構保真度和色彩強度分布，從而再次提升了融合圖像的質量和視覺效果。
本文檔來自技高網...【技術保護點】
1.去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，包括：
2.根據權利要求1所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，對紅外與可見光圖像進行多尺度時空建模，具體為：
3.根據權利要求1或2所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，通過邊緣檢測卷積網絡增強紅外圖像的高頻紋理特征，具體為：
4.根據權利要求3所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，所述雙向多尺度卷積模塊內部實現方式，表示如下：
5.根據權利要求1所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，所述雙向注意力融合模塊內部實現方式，表示如下：
6.根據權利要求1所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，自適應結構相似性損失函數Lssim為：
7.去噪擴散模型驅動的紋理增強紅外與可見光圖像融合系統，其特征在于，包括：
8.一種電子設備，包括存儲器、處理器及存儲在存儲器上運行的計算機程序，所述處理
9.一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現權利要求1-6任一項所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法。
...【技術特征摘要】
1.去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，包括：
2.根據權利要求1所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，對紅外與可見光圖像進行多尺度時空建模，具體為：
3.根據權利要求1或2所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，通過邊緣檢測卷積網絡增強紅外圖像的高頻紋理特征，具體為：
4.根據權利要求3所述去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，所述雙向多尺度卷積模塊內部實現方式，表示如下：
5.根據權利要求1所述的去噪擴散模型驅動的紋理增強紅外與可見光圖像融合方法，其特征在于，所...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。