【技術實現步驟摘要】
本專利技術屬于深度學習、圖像融合，具體涉及一種基于擴散模型-卷積神經網絡的多模態圖像融合方法。
技術介紹
1、多模態圖像融合(mmif)是一種通過整合來自不同傳感器或成像模態的圖像，以獲取更豐富、信息量更大的融合圖像的技術，在基于深度學習的多模態圖像融合方法中，卷積神經網絡(cnn)和生成對抗網絡(gan)是最為常用的架構。該技術廣泛應用于多個領域，包括但不限于紅外與可見光融合(ivf)和醫學圖像融合(mif)。在ivf中，紅外圖像提供了目標的熱特征，而可見光圖像則捕捉了豐富的紋理和顏色信息。這種融合技術在自動駕駛、無人機夜間監控和視頻監控中至關重要，因為它能夠提升對場景的理解，增強目標檢測和識別的準確性。例如，在自動駕駛中，融合的圖像能夠在低光環境下提供更清晰的視圖，幫助駕駛系統做出更安全的決策。在mif中，不同的醫學成像技術(如mri、ct和超聲)能夠提供互補的信息。通過融合這些圖像，醫生可以獲得更全面的患者情況，有助于早期診斷和個性化治療。這種融合不僅提升了圖像的清晰度和對比度，還可以幫助醫生識別微小的病變，從而提高診斷的準確性和效率。然而，現有技術仍具有以下缺點：1)cnn方法受限于局部感受野，無法充分捕捉跨模態信息和長程依賴性，導致信息保真度下降；2)基于生成對抗網絡(gan)的技術訓練難度大，導致模態不平衡，影響融合質量。
2、為了實現更高質量的融合效果和更好的應用價值，基于擴散模型(diffusionmodels)的方法被提出，擴散模型在多種生成任務中展現了卓越的能力，包括文本到圖像生成、圖像到圖像生成
3、dif-fusion通過擴散模型來提高紅外和可見光圖像融合的顏色保真度，主要包括構建多通道數據分布、提取多通道擴散特征、直接生成三通道融合圖像，以及采用多通道梯度損失和強度損失來保留紋理和強度信息。然而該方法存在局限性：一方面，沒有針對加噪圖像設計補償或恢復手段，導致信息不可逆損失：另一方面，盡管擴散模型具有捕捉全局宏觀信息的能力，其對于局部細節特征的提取效果不佳。因此，dif-fusion方法得到的融合圖像中遺漏了一些細微的局部特征，從而影響了融合圖像的整體質量。
4、ddfm通過結合去噪擴散概率模型(ddpm)與層次貝葉斯推斷，實現了多模態圖像融合。該方法首先利用預訓練的ddpm模型進行無條件圖像生成，然后通過em算法進行似然校正，以保留源圖像中的跨模態信息。但其在處理具有復雜背景和細微特征的圖像融合時，表現出泛化能力不足的問題，且由于需要完成整個反向擴散過程，計算資源需求較高，限制了其在資源受限環境下的應用。
技術實現思路
1、為了彌補現有技術的不足，本專利技術提供了一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，旨在通過擴散和cnn分支提取互補特征，并有效聚合這些特征。
2、本專利技術所解決的技術問題可通過以下技術方案實現：
3、所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，包括以下步驟：
4、s1.全局信息建模：通過引入噪聲并利用去噪u-net提取多尺度特征，利用基于擴散模型的網絡分支捕獲并建模圖像的全局信息；
5、s2.局部細節特征提取：通過多尺度卷積層和混合注意力模塊提取多尺度局部細節特征，并利用多尺度特征聚合器增強層次化特征表示；
6、s3.設計互補特征聚合模塊：通過在多個一維空間方向上計算強度張量，得到基于坐標注意力機制的權重圖譜，捕捉全局信息與局部細節特征之間的長距離依賴關系，并利用支路互補性，進行特征聚合；
7、s4.設計多樣化損失函數：通過結合強度損失、梯度損失和余弦相似度損失，探索特征之間的互補性。
8、進一步地，所述步驟s1中，在若干個時間步下，對圖像執行單步的加噪-去噪過程，并提取擴散模型的中間特征用于表征全局信息，具體操作為：
9、首先，在擴散分支中，通過單步過程向原始輸入x0引入高斯噪聲，獲得特定時間步t的噪聲圖像xt，即：
10、
11、其中，∈是滿足獨立高斯分布的噪聲，是一組預定義的方差參數；
12、然后，將帶有噪聲的圖像xt輸入到擴散模型中，進行單步去噪處理，計算公式如下：
13、
14、其中，xt-1是對應時間步t-1的噪聲圖像，z是對標準正態分布的采樣，∈θ(xt,t)是對于真實噪聲的預測，σt和αt是預定義的參數；即在根據擴散時間步為t的圖像預測擴散時間步為t-1的圖像時，模型捕獲到圖像的全局特征信息。
15、進一步地，所述步驟s2中，通過多尺度特征聚合器逐步合并各個尺度的特征，具體如下：
16、首先，將前置層的特征上采樣與后一層的尺寸相匹配，然后通過多層感知機制生成縮放因子γ和偏置β來調節多尺度特征配比，計算公式如下：
17、
18、其中，表示第k+1層卷積對應的特征，⊙表示逐元素相乘，γk是縮放參數，βk是偏移參數，通過這一過程，多尺度局部細節特征被有效融合到局部細節特征fc中，得到原始純凈圖像的多尺度細節特征，與擴散支路形成互補。
19、進一步地，所述步驟s3中，互補特征聚合模塊的具體工作流程如下：
20、首先，按照下面的公式提取一維正交方向注意力張量fx和fy：
21、fx,fy＝xap(f),yap(f)，
22、其中，xap和yap分別表示沿水平和垂直方向對特征進行平均池化，獲得對應方向的特征顯著性信息；
23、然后，將尺寸分別為h×1和1×w的兩個一維強度張量相乘，得到尺寸為h×w的坐標注意力圖譜矩陣w，該圖譜反映了所有方向的長距離依賴關系，cfam通過以下公式聚合全局信息fd和局部細節特征fc：
24、fr＝w⊙fc+(1-w)☉fd，
25、其中，fr表示聚合特征，通過網絡訓練得到坐標注意力圖譜；
26、最后，聚合后的特征被送入融合頭以生成多模態圖像融合結果。
27、進一步地，所述步驟s4中的損失函數包括強度損失lint、梯度損失lgrad和余弦相似度損失lcd，即：
28、l＝lint+αlgrad+βlcd，
29、其中，α和β是各損失項之間的平衡因子，強度損失lint計算融合結果圖像ifused與兩幅輸入圖像i1、i2之間的逐像素強度差異本文檔來自技高網...
【技術保護點】
1.一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步驟S1中，在若干個時間步下，對圖像執行單步的加噪-去噪過程，并提取擴散模型的中間特征用于表征全局信息，具體操作為：
3.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步驟S2中，通過多尺度特征聚合器逐步合并各個尺度的特征，具體如下：
4.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步驟S3中，互補特征聚合模塊的具體工作流程如下：
5.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步驟S4中的損失函數包括強度損失Lint、梯度損失Lgrad和余弦相似度損失LCD，即：
【技術特征摘要】
1.一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步驟s1中，在若干個時間步下，對圖像執行單步的加噪-去噪過程，并提取擴散模型的中間特征用于表征全局信息，具體操作為：
3.根據權利要求1所述的一種基于擴散模型-卷積神經網絡的多模態圖像融合方法，其特征在于，所述步...
【專利技術屬性】
技術研發人員：卓成，盧旭東，孫奇，尹勛釗，姜鈺琪，
申請(專利權)人：浙江大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。