【技術實現步驟摘要】
本專利技術涉及圖像融合，尤其涉及一種用于巡檢機器人的紅外與可見光圖像融合方法。
技術介紹
1、傳統方法的紅外與可見光圖像融合方法主要包括：基于多尺度變換的方法、基于子空間的方法、基于稀疏表示的方法、基于顯著性表示的方法和其他方法。雖然傳統方法取得了不錯的效果,但是存在一定的局限性,比如,手工設計的活動水平測量導致提取的圖像特征不夠充分,而為了適應不同且復雜的場景,融合規則過于復雜且計算量較大。
2、隨著計算機硬件性能的不斷提升以及深度學習技術的迅速發展,研究人員開始將深度學習與圖像融合技術結合起來。2017年,wu等人首先結合深度玻爾茲曼機(deepboltzmann?machine,dbm)與非下采樣剪切波變換技術實現圖像融合。這是最早將深度學習技術應用于圖像融合領域的研究,開辟了基于深度學習的圖像融合研究的新道路。隨后該領域迅速發展出一批基于深度學習的ivif研究。現有基于深度學習的ivif方法可以分為以下5類：基于卷積神經網絡的融合方法、基于自編碼器(auto?encoder,ae)的融合方法、基于生成對抗網的融合方法、基于transformer的融合方法以及其他方法。
3、雖然現有方法取得了良好的效果，但是在處理紅外圖像噪聲和可見光圖像光污染降低融合圖像質量的問題存在一定的局限性。
技術實現思路
1、本專利技術公開一種用于巡檢機器人的紅外與可見光圖像融合方法，旨在解決
技術介紹
中提出來的在處理紅外圖像噪聲和可見光圖像光污染降低融合圖像質量的問題存在一定
2、為了實現上述目的，本專利技術采用了如下技術方案：
3、一種用于巡檢機器人的紅外與可見光圖像融合方法，具體包括以下步驟：
4、s1、預訓練紅外圖像噪聲抑制網絡nanet和可見光圖像光強感知網絡lipnet；
5、s2、使用基于transformer的if?block和ef?block提取圖像特征；
6、s3、使用自適應權重估計模塊(awem)計算自適應權重圖，并使用權重圖指導特征保留；
7、s4、使用由3層卷積層構成的特征融合模塊實現特征重構，生成融合圖像；
8、s5、使用雙判別器驅動生成融合網絡優化；
9、s6、使用deeplabv3+語義分割網絡驅動生成融合網絡優化；
10、所述生成融合網絡包括有噪聲抑制模塊(natm)、光強感知模塊(liptm)和自適應權重估計模塊(awem)，所述噪聲抑制模塊通過預訓練的噪聲抑制網絡對紅外圖像進行降噪處理并利用transformer提取紅外圖像特征；所述光強感知模塊通過光強感知網絡處理可見光圖像中存在的光污染現象并利用transformer提取可見光圖像特征；所述自適應權重估計模塊利用雙分支結構的編解碼器分別計算不同模態源圖像各自的權重圖，將不同模態的權重圖通道維度拼接后利用引入密集連接的卷積層計算自適應權重圖用于指導噪聲抑制模塊和liptm模塊提取的特征圖保留特征；雙判別器和語義分割驅動策略通過設計的生成對抗損失和語義分割損失驅動圖像融合網絡生成質量更好的融合圖像。
11、在一個優選的方案中，所述噪聲抑制模塊的核心網絡為噪聲抑制網絡，對紅外圖像加噪得到含噪圖像作為訓練數據：
12、irn＝ir+n；
13、其中，ir表示原始紅外圖像，n為高斯噪聲，irn為加入噪聲后的含噪圖像，將irn和ir分別作為訓練數據及其對應的標簽，訓練nanet并得到降噪圖像ir′，所述光強感知模塊的核心部分為光強感知網絡，且光強感知網絡采用了有監督的訓練方式，對夜間場景下的可見光圖像加入偽強光污染作為一部分訓練數據：
14、visl＝vis+l
15、其中，vis表示原始可見光圖像，l為偽強光污染，visl表示加入偽強光污染的可見光圖像，visl數據集的組成包括兩部分：偽強光污染可見光圖像和未污染原始可見光圖像；
16、將visl和vis分別作為訓練數據及其對應的標簽，訓練lipnet并得到優化后的可見光圖像vis′，與紅外圖像的高斯噪聲不同，光污染主要體現在像素強度、對比度和結構上，因此使用結構相似性損失函數lssim指導網絡訓練，ssim的計算公式如下：
17、
18、其中,及分別代表原始可見光圖像vis和優化后的可見光圖像vis′在亮度、對比度以及結構的比較部分，其計算公式分別如下：
19、
20、其中，μvis′和μvis分別表示vis′和vis的均值,σvis′和σvis分別表示vis′和vis的標準差,σvis′,vis表示vis′和vis的協方差,c為防止除數為零的常數；
21、令k1＝0.01、k2＝0.03,l為255,α、β和γ是平衡各個分量的參數,本文中三個參數均為1，結構相似性損失函數lssim的定義為：lssim＝1-ssim(vis′,vis)
22、lipnet采用編解碼結構用于消弱強光污染，編碼器可以有效提取圖像的特征信息，編碼器用于從特征中重構優化圖像，為了避免處理未污染圖像時的信息丟失，在編碼器及解碼器對應層之間加入了跳躍連接結構。
23、在一個優選的方案中，所述natm和liptm中均使用了if?block和ef?block提取模態內特征和模態外相關特征，給定尺寸為h×w×c的紅外圖像特征fir和可見光圖像特征fvi，移位窗口機制將其切分為個不重疊的m×m窗口，此時輸入特征f的尺寸為對每個窗口分別計算其權重參數矩陣：
24、{q,k,v}＝{xwq,xwk,xwv}
25、其中，x為切分后的局部窗口特征，wq、wk和wv為維度為d權重參數矩陣，計算其自注意力：
26、
27、其中，p為相對位置編碼，將自注意力擴展為由窗口多頭自注意力(wmsa)和移動窗口多頭自注意力(swmsa)構成的swin?transformer層(stl)如圖4所示，層歸一化(layernormalization,ln)位于多頭自注意力和多層感知機(multi-layer?perceptron,mlp)之間，給定不同模態局部特征窗口x1和x2分別計算其模態間輸出特征y1和y2：
28、
29、y1＝ln(wmsa(q1,k2,v2))+q1
30、y2＝ln(wmsa(q2,k1,v1))+q2
31、每個if?block和ef?block均由兩個stl構成，if?block內的第二個stl得到{q,k,v}用于與ef?block進行交互。
32、在一個優選的方案中，所述自適應權重估計模塊采用雙分支結構的編解碼器從源圖像中計算權重圖從而指導融合特征信息保留，使用相同網絡結構的偽孿生編碼器提取源圖像的特征圖；然后，利用偽孿生解碼器對特征圖進行重構得到單模態的權重圖；考慮到不同模態的權重圖具有相關性，因此將其維度拼接后輸入密集連接本文檔來自技高網...
【技術保護點】
1.一種用于巡檢機器人的紅外與可見光圖像融合方法，包括有生成融合網絡、雙判別器網絡和語義分割驅動網絡，其特征在于，具體包括以下步驟：
2.根據權利要求1所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述噪聲抑制模塊的核心網絡為噪聲抑制網絡，對紅外圖像加噪得到含噪圖像作為訓練數據：
3.根據權利要求2所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述光強感知模塊的核心部分為光強感知網絡，且光強感知網絡采用了有監督的訓練方式，對夜間場景下的可見光圖像加入偽強光污染作為一部分訓練數據：
4.根據權利要求3所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述NATM和LIPTM中均使用了IFBlock和EF?Block提取模態內特征和模態外相關特征，給定尺寸為H×W×C的紅外圖像特征fir和可見光圖像特征fvi，移位窗口機制將其切分為個不重疊的M×M窗口，此時輸入特征f的尺寸為對每個窗口分別計算其權重參數矩陣：
5.根據權利要求4所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在
6.根據權利要求5所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，給定不同模態局部特征窗口X1和X2分別計算其模態間輸出特征Y1和Y2：
7.根據權利要求6所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述自適應權重估計模塊采用雙分支結構的編解碼器從源圖像中計算權重圖從而指導融合特征信息保留，使用相同網絡結構的偽孿生編碼器提取源圖像的特征圖；然后，利用偽孿生解碼器對特征圖進行重構得到單模態的權重圖；考慮到不同模態的權重圖具有相關性，因此將其維度拼接后輸入密集連接結構的卷積層進行整合，經過Sigmoid計算得到最終的權重圖M。
8.根據權利要求7所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述權重圖的計算公式如下式所示：
9.根據權利要求8所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，雙判別器和語義分割網絡分別使用生成對抗損失和語義損失驅動生成融合網絡產生質量更高、更適合計算機高級視覺任務的融合圖像，雙判別器由紅外判別器和可見光判別器構成，不同的判別器網絡結構相同而網絡參數不同。
10.根據權利要求9所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，生成對抗損失由生成器損失和判別器損失構成：
...【技術特征摘要】
1.一種用于巡檢機器人的紅外與可見光圖像融合方法，包括有生成融合網絡、雙判別器網絡和語義分割驅動網絡，其特征在于，具體包括以下步驟：
2.根據權利要求1所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述噪聲抑制模塊的核心網絡為噪聲抑制網絡，對紅外圖像加噪得到含噪圖像作為訓練數據：
3.根據權利要求2所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述光強感知模塊的核心部分為光強感知網絡，且光強感知網絡采用了有監督的訓練方式，對夜間場景下的可見光圖像加入偽強光污染作為一部分訓練數據：
4.根據權利要求3所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，所述natm和liptm中均使用了ifblock和ef?block提取模態內特征和模態外相關特征，給定尺寸為h×w×c的紅外圖像特征fir和可見光圖像特征fvi，移位窗口機制將其切分為個不重疊的m×m窗口，此時輸入特征f的尺寸為對每個窗口分別計算其權重參數矩陣：
5.根據權利要求4所述的一種用于巡檢機器人的紅外與可見光圖像融合方法，其特征在于，計算其自注意力：
6.根據權利要求5所述的一種用于巡檢機器人的紅外與可見光...
【專利技術屬性】
技術研發人員：沈瑜，強振凱，李兵祖，滕明，劉佳英，閆佳榮，
申請(專利權)人：蘭州交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。