【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于計(jì)算機(jī)視覺、圖像處理和分析領(lǐng)域，具體涉及一種基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法。
技術(shù)介紹
1、在傳統(tǒng)光學(xué)成像技術(shù)中，偏振成像系統(tǒng)通過采集目標(biāo)的偏振圖像獲取目標(biāo)的偏振信息，通過解算獲取二維空間的光強(qiáng)度分布信息。偏振圖像能夠描述目標(biāo)的偏振特性，例如目標(biāo)表面粗糙度、紋理特征和外形輪廓等，但是整體光強(qiáng)度較低；強(qiáng)度圖像能夠描述目標(biāo)反射率和透射率，整體光強(qiáng)度較高。利用偏振圖像融合方法融合偏振圖像和強(qiáng)度圖像，能夠獲得包含更多維度信息的融合圖像，有利于人眼視覺觀察和計(jì)算機(jī)處理分析。
2、目前傳統(tǒng)的偏振融合方法主要包括基于多尺度分析的融合算法和基于表示學(xué)習(xí)的融合算法。基于多尺度分析的融合算法通常利用不同的分解方法將源圖像分解為高頻和低頻部分或基礎(chǔ)和細(xì)節(jié)部分，再設(shè)計(jì)融合規(guī)則進(jìn)行融合。基于表示學(xué)習(xí)的融合算法通常利用學(xué)習(xí)獲得的過完備字典將輸入數(shù)據(jù)分解得到稀疏系數(shù)矩陣，再選擇合適的融合規(guī)則進(jìn)行融合。這些方法通常需要人工設(shè)計(jì)融合規(guī)則，一方面很難考慮不同輸入圖像之間的特征差異，另一方面不能有效滿足復(fù)雜的融合需求。
3、隨著深度學(xué)習(xí)的不斷發(fā)展和應(yīng)用，多樣的神經(jīng)網(wǎng)絡(luò)模型和結(jié)構(gòu)被應(yīng)用于圖像融合來彌補(bǔ)傳統(tǒng)融合方法的不足。圖像融合網(wǎng)絡(luò)模型框架通常利用預(yù)訓(xùn)練的模型作為編碼器提取輸入圖像特征，根據(jù)任務(wù)具體需求設(shè)計(jì)特征融合規(guī)則，最終利用解碼器獲取融合圖像。此外，也有融合網(wǎng)絡(luò)模型框架將融合方式融入到網(wǎng)絡(luò)結(jié)構(gòu)中，通過設(shè)計(jì)損失函數(shù)實(shí)現(xiàn)模型訓(xùn)練。相比傳統(tǒng)方法，基于深度學(xué)習(xí)的融合網(wǎng)絡(luò)模型能夠提取更加準(zhǔn)確的圖像特征，且端到端的網(wǎng)絡(luò)模型結(jié)構(gòu)可以
4、1、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型能夠有效提取輸入圖像的特征，但部分網(wǎng)絡(luò)融合規(guī)則仍然需要人為制定，在復(fù)雜融合場(chǎng)景下模型融合效果較差。
5、2、利用網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行融合普遍采用拼接和卷積的操作實(shí)現(xiàn)，難以有效融合不同源圖片提取的多維特征。
6、3、源圖像中并非每個(gè)區(qū)域的信息都需要參與融合，通常需要盡可能保留顯著性目標(biāo)的空間信息，且提取的多維特征也并非是等權(quán)重參與融合，需要保留關(guān)鍵特征的通道信息。當(dāng)前的融合網(wǎng)絡(luò)缺少在特征提取過程中的空間信息和通道信息的有效提取和融合，降低了復(fù)雜環(huán)境背景下的融合性能。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述技術(shù)存在的不足之處，本專利技術(shù)提出一種基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，以下步驟進(jìn)行：
2、步驟1，獲取n*組目標(biāo)偏振圖像分別為第i個(gè)偏振角度為0°,45°,90°,135°方向的偏振圖像，利用式(1)的stokes公式計(jì)算獲取強(qiáng)度圖像和線偏振圖像dolpi,i∈n*；其中第i個(gè)強(qiáng)度圖像和第i個(gè)線性偏振圖像由以下公式計(jì)算獲得：
3、
4、
5、步驟2，構(gòu)建基于通道交叉的偏振圖像融合網(wǎng)絡(luò)，包含n個(gè)融合模塊和1個(gè)多層卷積模塊；
6、每個(gè)融合模塊包含2個(gè)結(jié)構(gòu)相同的特征提取分支和1個(gè)交叉互聯(lián)分支；
7、特征提取分支除了第1個(gè)融合模塊中的輸入為源圖像，第2個(gè)到第n個(gè)融合模塊中的輸入均為前一個(gè)融合模塊輸出的圖像特征張量，特征提取分支按序包含1個(gè)卷積層、1個(gè)relu激活函數(shù)、1個(gè)卷積層、1個(gè)relu激活函數(shù)、1個(gè)se模塊；
8、se模塊按序包含1個(gè)卷積層、1個(gè)relu激活函數(shù)、1個(gè)平均池化層，1個(gè)卷積層、1個(gè)relu激活函數(shù)、1個(gè)卷積層、1個(gè)sigmoid激活函數(shù)、1個(gè)layernorm層；其中從第1個(gè)relu激活函數(shù)后到layernorm層前有一個(gè)殘差鏈接；
9、交叉互聯(lián)分支包含1個(gè)通道交叉模塊ccm、1個(gè)分組卷積模塊gcm、1個(gè)空間注意力模塊sam；
10、ccm模塊的輸入為2個(gè)特征提取分支中經(jīng)過se模塊前分別獲得的特征張量表示數(shù)據(jù)尺寸為c×h×w的實(shí)數(shù)特征張量，獲得輸出表示數(shù)據(jù)尺寸為2c×h×w的實(shí)數(shù)特征張量，其中t′通道順序是t1,t2通道兩兩交叉，表示為：
11、
12、式中，k、i均為正自然數(shù)、t′(i,h,w)表示特征張量t′中第1個(gè)維度中的第i個(gè)二維張量、t1(k,h,w)表示特征張量t1中第1個(gè)維度中的第k個(gè)二維張量、t2(k,h,w)表示特征張量t2中第1個(gè)維度中的第k個(gè)二維張量；
13、gcm模塊的輸入為ccm模塊的輸出，按序包含1個(gè)分組卷積層，1個(gè)relu激活函數(shù)；
14、sam的輸入為gcm模塊的輸出，在sam中，輸入分別經(jīng)過1個(gè)通道平均層和1個(gè)通道最大值層后按通道維度進(jìn)行拼接，然后經(jīng)過1個(gè)卷積層，最后經(jīng)過1個(gè)sigmoid層后獲得空間注意力特征張量，將其與sam的輸入進(jìn)行點(diǎn)乘后輸出，作為sam的總輸出；
15、sam輸出的特征張量分別與兩個(gè)特征提取分支中se模塊的輸出特征張量進(jìn)行相加，并分別作為下一個(gè)融合模塊中兩個(gè)特征提取分支的輸入；
16、多層卷積模塊由3個(gè)卷積層和2個(gè)relu激活函數(shù)組成，第1和第2個(gè)卷積層后各有1個(gè)relu激活函數(shù)，第3個(gè)卷積層直接輸出；
17、步驟3，構(gòu)建用于訓(xùn)練偏振圖像融合網(wǎng)絡(luò)的損失函數(shù)loss；損失函數(shù)表示為：
18、loss＝lossmsssim+λ1lossintensity+λ2lossgrad????(4)
19、式(4)中，lossmsssim為多尺度結(jié)構(gòu)相似性損失，lossintensity為強(qiáng)度損失，lossgrad為梯度損失，λ1和λ2為權(quán)重參數(shù)；
20、多尺度結(jié)構(gòu)相似性損失lossmsssim表示為：
21、
22、式(5)中，lossssim(idolp，if；ωs)和均為結(jié)構(gòu)相似性損失，為權(quán)重系數(shù)，ω代表局部區(qū)域，ωs表示尺寸為s×s的圖像局部區(qū)域；idolp為輸入的線性偏振圖像，為輸入的強(qiáng)度圖像，if為融合后輸出圖像；
23、結(jié)構(gòu)相似性損失lossssim表示為：
24、
25、式(6)中，和分別為圖像x中局部區(qū)域的均值和方差，表示乘以和分別為圖像y中局部區(qū)域的均值和方差，為和的協(xié)方差系數(shù)，c1和c2分別為常數(shù)；
26、權(quán)重系數(shù)表示為：
27、
28、式(7)中，g(x)＝max(x,0.0001)，分別表示圖像s0和圖像dolp中局部區(qū)域的方差；
29、強(qiáng)度損失lossintensity表示為：
30、
31、式(8)中，μ為比例系數(shù)，h和w分別表示輸入特征張量的長(zhǎng)和寬，‖‖1表示l1范數(shù)；
32、梯度損失lossgrad表示為：
33、
34、式(9)中，表示索貝爾sobel算子；
35、sobel算子利用兩個(gè)3×3的卷積核對(duì)輸入圖像t進(jìn)行卷積計(jì)算，獲得橫向和縱向的圖像灰度值gx和gy本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，該方法按以下步驟進(jìn)行：
2.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟1中，輸入圖像尺寸為128×128。
3.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，N＝3。
4.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，特征提取分支按序的第1個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0；第2個(gè)卷積層中，卷積核尺寸為3×3，個(gè)數(shù)為128，步長(zhǎng)為1，填充為1。
5.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，SE模塊按序第1個(gè)卷積層中，卷積核尺寸為3×3，個(gè)數(shù)為128，步長(zhǎng)為1，填充為1；1個(gè)平均池化層中，池化輸出尺寸為1×1；第2個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0；第3個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0。
6.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振
7.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，在SAM的1個(gè)卷積層中，卷積核尺寸為7×7，個(gè)數(shù)為128，步長(zhǎng)為1，填充為3。
8.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，多層卷積模塊中，第1到3個(gè)卷積層的卷積核尺寸為3×3，步長(zhǎng)為1，填充為1，卷積核個(gè)數(shù)分別為64，32，1。
9.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟3中，λ1＝1，λ2＝1；C1＝0.0001，C2＝0.0009。
10.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，訓(xùn)練采用Adam優(yōu)化器；迭代次數(shù)為500；學(xué)習(xí)率采用動(dòng)態(tài)調(diào)整方法，初始值為0.001，在第20、40、80、120、180、250、350、450輪時(shí)學(xué)習(xí)率分別乘以0.6；數(shù)據(jù)集為公開偏振數(shù)據(jù)集組合，共包含114個(gè)包含0°，45°，90°，135°方向的偏振圖像組：組合1包含74組，組合2包含40組，其中91組用于訓(xùn)練，23組用于測(cè)試：組合1包含15組，組合2包含8組；利用圖像裁剪的方法，將訓(xùn)練集中每張圖像裁剪出9張尺寸為128×128的不重復(fù)圖像，構(gòu)建出包含N＝819組圖像的訓(xùn)練集；測(cè)試集中組合1尺寸為1024×1224，組合2尺寸為1024×768。
...【技術(shù)特征摘要】
1.一種基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，該方法按以下步驟進(jìn)行：
2.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟1中，輸入圖像尺寸為128×128。
3.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，n＝3。
4.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，特征提取分支按序的第1個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0；第2個(gè)卷積層中，卷積核尺寸為3×3，個(gè)數(shù)為128，步長(zhǎng)為1，填充為1。
5.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，se模塊按序第1個(gè)卷積層中，卷積核尺寸為3×3，個(gè)數(shù)為128，步長(zhǎng)為1，填充為1；1個(gè)平均池化層中，池化輸出尺寸為1×1；第2個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0；第3個(gè)卷積層中，卷積核尺寸為1×1，個(gè)數(shù)為128，步長(zhǎng)為1，填充為0。
6.如權(quán)利要求1所述的基于通道交叉神經(jīng)網(wǎng)絡(luò)的偏振圖像融合方法，其特征在于，步驟2中，gcm模塊輸入按序包含的第1個(gè)分組卷積層中，卷積核尺寸為3×3，個(gè)數(shù)為128，步長(zhǎng)為1，填充為1，分組數(shù)量為通道數(shù)128。
7....
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王強(qiáng)，劉秋寒，余稼洋，徐梓靈，夏瑞聰，李琦，同思蓉，
申請(qǐng)(專利權(quán))人：中國(guó)人民解放軍空軍工程大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。