【技術(shù)實現(xiàn)步驟摘要】
本申請屬于計算機成像，尤其涉及一種無鬼影高動態(tài)范圍圖像融合方法和系統(tǒng)。
技術(shù)介紹
1、在計算機成像中，高動態(tài)范圍(hdr)技術(shù)通過捕捉比普通照片更高的色彩、亮度和對比度范圍，能夠在同一張照片中同時展現(xiàn)明亮的天空和深黑的陰影，避免了過曝或欠曝的情況，呈現(xiàn)出更真實、更細膩的畫面效果。然而，在動態(tài)場景拍攝中，由于相機或物體的運動，低動態(tài)范圍(ldr)圖像之間往往難以完全對齊，導致在hdr圖像融合時容易產(chǎn)生偽影和重影，即所謂的“鬼影”，影響了最終圖像的質(zhì)量。
2、現(xiàn)有技術(shù)中，針對hde成像中的鬼影問題，通常采用上下文感知視覺轉(zhuǎn)換器——ca-vit來消除鬼影，ca-vit通過采用雙分支體系結(jié)構(gòu)，有效地捕獲全局和局部依賴關(guān)系，其中，全局分支采用基于窗口的transformer編碼器來模擬遠距離物體運動和強度變化，從而解決因物體移動或曝光不同而產(chǎn)生的重影問題；局部分支設(shè)計了一個局部上下文提取器(lce)來捕獲圖像的短程特征，并利用通道關(guān)注機制在提取的特征中選擇信息豐富的局部細節(jié)來補充全局分支，使全局和局部信息能以互補的形式共同工作。
3、上述采用ca-vit消除鬼影的方法，克服了傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)方法處理大運動和嚴重飽和度的場景時，容易產(chǎn)生重影偽影和強度畸變的局限性，通過雙分支體系結(jié)構(gòu)能夠更好地建模長距離依賴關(guān)系，從而生成無鬼影的高質(zhì)量hdr圖像，然而，當一組多曝光ldr圖像中同時存在因物體運動造成的遮擋和亮度過飽和或太暗時，采用上述方法融合的hdr圖像中同樣會出現(xiàn)鬼影，這是因為它們直接將多曝光圖像的ldr
技術(shù)實現(xiàn)思路
1、本申請實施例提供了一種無鬼影高動態(tài)范圍圖像融合方法和系統(tǒng)，可以解決現(xiàn)有技術(shù)中無法有效處理物體運動過程中噪聲和飽和區(qū)域同時存在而產(chǎn)生鬼影的問題。
2、第一方面，本申請實施例提供了一種無鬼影高動態(tài)范圍圖像融合方法，包括：
3、基于原始圖像的低曝光圖像、中曝光圖像和高曝光圖像，采用伽瑪校正，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像均包括ldr域輸入圖像和hdr域輸入圖像；
4、基于所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，采用雙域分開協(xié)作方法，獲得所述低曝光圖像的第一雙域圖像和所述高曝光圖像的第一雙域圖像；
5、將所述中曝光圖像的ldr域圖像和hdr域圖像進行拼接，獲得所述中曝光圖像的第三雙域圖像；
6、將所述低曝光圖像的第一雙域圖像、所述高曝光圖像的第一雙域圖像和所述中曝光圖像的第三雙域圖像進行融合，獲得目標融合圖像。
7、進一步的，所述基于原始圖像的低曝光圖像、中曝光圖像和高曝光圖像，采用伽瑪校正，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
8、獲取原始圖像的低曝光圖像、中曝光圖像和高曝光圖像；
9、將所述中曝光圖像作為參考圖，采用伽瑪校正，將低曝光圖像和高曝光圖像依次映射至hdr域，獲得所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像，所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像均包括ldr域圖像和hdr域圖像；
10、基于所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像均包括ldr域輸入圖像和hdr域輸入圖像。
11、進一步的，所述基于所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
12、將所述低曝光圖像的ldr圖像以及所述高曝光圖像的ldr圖像分別與所述中曝光圖像的ldr圖像進行拼接，獲得所述低曝光圖像的ldr域輸入圖像和所述高曝光圖像的ldr域輸入圖像；
13、將所述低曝光圖像的hdr圖像以及所述高曝光圖像的hdr圖像分別與所述中曝光圖像的hdr圖像進行拼接，獲得所述低曝光圖像的hdr域輸入圖像和所述高曝光圖像的hdr域輸入圖像。
14、進一步的，所述雙域分開協(xié)作方法包括：將所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像分別輸入雙域?qū)R網(wǎng)絡(luò)，獲得低曝光圖像的第一雙域圖像和高曝光圖像的第一雙域圖像。
15、進一步的，所述雙域分開協(xié)作方法還包括：
16、基于ldr域輸入圖像和hdr域輸入圖像，采用層歸一化方法，獲得所述ldr域特征圖和所述hdr域特征圖；
17、將所述ldr域特征圖和所述hdr域特征圖分別輸入雙通道注意力模塊，獲得綜合注意力特征圖，其中，所述雙通道注意力模塊包括空間自注意力和通道自注意力；
18、將所述綜合注意力特征圖輸入前饋神經(jīng)網(wǎng)絡(luò)，獲得第一雙域圖像，所述第一雙域圖像包括ldr域輸出圖像和hdr域輸出圖像。
19、進一步的，上述一種無鬼影高動態(tài)范圍圖像融合方法，還包括；
20、采用色調(diào)映射損失函數(shù)，將所述目標融合圖像從線性域映射到色調(diào)映射域，計算所述目標融合圖像的損失函數(shù)，所述損失函數(shù)包括雙域協(xié)作損失函數(shù)、雙域?qū)R損失函數(shù)和圖像融合損失函數(shù)，所述色調(diào)映射損失函數(shù)的計算公式為：
21、
22、其中，x為輸入函數(shù)，u為固定值5000，τ(x)表示色調(diào)映射損失函數(shù)；
23、所述損失函數(shù)的計算公式為：
24、l＝lcollaboration+lossaligment+lfusion
25、其中，lcollaboration表示雙域協(xié)作損失函數(shù)，lossaligment表示雙域?qū)R損失函數(shù)，lfusion表示圖像融合損失函數(shù)，l表示損失函數(shù)；
26、進一步的，所述雙域協(xié)作損失函數(shù)計算采用雙域分開協(xié)作方法獲得所述第一雙域圖像后的損失；
27、所述雙域協(xié)作損失函數(shù)的計算公式如下：
28、
29、其中，ψ(.)為預(yù)訓練好的vgg-16網(wǎng)絡(luò)輸出的特征圖，i和j表示的是第i個池化層后第j個特征圖，l1為低曝光圖像，l3為高曝光圖像，和分別是低曝光圖像的第一雙域圖像的ldr域圖像和hdr域圖像，和分別是高曝光圖像的第一雙域圖像的ldr域圖像和hdr域圖像，表示低曝光圖像的第一雙域圖像的hdr域圖像的色調(diào)映射損失函數(shù)，表示高曝光圖像的第一雙域圖像的hdr域圖像的色調(diào)映射損失函數(shù)。
30、進一步的，所述雙域?qū)R損失函數(shù)計算第二雙域圖像中l(wèi)dr域圖像和hdr域圖像之間的損失；
31、所述雙域?qū)R損失函數(shù)的計算公式如下：
32、lossalignment＝loss1+loss2+loss3+loss4；
33、其中，loss1表示低曝光圖像的ldr域圖像的損失，loss2表示低曝光圖像的本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種無鬼影高動態(tài)范圍圖像融合方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于原始圖像的低曝光圖像、中曝光圖像和高曝光圖像，采用伽瑪校正，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述雙域分開協(xié)作方法包括：將所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像分別輸入雙域?qū)R網(wǎng)絡(luò)，獲得低曝光圖像的第一雙域圖像和高曝光圖像的第一雙域圖像。
5.如權(quán)利要求4所述的方法，其特征在于，所述雙域分開協(xié)作方法還包括：
6.如權(quán)利要求2所述的方法，其特征在于，還包括；
7.如權(quán)利要求6所述的方法，其特征在于，所述雙域協(xié)作損失函數(shù)計算采用雙域分開協(xié)作方法獲得所述第一雙域圖像后的損失；
8.如權(quán)利要求6所述的方法，其特征在于，所述雙域?qū)R損失函數(shù)計算第二雙域
9.如權(quán)利要求6所述的方法，其特征在于，所述圖像融合損失函數(shù)計算所述目標融合圖像與真實圖像之間的損失；
10.一種無鬼影高動態(tài)范圍圖像融合系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種無鬼影高動態(tài)范圍圖像融合方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于原始圖像的低曝光圖像、中曝光圖像和高曝光圖像，采用伽瑪校正，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述基于所述低曝光圖像的第二雙域圖像以及所述高曝光圖像的第二雙域圖像，獲得所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像，包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述雙域分開協(xié)作方法包括：將所述低曝光圖像的輸入圖像和所述高曝光圖像的輸入圖像分別輸入雙域?qū)R網(wǎng)絡(luò)，獲得低曝光圖像的第一雙域圖像和高曝...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：羅曉然，張斯堯，蔡沐佳，
申請(專利權(quán))人：廣東南方網(wǎng)絡(luò)信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。