【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及圖像處理，尤其是涉及全彩成像方法和裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、低照度的成像環(huán)境在夜晚安防監(jiān)控領(lǐng)域是重要的應(yīng)用場(chǎng)景，然而低照度環(huán)境下可見(jiàn)光成像的信噪比較差，高水平噪聲可能嚴(yán)重影響圖像中真實(shí)信號(hào)的展示，難以通過(guò)后續(xù)算法將該可見(jiàn)光成像的圖像質(zhì)量提升到理想狀態(tài)。可見(jiàn)光-近紅外圖像融合技術(shù)能夠利用近紅外圖像中豐富的細(xì)節(jié)增強(qiáng)低照度可見(jiàn)光圖像，在有效提升可見(jiàn)光圖像信噪比的同時(shí)，無(wú)需增加額外的可見(jiàn)光源。
2、對(duì)于安防監(jiān)控的連續(xù)圖像序列，在夜晚低照度成像中常通過(guò)多幀疊加圖像數(shù)據(jù)以進(jìn)行時(shí)域降噪，能夠有效提升靜止區(qū)域的信噪比，但運(yùn)動(dòng)區(qū)域可能因?yàn)樾旁氡容^差而出現(xiàn)明顯偽影(例如運(yùn)動(dòng)拖影等)或者過(guò)度去噪等，運(yùn)動(dòng)區(qū)域的清晰度仍然不理想。已有若干針對(duì)高噪聲可見(jiàn)光圖像的融合技術(shù)，其融合結(jié)果有一定程度的降噪，但均應(yīng)用于已經(jīng)過(guò)圖像處理變換的rgb格式的單幀圖像，不適用于安防監(jiān)控的連續(xù)圖像序列。
3、此外，由于運(yùn)動(dòng)前景和靜態(tài)背景的深度不同，即使近紅外圖像經(jīng)過(guò)配準(zhǔn)后仍然可能在局部區(qū)域存在一定程度的視差。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供全彩成像方法和裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，其能夠提高低照度環(huán)境下可見(jiàn)光成像的圖像質(zhì)量。
2、第一方面，本公開實(shí)施例的目的在于提供一種全彩成像方法。所述全彩成像方法包括：獲取可見(jiàn)光圖像及近紅外圖像，所述可見(jiàn)光圖像的圖像數(shù)據(jù)及所述近紅外圖像的圖像數(shù)據(jù)為由雙相機(jī)模組拍攝的原始數(shù)據(jù)；對(duì)所述可見(jiàn)光圖像及所述近紅外圖像進(jìn)行分通道融合，以獲取與各個(gè)通道
3、在第一方面的一種實(shí)現(xiàn)方式中，對(duì)所述可見(jiàn)光圖像及所述近紅外圖像進(jìn)行分通道融合以獲取與各個(gè)通道分別相對(duì)應(yīng)的通道融合圖像包括：對(duì)當(dāng)前幀的所述可見(jiàn)光圖像的第一顏色通道與當(dāng)前幀的所述近紅外圖像進(jìn)行融合以獲取第一顏色通道融合圖像；基于所述第一顏色通道融合圖像，對(duì)當(dāng)前幀的所述可見(jiàn)光圖像的第二顏色通道與當(dāng)前幀的所述近紅外圖像進(jìn)行融合以獲取第二顏色通道融合圖像，以及對(duì)當(dāng)前幀的所述可見(jiàn)光圖像的第三顏色通道與當(dāng)前幀的所述近紅外圖像進(jìn)行融合以獲取第三通道融合圖像；以及將所述第一顏色通道融合圖像、所述第二顏色通道融合圖像及所述第三通道融合圖像分別作為當(dāng)前幀的所述通道融合圖像。
4、在第一方面的一種實(shí)現(xiàn)方式中，基于所述動(dòng)靜判決結(jié)果及所述通道融合圖像獲取全彩圖像包括：通過(guò)結(jié)合所述通道融合圖像和所述近紅外圖像得到的所述動(dòng)靜判決結(jié)果，對(duì)多幀所述通道融合圖像進(jìn)行分通道時(shí)域降噪以分別獲取各個(gè)通道幀間融合圖像；以及對(duì)所述通道幀間融合圖像進(jìn)行圖像信號(hào)處理以獲取所述全彩圖像。
5、在第一方面的一種實(shí)現(xiàn)方式中，所述可見(jiàn)光圖像的第一顏色通道包括與g顏色相關(guān)聯(lián)的至少一個(gè)通道，對(duì)所述可見(jiàn)光圖像的第一顏色通道與所述近紅外圖像進(jìn)行融合以獲取第一顏色通道融合圖像包括：當(dāng)所述可見(jiàn)光圖像的第一顏色通道僅包含一個(gè)通道時(shí)，對(duì)所述可見(jiàn)光圖像的第一顏色通道與所述近紅外圖像進(jìn)行融合以獲取第一顏色通道融合圖像；當(dāng)所述可見(jiàn)光圖像的第一顏色通道包含兩個(gè)或多個(gè)子通道時(shí)，對(duì)所述可見(jiàn)光圖像的第一顏色通道的每個(gè)子通道分別與所述近紅外圖像進(jìn)行融合以獲取每個(gè)子通道融合圖像，其中，所述可見(jiàn)光圖像的第一顏色通道的每個(gè)子通道與所述近紅外圖像的融合方式相同，且與所述可見(jiàn)光圖像的第一顏色通道僅包含一個(gè)通道時(shí)的第一顏色通道與所述近紅外圖像的融合方式相同，該融合方式為第一融合方式。
6、在第一方面的一種實(shí)現(xiàn)方式中，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外圖像進(jìn)行融合以獲取第二顏色通道融合圖像包括：當(dāng)所述可見(jiàn)光圖像的第一顏色通道僅包含一個(gè)通道時(shí)，基于所述可見(jiàn)光圖像的第一顏色通道融合圖像，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外圖像進(jìn)行融合以獲取所述第二顏色通道融合圖像；當(dāng)所述可見(jiàn)光圖像的第一顏色通道包含兩個(gè)或多個(gè)子通道時(shí)，基于所述可見(jiàn)光圖像的第一顏色通道的所有子通道融合圖像的加權(quán)均值，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外圖像進(jìn)行融合以獲取所述第二顏色通道融合圖像。
7、在第一方面的一種實(shí)現(xiàn)方式中，對(duì)所述可見(jiàn)光圖像的第三顏色通道與所述近紅外圖像進(jìn)行融合以獲取第三顏色通道融合圖像包括：當(dāng)所述可見(jiàn)光圖像的第一顏色通道僅包含一個(gè)通道時(shí)，基于所述可見(jiàn)光圖像的第一顏色通道融合圖像，對(duì)所述可見(jiàn)光圖像的第三顏色通道與所述近紅外圖像進(jìn)行融合以獲取所述第三顏色通道融合圖像；當(dāng)所述可見(jiàn)光圖像的第一顏色通道包含兩個(gè)或多個(gè)子通道時(shí)，基于所述可見(jiàn)光圖像的第一顏色通道的所有子通道融合圖像的加權(quán)均值，對(duì)所述可見(jiàn)光圖像的第三顏色通道與所述近紅外圖像進(jìn)行融合以獲取所述第三顏色通道融合圖像。
8、在第一方面的一種實(shí)現(xiàn)方式中，對(duì)所述可見(jiàn)光圖像的第一顏色通道與所述近紅外圖像進(jìn)行融合的所述第一融合方式包括：獲取所述可見(jiàn)光圖像的第一顏色通道的一階梯度及所述近紅外圖像的一階梯度之間的第一梯度關(guān)系圖；基于所述可見(jiàn)光圖像的第一顏色通道的一階梯度計(jì)算獲取第一視覺(jué)保邊系數(shù)的初始值，所述第一視覺(jué)保邊系數(shù)為二維權(quán)重系數(shù)；基于所述近紅外圖像的一階梯度、所述第一梯度關(guān)系圖及所述第一視覺(jué)保邊系數(shù)的初始值獲取所述第一顏色通道融合圖像。
9、在第一方面的一種實(shí)現(xiàn)方式中，基于所述近紅外圖像的一階梯度、所述第一關(guān)系梯度圖及所述第一視覺(jué)保邊系數(shù)的初始值獲取所述第一顏色通道融合圖像包括采用如下目標(biāo)函數(shù)公式：
10、
11、其中，i1表示待求解的最優(yōu)的第一顏色通道融合圖像，表示待求解的最優(yōu)的第一顏色通道融合圖像的一階梯度，s表示所述待求解的最優(yōu)的第一顏色通道融合圖像和所述近紅外圖像的梯度關(guān)系圖，表示所述近紅外圖像的一階梯度，i0表示所述可見(jiàn)光圖像的第一顏色通道的圖像，為s的控制項(xiàng)，α表示為所述第一視覺(jué)保邊系數(shù)，λ、β為常數(shù)項(xiàng)；交替迭代計(jì)算所述目標(biāo)函數(shù)，以獲取最優(yōu)的所述第一顏色通道融合圖像。
12、在第一方面的一種實(shí)現(xiàn)方式中，獲取所述第一視覺(jué)保邊系數(shù)包括采用如下公式：
13、
14、其中，αk表示第k次迭代計(jì)算所述目標(biāo)函數(shù)時(shí)對(duì)應(yīng)的所述第一視覺(jué)保邊系數(shù)，ik-1表示第k-1次迭代計(jì)算得到的所述第一顏色通道融合圖像，th為常數(shù)系數(shù)，表示降噪后的第k-1次迭代計(jì)算得到的所述第一顏色通道融合圖像的一階梯度，i0表示第一次迭代時(shí)的所述可見(jiàn)光圖像的第一顏色通道的原始圖像，基于i0獲取的所述第一視覺(jué)保邊系數(shù)為所述第一視覺(jué)保邊系數(shù)的初始值。
15、在第一方面的一種實(shí)現(xiàn)方式中，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外圖像進(jìn)行融合以獲取第二顏色通道融合圖像包括：獲取所述可見(jiàn)光圖像的第二顏色通道的一階梯度及所述近紅外圖像的一階梯度之間的第二梯度關(guān)系圖；基于所述可見(jiàn)光圖像的第二顏色通道的一階梯度計(jì)算獲取第二視覺(jué)保邊系數(shù)的初始值；基于所述第一顏色通道融合圖像獲取第二通道先驗(yàn)項(xiàng)；基于所述第二視覺(jué)保邊系數(shù)的初始值、所述近紅外圖像的一階梯本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種全彩成像方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像及所述近紅外圖像進(jìn)行分通道融合以獲取與各個(gè)通道分別相對(duì)應(yīng)的通道融合圖像包括：
3.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，基于所述動(dòng)靜判決結(jié)果及所述通道融合圖像獲取全彩圖像包括：
4.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，所述可見(jiàn)光圖像的第一顏色通道包括與G顏色相關(guān)聯(lián)的至少一個(gè)通道；
5.根據(jù)權(quán)利要求4所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像的第一顏色通道與所述近紅外圖像進(jìn)行融合的所述第一融合方式包括：
6.根據(jù)權(quán)利要求5所述的全彩成像方法，其特征在在于，基于所述近紅外圖像的一階梯度、所述第一梯度關(guān)系圖及所述第一視覺(jué)保邊系數(shù)的初始值獲取所述第一顏色通道融合圖像包括采用如下目標(biāo)函數(shù)公式：
7.根據(jù)權(quán)利要求6所述的全彩成像方法，其特征在于，獲取所述第一視覺(jué)保邊系數(shù)包括采用如下公式：
8.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外
9.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像的第三顏色通道與所述近紅外圖像進(jìn)行融合以獲取第三顏色通道融合圖像第三顏色通道融合圖像包括：
10.根據(jù)權(quán)利要求8或9所述的全彩成像方法，其特征在于，基于第二視覺(jué)保邊系數(shù)的初始值、所述近紅外圖像的一階梯度、所述第二梯度關(guān)系圖及所述第二通道先驗(yàn)項(xiàng)獲取所述第二顏色通道融合圖像，或基于第三視覺(jué)保邊系數(shù)的初始值、所述近紅外圖像的一階梯度、所述第三梯度關(guān)系圖及所述第三通道先驗(yàn)項(xiàng)獲取所述第三顏色通道融合圖像包括采用如下目標(biāo)函數(shù)公式：
11.根據(jù)權(quán)利要求10所述的全彩成像方法，其特征在于，基于所述動(dòng)靜判決結(jié)果及所述通道融合圖像獲取全彩圖像包括：
12.根據(jù)權(quán)利要求1所述的全彩成像方法，其特征在于，獲取基于所述通道融合圖像及所述近紅外圖像得到的動(dòng)靜判決結(jié)果包括：
13.根據(jù)權(quán)利要求1所述的全彩成像方法，其特征在于，在對(duì)所述可見(jiàn)光圖像及所述近紅外圖像進(jìn)行分通道融合之前，還包括：
14.一種全彩成像裝置，其特征在于，包括：
15.一種電子設(shè)備，其特征在于，包括：
16.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至13中任一項(xiàng)所述的全彩成像方法。
...【技術(shù)特征摘要】
1.一種全彩成像方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像及所述近紅外圖像進(jìn)行分通道融合以獲取與各個(gè)通道分別相對(duì)應(yīng)的通道融合圖像包括：
3.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，基于所述動(dòng)靜判決結(jié)果及所述通道融合圖像獲取全彩圖像包括：
4.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，所述可見(jiàn)光圖像的第一顏色通道包括與g顏色相關(guān)聯(lián)的至少一個(gè)通道；
5.根據(jù)權(quán)利要求4所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像的第一顏色通道與所述近紅外圖像進(jìn)行融合的所述第一融合方式包括：
6.根據(jù)權(quán)利要求5所述的全彩成像方法，其特征在在于，基于所述近紅外圖像的一階梯度、所述第一梯度關(guān)系圖及所述第一視覺(jué)保邊系數(shù)的初始值獲取所述第一顏色通道融合圖像包括采用如下目標(biāo)函數(shù)公式：
7.根據(jù)權(quán)利要求6所述的全彩成像方法，其特征在于，獲取所述第一視覺(jué)保邊系數(shù)包括采用如下公式：
8.根據(jù)權(quán)利要求2所述的全彩成像方法，其特征在于，對(duì)所述可見(jiàn)光圖像的第二顏色通道與所述近紅外圖像進(jìn)行融合以獲取第二顏色通道融合圖像包括：
9.根據(jù)權(quán)利要求2所述的全彩成像方法，其特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張子藝，沈雁欣，
申請(qǐng)(專利權(quán))人：瑞芯微電子股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。