雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法技術(shù)方案

一種雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法。雙傳感器攝像系統(tǒng)包括至少一個(gè)色彩傳感器、至少一個(gè)紅外線傳感器、存儲(chǔ)裝置及處理器。處理器經(jīng)配置以加載并執(zhí)行存儲(chǔ)在存儲(chǔ)裝置中的計(jì)算機(jī)程序以：控制色彩傳感器及紅外線傳感器采用多個(gè)拍攝條件分別獲取一攝像場(chǎng)景的多張色彩圖像及多張紅外線圖像；計(jì)算在各拍攝條件下獲取的色彩圖像的多個(gè)色彩圖像參數(shù)以及在各拍攝條件下獲取的紅外線圖像的多個(gè)紅外線圖像參數(shù)，用以計(jì)算色彩圖像的亮度及紅外線圖像的亮度之間的差異；以及根據(jù)所計(jì)算的差異，決定適于色彩傳感器及紅外線傳感器的曝光設(shè)定。于色彩傳感器及紅外線傳感器的曝光設(shè)定。于色彩傳感器及紅外線傳感器的曝光設(shè)定。

【技術(shù)實(shí)現(xiàn)步驟摘要】
雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法


[0001]本公開涉及一種攝像系統(tǒng)及方法，尤其涉及一種雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法。

技術(shù)介紹

[0002]相機(jī)的曝光條件(包括光圈、快門、感亮度)會(huì)影響所拍攝圖像的質(zhì)量，因此許多相機(jī)在拍攝圖像的過程中會(huì)自動(dòng)調(diào)整曝光條件，以獲得清晰且明亮的圖像。然而，在低光源或是背光等高反差的場(chǎng)景中，相機(jī)調(diào)整曝光條件的結(jié)果可能會(huì)產(chǎn)生噪聲過高或是部分區(qū)域過曝的結(jié)果，無法兼顧所有區(qū)域的圖像質(zhì)量。
[0003]對(duì)此，目前技術(shù)有采用一種新的圖像傳感器架構(gòu)，其是利用紅外線(IR)傳感器高光敏感度的特性，在圖像傳感器的色彩像素中穿插配置IR像素，以輔助亮度檢測(cè)。舉例來說，圖1是現(xiàn)有使用圖像傳感器獲取圖像的示意圖。請(qǐng)參照?qǐng)D1，現(xiàn)有的圖像傳感器10中除了配置有紅(R)、綠(G)、藍(lán)(B)等顏色像素外，還穿插配置有紅外線(I)像素。因此，圖像傳感器10能夠?qū)、G、B顏色像素所獲取的色彩信息12與I像素所獲取的亮度信息14結(jié)合，而獲得色彩及亮度適中的圖像16。
[0004]然而，在上述單一圖像傳感器的架構(gòu)下，圖像傳感器中每個(gè)像素的曝光條件相同，因此只能選擇較適用于顏色像素或紅外線像素的曝光條件來獲取圖像，結(jié)果仍無法有效地利用兩種像素的特性來改善所獲取圖像的圖像質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

[0005]本專利技術(shù)提供一種雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法，利用獨(dú)立配置的色彩及紅外線傳感器分別獲取不同拍攝條件下的多張圖像，據(jù)以進(jìn)行圖像對(duì)準(zhǔn)及亮度匹配，并應(yīng)用于后續(xù)獲取的圖像，因此可提高所獲取圖像的圖像質(zhì)量。<br/>[0006]本專利技術(shù)的雙傳感器攝像系統(tǒng)包括至少一個(gè)色彩傳感器、至少一個(gè)紅外線傳感器、存儲(chǔ)裝置以及耦接所述色彩傳感器、紅外光傳感器及存儲(chǔ)裝置的處理器。所述處理器經(jīng)配置以加載并執(zhí)行存儲(chǔ)在存儲(chǔ)裝置中的計(jì)算機(jī)程序以：控制色彩傳感器及紅外線傳感器采用多個(gè)拍攝條件分別獲取一攝像場(chǎng)景的多張色彩圖像及多張紅外線圖像；計(jì)算在各拍攝條件下獲取的色彩圖像的多個(gè)色彩圖像參數(shù)以及在各拍攝條件下獲取的紅外線圖像的多個(gè)紅外線圖像參數(shù)，用以計(jì)算色彩圖像的亮度及紅外線圖像的亮度之間的差異；以及根據(jù)所計(jì)算的差異，決定適于色彩傳感器及紅外線傳感器的曝光設(shè)定。
[0007]本專利技術(shù)的雙傳感器攝像系統(tǒng)的校準(zhǔn)方法，適用于包括至少一個(gè)色彩傳感器、至少一個(gè)紅外線傳感器及處理器的雙傳感器攝像系統(tǒng)。所述方法包括下列步驟：控制色彩傳感器及紅外線傳感器采用多個(gè)拍攝條件分別獲取一攝像場(chǎng)景的多張色彩圖像及多張紅外線圖像；計(jì)算在各拍攝條件下獲取的色彩圖像的多個(gè)色彩圖像參數(shù)以及在各拍攝條件下獲取的紅外線圖像的多個(gè)紅外線圖像參數(shù)，用以計(jì)算色彩圖像的亮度及紅外線圖像的亮度之間的差異；以及根據(jù)所計(jì)算的差異，決定適于色彩傳感器及紅外線傳感器的曝光設(shè)定。
[0008]基于上述，本專利技術(shù)的雙傳感器攝像系統(tǒng)及其校準(zhǔn)方法，在獨(dú)立配置的色彩傳感器及紅外線傳感器上采用不同拍攝條件獲取多張圖像，并根據(jù)這些圖像中對(duì)應(yīng)像素的位置關(guān)系和這些圖像之間的亮度差異，決定適于色彩傳感器及紅外線傳感器的曝光及對(duì)準(zhǔn)設(shè)定，用以對(duì)后續(xù)獲取的圖像進(jìn)行圖像對(duì)準(zhǔn)及亮度匹配，而可提高所攝圖像的圖像質(zhì)量。
[0009]為讓本公開能還明顯易懂，下文特舉實(shí)施例，并配合附圖作詳細(xì)說明如下。
附圖說明
[0010]圖1是現(xiàn)有使用圖像傳感器獲取圖像的示意圖；
[0011]圖2是依照本專利技術(shù)一實(shí)施例所示出的使用圖像傳感器獲取圖像的示意圖；
[0012]圖3是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的方塊圖；
[0013]圖4是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的校準(zhǔn)方法的流程圖；
[0014]圖5是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的對(duì)準(zhǔn)校準(zhǔn)方法的流程圖；
[0015]圖6是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的亮度匹配校準(zhǔn)方法的流程圖；
[0016]圖7是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的校準(zhǔn)方法的流程圖。
[0017]符號(hào)說明
[0018]10、20：圖像傳感器
[0019]12：色彩信息
[0020]14：亮度信息
[0021]16：圖像
[0022]22：色彩傳感器
[0023]22a：色彩圖像
[0024]24：紅外線傳感器
[0025]24a：紅外線圖像
[0026]26：場(chǎng)景圖像
[0027]30：雙傳感器攝像系統(tǒng)
[0028]32：色彩傳感器
[0029]34：紅外線傳感器
[0030]36：存儲(chǔ)裝置
[0031]38：處理器
[0032]R、G、B、I：像素
[0033]S402～S406、S502～S506、S602～S606、S702～S706：步驟
具體實(shí)施方式
[0034]圖2是依照本專利技術(shù)一實(shí)施例所示出的使用圖像傳感器獲取圖像的示意圖。請(qǐng)參照?qǐng)D2，本專利技術(shù)實(shí)施例的圖像傳感器20采用獨(dú)立配置色彩傳感器22與紅外線(IR)傳感器24的雙傳感器架構(gòu)，利用色彩傳感器22與紅外線傳感器24各自的特性，采用適于當(dāng)前攝像場(chǎng)景的多個(gè)曝光條件分別獲取多張圖像，并從中選擇曝光條件適當(dāng)?shù)纳蕡D像22a與紅外線圖
像24a，通過圖像融合的方式，使用紅外線圖像24a來補(bǔ)足色彩圖像22a中缺乏的紋理細(xì)節(jié)，從而獲得色彩及紋理細(xì)節(jié)均佳的場(chǎng)景圖像26。
[0035]圖3是依照本專利技術(shù)一實(shí)施例所示出的雙傳感器攝像系統(tǒng)的方塊圖。請(qǐng)參照?qǐng)D3，本實(shí)施例的雙傳感器攝像系統(tǒng)30可配置于手機(jī)、平板計(jì)算機(jī)、筆記本電腦、導(dǎo)航裝置、行車紀(jì)錄器、數(shù)字相機(jī)、數(shù)字?jǐn)z影機(jī)等電子裝置中，用以提供攝像功能。雙傳感器攝像系統(tǒng)30包括至少一個(gè)色彩傳感器32、至少一個(gè)紅外線傳感器34、存儲(chǔ)裝置36及處理器38，其功能分述如下：
[0036]色彩傳感器32例如包括電荷耦合器件(Charge Coupled Device，CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal
?
Oxide Semiconductor，CMOS)器件或其他種類的感光器件，而可感測(cè)光線強(qiáng)度以產(chǎn)生攝像場(chǎng)景的圖像。色彩傳感器32例如是紅綠藍(lán)(RGB)圖像傳感器，其中包括紅(R)、綠(G)、藍(lán)(B)顏色像素，用以獲取攝像場(chǎng)景中的紅光、綠光、藍(lán)光等色彩信息，并將這些色彩信息合成以生成攝像場(chǎng)景的色彩圖像。
[0037]紅外線傳感器34例如包括CCD、CMOS器件或其他種類的感光器件，其經(jīng)由調(diào)整感光器件的波長感測(cè)范圍，而能夠感測(cè)紅外光。紅外線傳感器34例如是以上述感光器件作為像素來獲取攝像場(chǎng)景中的紅外光信息，并將這些紅外光信息合成以生成攝像場(chǎng)景的紅外線圖像。
[0038]存儲(chǔ)裝置36例如是任意型式的固定式或可移動(dòng)式隨機(jī)存取存儲(chǔ)器(Random Access Memory，RAM)、只讀存儲(chǔ)器(Read
?
Only Memory，ROM)、閃存(Flash memory)、硬盤或類似器件或上述器本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種雙傳感器攝像系統(tǒng)，包括：至少一色彩傳感器；至少一紅外線傳感器；存儲(chǔ)裝置，存儲(chǔ)計(jì)算機(jī)程序；以及處理器，耦接所述至少一色彩傳感器、所述至少一紅外光傳感器及所述存儲(chǔ)裝置，經(jīng)配置以加載并執(zhí)行所述計(jì)算機(jī)程序以：控制所述至少一色彩傳感器及所述至少一紅外線傳感器采用多個(gè)拍攝條件分別獲取一攝像場(chǎng)景的多張色彩圖像及多張紅外線圖像；計(jì)算在各所述拍攝條件下獲取的所述色彩圖像的多個(gè)色彩圖像參數(shù)以及在各所述拍攝條件下獲取的所述紅外線圖像的多個(gè)紅外線圖像參數(shù)，用以計(jì)算所述色彩圖像的亮度及所述紅外線圖像的亮度之間的差異；以及根據(jù)所計(jì)算的差異，決定適于所述至少一色彩傳感器及所述至少一紅外線傳感器的曝光設(shè)定。2.根據(jù)權(quán)利要求1所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：將各所述色彩圖像及各所述紅外線圖像切割為多個(gè)塊，并計(jì)算各所述塊內(nèi)所有像素的像素值平均；以及計(jì)算相對(duì)應(yīng)的所述塊的所述像素值平均的差異作為所述色彩圖像的亮度及所述紅外線圖像的亮度之間的差異。3.根據(jù)權(quán)利要求1所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：計(jì)算各所述色彩圖像及各所述紅外線圖像的圖像直方圖；以及計(jì)算所述色彩圖像及所述紅外線圖像的所述圖像直方圖的差異作為所述色彩圖像的亮度及所述紅外線圖像的亮度之間的差異。4.根據(jù)權(quán)利要求1所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：控制所述至少一色彩傳感器及所述至少一紅外線傳感器采用相同的曝光時(shí)間分別獲取所述攝像場(chǎng)景的所述色彩圖像及所述紅外線圖像；以及根據(jù)所計(jì)算的所述色彩圖像的亮度及所述紅外線圖像的亮度之間的差異，計(jì)算用以調(diào)整所述色彩圖像的亮度或所述紅外線圖像的亮度的增益。5.根據(jù)權(quán)利要求1所述的雙傳感器攝像系統(tǒng)，其中所述處理器還包括：控制所述至少一色彩傳感器及所述至少一紅外線傳感器分別拍攝具有特殊圖案的測(cè)試圖，以獲得一色彩測(cè)試圖像及一紅外線測(cè)試圖像；檢測(cè)所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像中的所述特殊圖案的多個(gè)特征點(diǎn)；以及執(zhí)行圖像對(duì)準(zhǔn)算法以根據(jù)所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像中相對(duì)應(yīng)的所述特征點(diǎn)之間的位置關(guān)系，計(jì)算所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像之間的匹配關(guān)系，用以對(duì)后續(xù)獲取的所述色彩圖像及所述紅外線圖像進(jìn)行對(duì)準(zhǔn)。6.根據(jù)權(quán)利要求5所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：將所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像切割為多個(gè)塊，并執(zhí)行一特征檢測(cè)算法以檢測(cè)各所述塊內(nèi)的至少一個(gè)所述特征點(diǎn)，其中所述特征檢測(cè)算法包括哈里斯邊角檢測(cè)法。7.根據(jù)權(quán)利要求5所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：針對(duì)從所述色彩測(cè)試圖像中檢測(cè)出的所述特征點(diǎn)中的一指定特征點(diǎn)，以所述紅外線測(cè)
試圖像中對(duì)應(yīng)于所述指定特征點(diǎn)的像素為中心移動(dòng)包括多個(gè)像素的面片來搜尋所述紅外線測(cè)試圖像中對(duì)應(yīng)于所述指定特征點(diǎn)的對(duì)應(yīng)特征點(diǎn)；以及執(zhí)行隨機(jī)抽樣一致算法以建立單應(yīng)性變換矩陣，并將所述色彩測(cè)試圖像中的所述特征點(diǎn)與所述紅外線測(cè)試圖像中的所述對(duì)應(yīng)特征點(diǎn)的位置帶入所述單應(yīng)性變換矩陣求解，而以所求得的解作為所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像之間的所述匹配關(guān)系。8.根據(jù)權(quán)利要求5所述的雙傳感器攝像系統(tǒng)，其中所述處理器包括：利用所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像計(jì)算攝像場(chǎng)景的多個(gè)深度，據(jù)以將所述攝像場(chǎng)景區(qū)分為多個(gè)深度場(chǎng)景；以及針對(duì)各所述深度場(chǎng)景建立二次方程式，并將位于各所述深度場(chǎng)景內(nèi)的所述色彩測(cè)試圖像中的所述特征點(diǎn)與所述紅外線測(cè)試圖像中的所述對(duì)應(yīng)特征點(diǎn)的位置帶入對(duì)應(yīng)的所述二次方程式求解，而以所求得的解作為所述色彩測(cè)試圖像及所述紅外線測(cè)試圖像之間的所述匹配關(guān)系。9.根據(jù)權(quán)利要求5所述的雙傳感器攝像系統(tǒng)，其中所述圖像對(duì)準(zhǔn)算法包括暴力法、光流法、單應(yīng)性變換法或局部翹曲法。10.根據(jù)權(quán)利要求1所述的雙傳感器攝像系統(tǒng)，還包括紅外線投射器，其中所述處理器還包括：控制所述紅外線投射器投射具有特殊圖案的不可見光至所述攝像場(chǎng)景；控制所述至少一紅外線傳感器中的兩個(gè)紅外線傳感器分別獲取具有所述特殊圖案的攝像場(chǎng)景的多張紅外線圖像；以及根據(jù)所獲取的所述紅外線圖像中的所述特殊圖案以及所述兩個(gè)紅外線傳感器的視差，分別計(jì)算所述雙傳感器攝像系統(tǒng)與所述攝像場(chǎng)景中的主體和背景之間的距離。11.一種雙傳感器攝像系統(tǒng)的校準(zhǔn)方法，所述雙傳感器攝像系統(tǒng)包...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：彭詩淵，鄭書峻，黃旭鍊，李運(yùn)錦，賴國銘，
申請(qǐng)(專利權(quán))人：聚晶半導(dǎo)體股份有限公司，
類型：發(fā)明
國別省市：