一種芯片級多光譜相機系統(tǒng)及其操作方法技術(shù)方案

本發(fā)明專利技術(shù)提供一種芯片級多光譜相機系統(tǒng)及其操作方法，包括：超透鏡成像光學(xué)模塊、多光譜成像光電轉(zhuǎn)換模塊、光譜圖像處理模塊、電路模塊；超透鏡成像光學(xué)模塊由若干個超透鏡組構(gòu)成，用于將拍攝物體投影到多光譜成像光電轉(zhuǎn)換模塊。多光譜成像光電轉(zhuǎn)換模塊由光譜調(diào)制層和光電轉(zhuǎn)換基底組成，用于將物體的像轉(zhuǎn)變成不同譜段的圖像數(shù)字信號。光譜圖像處理模塊及電路模塊用于對獲取到的圖像進行處理，最終得到相應(yīng)灰度圖、彩色圖和多光譜圖像。該光譜相機光譜覆蓋范圍廣、信息量大、且與傳統(tǒng)光譜相機相比體積縮小數(shù)倍，便攜性、靈活性得到極大提升，能適應(yīng)更復(fù)雜的應(yīng)用場景。能適應(yīng)更復(fù)雜的應(yīng)用場景。能適應(yīng)更復(fù)雜的應(yīng)用場景。

【技術(shù)實現(xiàn)步驟摘要】
一種芯片級多光譜相機系統(tǒng)及其操作方法


[0001]本專利技術(shù)涉及相機
，具體涉及一種用以獲取目標(biāo)物體的灰度圖、彩色圖和多光譜圖像，實現(xiàn)多光譜圖像數(shù)據(jù)的采集與分析的芯片級多光譜相機系統(tǒng)及其控制方法。

技術(shù)介紹

[0002]多光譜相機是由傳統(tǒng)的單色相機發(fā)展到現(xiàn)在的利用全彩色成像系統(tǒng)，它是一種利用目標(biāo)不同譜段光輻射，來執(zhí)行復(fù)雜的目標(biāo)檢查和分析的成像系統(tǒng)?，F(xiàn)如今市面上的多光譜相機主要分為三種：
[0003]第一種是傳統(tǒng)的光路分光光譜相機，例如專利號為201721249597.9，專利名為多光譜相機光學(xué)系統(tǒng)，通過固定鏡組、光柵、調(diào)焦鏡頭組合實現(xiàn)可以變焦的多光譜相機系統(tǒng)；專利號為201710631928.3，專利名為多光譜相機、多光譜成像裝置及控制方法，通過光學(xué)鏡頭、分光系統(tǒng)、面陣傳感器實現(xiàn)了可進行波段分割、多波段同時曝光的多光譜相機系統(tǒng)；這種利用傳統(tǒng)分光技術(shù)的光譜相機具備多組透鏡、光柵等復(fù)雜光學(xué)系統(tǒng)，通常體積較大，因系統(tǒng)中光學(xué)器件過多，成本價格較高，系統(tǒng)穩(wěn)定性差，使用場景受限。
[0004]第二種是濾光片式光譜相機，例如專利號為20161180137.5，專利名為一種輪轉(zhuǎn)式多光譜相機自動曝光系統(tǒng)及調(diào)節(jié)方法，通過在探測器前增加濾光片輪轉(zhuǎn)系統(tǒng)來變換濾光片，從而獲取多波段圖像；專利號為202021237206.3，專利名為多光譜相機，該技術(shù)專利通過光學(xué)與硬件結(jié)合實現(xiàn)單個鏡頭獲取不同波段圖像的問題；專利號為201910756348.3，專利名為一種一體化的光譜攝像鏡頭及光譜相機，利用鏡頭模組與電子濾光器組成一體化結(jié)構(gòu)，利用電子濾光器調(diào)整透過光譜的波長實現(xiàn)光譜掃描成像；以及專利號CN111623874A，專利名為一種多光譜成像裝置，同樣是利用濾光片輪轉(zhuǎn)系統(tǒng)事先多光譜數(shù)據(jù)采集。上述濾光片式光譜相機是通過多個濾光片組合，獲得多個相應(yīng)波段的多光譜圖像，從多光譜圖像估計每像素光譜反射率，該系統(tǒng)的缺點是增加濾光片輪轉(zhuǎn)系統(tǒng)，更使相機體積重量增大。且不同的光譜波段并非同時采集，存在成像速度慢、圖像配準(zhǔn)復(fù)雜、幾何失真不好校正、成像的精度較低等問題。此外，還存在因系統(tǒng)中包含機械運動部件(電動輪)，長時間使用會降低精度甚至損壞等問題，因此需要定期維護或更換。
[0005]第三種是多鏡頭式光譜相機，通過引入分束器元件可以讓多個相機針對同一個目標(biāo)同時捕獲圖像。例如，使用兩個拜耳模式相機，可以捕獲兩個3波段圖像并將其重建為6通道(2倍RGB)光譜圖像?；蛘?，拜耳相機可以與NIR相機結(jié)合使用，以產(chǎn)生4通道RGB+NIR輸出。例如專利號為201921553603.9，專利名為一種多鏡頭光譜相機，通過濾色單元將入射鏡頭內(nèi)的光線進行窄帶濾波，每個鏡頭與圖像傳感器上的感光區(qū)域相對應(yīng)實現(xiàn)不同窄帶光譜的圖像成像。專利號202110626134.4，專利名為一種無人機多光譜遙感數(shù)據(jù)采集和處理一體化系統(tǒng)及方法，利用內(nèi)置特定波段窄帶濾片和傳感器的多光譜鏡頭模組、熱紅外鏡頭模組以及RGB鏡頭模組用以實現(xiàn)多光譜圖像的采集。這種通過多個鏡頭與濾光器件、探測器組合，每個鏡頭對應(yīng)一個光譜波段的光譜相機，雖然解決了輪轉(zhuǎn)式濾光片相機無法同時成像的問題，但為此增加了多個鏡頭，成本較高，也導(dǎo)致此類多光譜相機仍然存在體積、重量較
大，后期圖像拼接導(dǎo)致分辨率下降的問題。
[0006]綜上所述，如今常見的三種多光譜相機都存在著系統(tǒng)復(fù)雜，體積重量較大，成本較高等問題，從而限制了多光譜相機在諸多領(lǐng)域的進一步應(yīng)用。

技術(shù)實現(xiàn)思路

[0007]鑒于上述問題，本專利技術(shù)的目的是提供一種芯片級多光譜相機系統(tǒng)及其控制方法，用于通過設(shè)計薄片型超透鏡光學(xué)成像系統(tǒng)、多光譜圖像芯片和電路，使得該光譜相機具備體積小巧、獲取的信息量大、光譜覆蓋范圍廣的特點。整個光譜相機系統(tǒng)無需復(fù)雜的分光系統(tǒng)或者濾光片輪轉(zhuǎn)系統(tǒng)，重量更輕、便攜性更強、且成本更低，可安裝于無人機、車載等，應(yīng)用于各種復(fù)雜場景的多光譜圖片拍攝，以克服上述現(xiàn)有技術(shù)的不足。
[0008]本專利技術(shù)提供的芯片級多光譜相機系統(tǒng)，包括：超透鏡成像光學(xué)模塊、多光譜成像光電轉(zhuǎn)換模塊、光譜圖像處理模塊、電路模塊；
[0009]其中，所述超透鏡成像光學(xué)模塊置于所述多光譜成像光電轉(zhuǎn)換模塊前，所述超透鏡成像光學(xué)模塊通過超透鏡組間的相對位置改變焦距，將光線匯聚于所述多光譜成像光電轉(zhuǎn)換模塊上，完成成像；
[0010]其中，所述多光譜成像光電轉(zhuǎn)換模塊用于將物體圖像的光信號轉(zhuǎn)變成不同譜段的圖像數(shù)字信號；
[0011]其中，所述光譜圖像處理模塊用于處理原始調(diào)制光譜數(shù)據(jù)，可實時對獲取到的原始數(shù)據(jù)進行處理，最終得到相應(yīng)灰度圖、彩色圖和多光譜圖像，并將該算法固化在所述電路模塊4中；其輸出采用串行接口。
[0012]其中，所述電路模塊包括：計算單元、存儲單元、接口單元；所述計算單元用于承載光譜圖像處理模塊中算法的功能，用以進行光譜圖像解調(diào)的相關(guān)計算，其中存儲單元用于保存數(shù)據(jù)庫以及采集到的光譜圖像數(shù)據(jù)，其中接口單元是采用串行通信方式的接口；可根據(jù)使用需要在系統(tǒng)中集成cameralink、USB、MIPI等多種傳輸接口，使多光譜數(shù)據(jù)的傳輸與轉(zhuǎn)存更加便利、快捷，實現(xiàn)數(shù)據(jù)靈活傳輸，也可配備電源供電單元等。
[0013]作為本專利技術(shù)的優(yōu)選，所述超透鏡成像光學(xué)模塊包括：至少一片超透鏡、IR
?
CUT截止濾波器；所述超透鏡用于實現(xiàn)光場調(diào)制功能，所述超透鏡包括：由在超透鏡玻璃襯底表面上生長具有對入射光進行相位調(diào)制功能的微納結(jié)構(gòu)；所述IR
?
CUT截止濾波器用于根據(jù)不同場景的使用需求，透過工作譜段，濾除其他干擾光線，提高成像質(zhì)量。
[0014]作為本專利技術(shù)的優(yōu)選，所述超透鏡玻璃襯底的材料選用入射波段具有高透過率的光學(xué)玻璃或石英等作為基底，所述微納結(jié)構(gòu)為二維亞波長納米柱陣列結(jié)構(gòu)。其中，所述納米柱陣列結(jié)構(gòu)為經(jīng)過精算設(shè)計使得有效材料色散為零，周期性規(guī)則排布的納米柱能在保證成像分辨率的同時使得景深增加，降低透鏡成像的球差。通過調(diào)整納米柱尺寸，對入射光進行相位控制，進而實現(xiàn)透鏡成像的作用，通過1
?
3片超透鏡，實現(xiàn)像差校正，焦距調(diào)節(jié)等功能，進而實現(xiàn)清晰成像。超材料微納結(jié)構(gòu)具有低損耗、超輕薄的優(yōu)點，其對光場中振幅、相位和偏振的調(diào)控能力較靈活，且因超透鏡二維平面結(jié)構(gòu)加入新的自由度，還具備消除色差的屬性，使得成像更加清晰、圖像顏色更為準(zhǔn)確。
[0015]作為本專利技術(shù)的優(yōu)選，所述IR
?
CUT截止濾波器位于超透鏡成像光學(xué)模塊中超透鏡后。透射紫外可見和近紅外的350
?
950nm譜段，濾除其他譜段的干擾光線；也可以根據(jù)不同
場景的使用需求，在350
?
950nm之間選擇一個較窄的工作譜段，如手機成像常用的450
?
650nm，此IR
?
CUT截止膜并不會改變光線的聚焦位置等特性。
[0016]作為本專利技術(shù)的優(yōu)選，所多光譜成像光電轉(zhuǎn)換模塊包括：光譜調(diào)制層和光電轉(zhuǎn)換基底，所述光譜調(diào)制層用于將入射光的光譜進行區(qū)分，實現(xiàn)光本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種芯片級多光譜相機系統(tǒng)，其特征在于，包括：超透鏡成像光學(xué)模塊、多光譜成像光電轉(zhuǎn)換模塊、光譜圖像處理模塊、電路模塊；其中，所述超透鏡成像光學(xué)模塊置于所述多光譜成像光電轉(zhuǎn)換模塊前，所述超透鏡成像光學(xué)模塊用于通過超透鏡組間的相對位置改變焦距，將光線匯聚于所述多光譜成像光電轉(zhuǎn)換模塊上，完成成像；其中，所述多光譜成像光電轉(zhuǎn)換模塊用于將物體圖像的光信號轉(zhuǎn)變成不同譜段的圖像數(shù)字信號；其中，所述光譜圖像處理模塊用于處理原始調(diào)制光譜數(shù)據(jù)，可實時對獲取到的原始數(shù)據(jù)進行處理，最終得到相應(yīng)灰度圖、彩色圖和多光譜圖像，并將該算法固化在所述電路模塊4中；其中，所述電路模塊包括：計算單元、存儲單元、接口單元；所述計算單元用于承載光譜圖像處理模塊中算法的功能，用以進行光譜圖像解調(diào)的相關(guān)計算，其中存儲單元用于保存數(shù)據(jù)庫以及采集到的光譜圖像數(shù)據(jù)，其中接口單元是采用串行通信方式的接口。2.根據(jù)權(quán)利要求1所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所述超透鏡成像光學(xué)模塊包括：至少一片超透鏡、IR
?
CUT截止濾波器；所述超透鏡用于實現(xiàn)光場調(diào)制功能，所述超透鏡包括：由在超透鏡玻璃襯底表面上生長具有對入射光進行相位調(diào)制功能的微納結(jié)構(gòu)；所述IR
?
CUT截止濾波器用于根據(jù)不同場景的使用需求，透過工作譜段，濾除其他干擾光線，提高成像質(zhì)量。3.根據(jù)權(quán)利要求1所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所述超透鏡玻璃襯底的材料選用入射波段具有高透過率的光學(xué)玻璃或石英等作為基底，所述微納結(jié)構(gòu)為二維亞波長納米柱陣列結(jié)構(gòu)。4.根據(jù)權(quán)利要求1所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所述IR
?
CUT截止濾波器位于超透鏡成像光學(xué)模塊中超透鏡后。5.根據(jù)權(quán)利要求1所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所多光譜成像光電轉(zhuǎn)換模塊包括：光譜調(diào)制層和光電轉(zhuǎn)換基底，所述光譜調(diào)制層用于將入射光的光譜進行區(qū)分，實現(xiàn)光譜分光，所述光電轉(zhuǎn)換基底用于將透過光譜調(diào)制膜層的光信號轉(zhuǎn)換為電信號，經(jīng)過放大及模數(shù)轉(zhuǎn)換、編碼，輸出原始調(diào)制光譜數(shù)據(jù)。6.根據(jù)權(quán)利要求1所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所述光譜圖像處理模塊包括：光譜數(shù)據(jù)預(yù)處理單元和圖像光譜轉(zhuǎn)換單元，所述光譜數(shù)據(jù)預(yù)處理單元用于處理前述的原始調(diào)制光譜數(shù)據(jù)，可實時對獲取到的原始數(shù)據(jù)進行處理，所述圖像光譜轉(zhuǎn)換單元用于將處理后的數(shù)字信號解調(diào)為灰度圖、彩色圖、多光譜圖像，供用戶使用。7.根據(jù)權(quán)利要求6所述的一種芯片級多光譜相機系統(tǒng)，其特征在于，所述光譜數(shù)據(jù)預(yù)處理單元將原始圖像進行去背景、去噪點、去噪聲操作，對光譜圖像進行去背景、去噪點以及去噪聲處理，可根據(jù)探測器的噪聲特性，將數(shù)字電信號中的背景噪聲消除以及分析上述數(shù)字電信號中的噪點信號并將其濾除，同時采用插...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：蘇醒，李霜，蔡紅星，李棟梁，王朔，端木彥旭，
申請(專利權(quán))人：吉林求是光譜數(shù)據(jù)科技有限公司，
類型：發(fā)明
國別省市：