紅外成像系統和操作方法技術方案

本發明專利技術涉及紅外成像系統和操作方法。透鏡單元(120)表現出縱向色差，并在第一焦平面中將被成像場景聚焦成針對紅外范圍的第一圖像，在第二焦平面中將其聚焦成針對可見范圍的第二圖像。光學元件(150)對被賦予第一和第二圖像的調制傳遞函數進行操縱以延伸視場深度。圖像處理單元(200)可以放大第一和第二圖像中的調制傳遞函數對比度。更改焦平面之間的焦點偏移可以得到補償。在針對RGBIR傳感器的傳統途徑中，對于同一場景同時提供傳統圖像和紅外圖像，紅外圖像嚴重離焦；本發明專利技術的途徑提供了以延伸的視場深度進行成像，以校正對于紅外輻射的離焦問題。可以在沒有任何復消色差鏡頭的情況下實現成像系統。

【技術實現步驟摘要】
紅外成像系統和操作方法
本專利技術涉及紅外成像技術的領域。一種實施例涉及成像系統，該系統包括具有縱向色差的、未完全受到色彩校正的透鏡單元，并包括用于進行捕獲后的數字式圖像處理的圖像處理單元。另一實施例涉及對具有紅外成像系統的電子設備進行操作的方法，該系統包括具有縱向色差的、未完全受到色彩校正的透鏡單元。
技術介紹
Jeong-HoLyu等人在"IR/ColorCompositeImageSensorwithVIP(VerticallyIntegratedPhotodiodeStructure)",Proceedingsof2007InternationalImageSensorsWorkshop,Pages267-270,2007中描述了一種具有紅外敏感光電二極管的圖像傳感器，這些光電二極管在襯底中埋在傳統的光電二極管下方。通過這種圖像傳感器，不再需要IR(紅外)截止濾波器。US2007/0145273A1涉及紅外彩色相機，在這些相機中，可見的和非可見的光譜能量選擇性地經過色彩濾波器陣列。非可見的光譜能量的空間分布被映射到經校正的彩色圖像中可見光譜能量的空間分布。F.Guichard等人在"ExtendedDepth-of-FieldusingSharpnessTransportacrossColourChannels",SPIE,ProceedingsofElectronicImaging,2009中涉及到一種以延伸的視場深度(depthoffield)獲得圖像的方法，在該方法中，對于給定的物距，RGB圖像的至少一個色彩平面包含準焦(in-focus)場景信息。OliverCossairt等人在"SpectralFocalSweep:ExtendedDepthofFieldfromChromaticAberrations",IEEEInternationalConferenceonComputationalPhotography(ICCP),March2010中提供了一種光譜焦點掃描相機，該相機對用具有大的縱向色差的透鏡獲得的二進制圖像展開卷積，從而以經擴展的視場深度恢復圖像。Shen.C.H和Chen,HH在"Robustfocusmeasureforlow-contrastimages",InternationalConferenceonConsumerElectronics(ICCE),2006中提出了使用離散余弦變換能量措施來評估焦點和銳度(sharpness)信息。ManuParmar和BrianWandell在"InterleavedImaging:AnImagingSystemDesignInspiredbyRod-ConVision",ProceedingsofSPIE,2009中提出了一種成像架構，該架構由高靈敏度單色像素組來獲得灰度圖像并由低靈敏度三色像素組來獲得彩色圖像。在低光照情況下，輸出圖像的空間信息主要是從灰度圖像導出，而在高靈敏度像素已飽和的適光(photopic)條件下，輸出圖像只由彩色圖像導出。在過渡光(mesopic)條件下，輸出圖像由彩色和灰度圖像這二者導出，其中，通過使用距離函數和相似度函數把相鄰像素值考慮在內，來更新每個像素值。相似度函數提供了既來自各個色彩圖像又來自灰度圖像的信息，其中，灰度信息的權重是由相鄰像素(當前正在評估該像素的距離和相似度)周圍的圖像片中已飽和的像素的一部分來確定的。JosepGarcia等人在"Chromaticaberrationanddepthextraction",Proceedingsof15thInternationalConferenceonPatternRecognition,Pages762-765,2000中描述了一種方法，用于提取由色差造成的深度信息以導出自動聚焦信息。S.Chung等人在"RemovingChromaticAberrationbyDigitalImageProcessing",OpticalEngineering,Vol.49(6),June2010中提出了通過對不表現出色差的那些邊緣的色彩行為進行分析以評估對于色差信號的范圍限制，來消除色差。違反了范圍限制條件的像素值被識別成由色差造成的彩色條紋，并由被允許的值來代替。AnatLevin等人在"Imageanddepthfromaconventionalcamerawithacodedaperture",ACMTransactionsonGraphics–ProceedingsofACMSIGGRAPH2007,Volume26,Issue3,July2007中描述了使用經過編碼的孔徑并利用與孔徑形狀有關的信息來獲得深度信息。
技術實現思路
本專利技術的一個目的是提供一種增強的紅外成像系統，用于對圖像成分中的至少一種(例如對于紅外圖像成分)獲得擴展的視場深度。該目的是通過獨立權利要求的主題來實現的。從屬權利要求中分別限定了進一步的實施例。通過下文結合附圖對實施例進行的說明，可以更加了解本專利技術的細節和優點。各個實施例的特征可以組合，除非它們彼此排斥。附圖說明圖1A是根據本專利技術一種實施例的成像系統的示意性框圖，該系統包括具有縱向色差的、未受到色彩校正的透鏡單元。圖1B示出了用于理解圖1A的成像系統工作原理的調制傳遞函數。圖1C示出了用于理解圖1A的圖像處理單元工作原理的濾波器和調制傳遞函數。圖2A是根據本專利技術一種實施例的成像系統的成像單元的示意性剖視圖。圖2B是根據關于具有僅一個傳感器平面的成像傳感器單元的實施例的成像單元的示意性剖視圖。圖2C是根據一種實施例的彩色濾波器單元的示意性平面圖。圖2D是關于包括相位元件的成像系統的實施例的成像系統的成像單元的示意性剖視圖。圖2E是關于包括雙折射元件的成像系統的實施例的成像系統的成像單元的示意性剖視圖。圖2F是根據本專利技術一種實施例的雙折射元件的示意性俯視圖。圖2G是根據一種實施例(關于包括孔徑元件的成像系統的實施例)的成像單元的示意性剖視圖。圖2H是根據本專利技術一種實施例的孔徑元件的示意性俯視圖。圖3A是根據一種實施例的成像處理單元的示意性框圖，該實施例在每個圖像信號路徑中都提供逆濾波器。圖3B示出的示意圖圖示了圖3A的圖像處理單元的功能。圖4A是根據一種實施例的圖像處理單元的示意性框圖，該實施例提供了對于圖像信號的加權總和信號有效的逆濾波器。圖4B示出的示意圖圖示了圖4A的圖像處理單元的功能。圖5A是根據一種實施例的圖像處理單元的示意性框圖，該實施例在每個圖像信號路徑中提供了逆濾波器，并在成像系統中提供了相位元件。圖5B示出的示意圖圖示了圖5A的圖像處理單元的功能。圖6是根據一種實施例的圖像處理單元的示意性框圖，該實施例在成像系統中提供了孔徑元件。圖7是根據關于對紅外傳感器延伸視場深度的實施例對具有成像系統的電子設備進行操作的方法的簡化流程圖。具體實施方式為了簡化對本文的閱讀，作為約定，我們將把可見和紅外(IR)輻射光譜的任何子范圍稱為“色彩”。尤其是，我們將把IR也稱為一種色彩，盡管這種命名方式從人類視覺的角度來看是不正確的。例如，僅透射IR光譜范圍中的輻射的濾波器也將被稱為“色彩濾波器”。圖1示出本文檔來自技高網...

【技術保護點】
一種成像系統，包括：成像單元(100)，其包括：透鏡單元(120)，其表現出縱向色差，成像傳感器單元(140)，其被配置成從被成像場景生成第一圖像信號和至少一個第二圖像信號，所述第一圖像信號在包含紅外范圍的第一頻率范圍中對所述被成像場景進行成像，所述第二圖像信號在包含可見范圍的第二頻率范圍中對所述被成像場景進行成像，和光學元件(150)，其被配置成對被賦予所述第一圖像信號的第一調制傳遞函數進行操縱，以延伸所述第一圖像信號的視場深度，以及圖像處理單元(200)，其被配置成計算輸出圖像信號，所述輸出圖像信號包含所述紅外范圍和/或所述可見范圍中與所述被成像場景有關的信息。

【技術特征摘要】
2011.05.02 EP 11003573.01.一種成像系統，包括：成像單元(100)，其包括：透鏡單元(120)，其表現出縱向色差，成像傳感器單元(140)，其被配置成從場景生成第一圖像信號和至少一個第二圖像信號，所述第一圖像信號在包含紅外范圍的第一波長范圍中對所述場景進行成像，所述第二圖像信號在包含可見范圍的第二波長范圍中對所述場景進行成像，和光學元件(150)，其被配置成通過將第一調制傳遞函數的值中的至少部分值偏移至更高的值，對被賦予在所述第一波長范圍成像所述場景的所述第一圖像信號的所述第一調制傳遞函數進行操縱，以延伸所述第一圖像信號的視場深度，使得所述第一調制傳遞函數的值直至指定空間頻率極限沒有零值，并且使得被賦予所述至少一個第二圖像信號的至少一個第二調制傳遞函數的值直至所述指定空間頻率極限沒有零值，以及圖像處理單元(200)，其被配置成計算輸出圖像信號，所述輸出圖像信號包含所述紅外范圍和/或所述可見范圍中與所述場景有關的信息。2.根據權利要求1所述的成像系統，其中，所述光學元件(150)被配置成對被賦予所述第一圖像信號的第一調制傳遞函數和/或被賦予所述至少一個第二圖像信號的第二調制傳遞函數進行操縱，使得全部的調制傳遞函數在直至目標頻率極限的頻率范圍內沒有零值。3.根據權利要求1所述的成像系統，其中，所述圖像處理單元(200)被配置成通過逆濾波處理來放大所述第一圖像信號和/或至少一個第二圖像信號的調制傳遞函數。4.根據權利要求1所述的成像系統，其中，所述圖像處理單元(200)包括至少一個逆濾波器單元(205)，所述逆濾波器單元(205)被配置成用濾波器函數對所述第一圖像信號和所述第二圖像信號中的至少一項進行濾波，所述濾波器函數表示對所述成像單元(100)進行描述的點擴散函數的逆。5.根據權利要求4所述的成像系統，其中，所述至少一個逆濾波器單元(205)被配置成施加下述空間濾波器函數：該函數的頻率響應是對所述成像單元(100)的成像特性進行描述的模糊函數的頻率響應的逆。6.根據權利要求1所述的成像系統，其中，所述圖像處理單元(200)包括多于一個逆濾波器單元，每個逆濾波器單元被賦予所述第一圖像信號和第二圖像信號中的一項。7.根據權利要求1所述的成像系統，其中，所述圖像處理單元(200)包括一個逆濾波器單元，所述逆濾波器單元被配置成對于把所述第一圖像信號和第二圖像信號以預定權重進行疊加所獲得的強度信號施壓逆濾波器函數。8.根據權利要求4所述的成像系統，其中，相應的逆濾波器函數是對空間變量調制傳遞函數進行補償的空間變量逆濾波器函數。9.根據權利要求1所述的成像系統，其中，所述光學元件(150)在所述成像單元(100)的光路中被布置在所述透鏡單元(120)的光瞳平面中，所述光學元件(150)被配置成對所述透鏡單元(120)的點擴散函數的深度變動進行補償，以在所述第一波長范圍和第二波長范圍中對于所述成像單元(100)實現深度不變的點擴散譜。10.根據權利要求9所述的成像系統，其中，所述光學元件(150)是相位元件(152)或包括相位元件。11.根據權利要求9所述的成像系統，其中，所述光學元件(150)是雙折射元件(153)或包括雙折射元件。12.根據權利要求9所述的成像系統，其中，所述光學元件(150)是孔徑元件(154)或包括孔徑元件。13.根據權利要求1所述的成像系統，其中，所述光學元件(150)在所述成像單元(100)的光路中被布置在所述透鏡單元(120)的光瞳平面中，所述光學元件(150)還被配置成使得被賦予所述第一圖像信號的第一調制傳遞函數和/或被賦予所述至少一個第二圖像信號的第二調制傳遞函數在直至目標頻率極限的頻率范圍內沒有零值。14.根據權利要求13所述的成像系統，其中，所述光學元件(150)是相位元件(152)或包括相位元件。15....

【專利技術屬性】
技術研發人員：穆罕默德·阿蒂夫，穆罕默德·西迪奎，克利斯汀·昂魯，馬庫斯·凱姆，
申請(專利權)人：索尼公司，
類型：發明
國別省市：