一種用光場相機一次成像直接獲取深度圖的方法技術

一種利用光場相機一次成像直接獲取深度圖的方法，包括步驟：1)在傳統相機內部成像光路中嵌入微透鏡陣列構成光場相機；2)對微透鏡陣列與圖像傳感器的相對位置進行標定；3)利用光場相機采集目標景物的原始數據，提取微透鏡陣列中每個微透鏡下的子圖像，并計算其灰度圖；4)計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標模板和毗連模板，使用SAD算法計算目標模板與毗連模板的相似度，獲得最小SAD值；5)步驟4)獲得的對應于每個微透鏡下子圖像的最小SAD值，構成尺寸為微透鏡陣列中微透鏡個數的數值矩陣，對該矩陣中的元素進行歸一化取整即得深度圖。本發明專利技術解決了現有深度圖獲取技術中存在的系統過于復雜以及計算復雜度高的問題，獲取圖像相似度高，獲得深度圖更精確。

【技術實現步驟摘要】
一種用光場相機一次成像直接獲取深度圖的方法
本專利技術涉及計算機視覺領域，尤其是立體視覺領域，特別涉及一種用光場相機一次成像直接獲取深度圖的方法。技術背景隨著信息科學與計算機技術的發展，三維信息獲取技術已成為工業檢測，生物醫學，虛擬現實等領域的關鍵技術。在上述領域中，人們對三維信息質量的要求也越來越高。深度信息則是“第三維”的體現，如何更為快速獲取更高精度的深度圖，一直以來是研究與開發中的熱點方向。目前深度信息獲得的方式主要有兩大形式：主動式和被動式。主動式主要向目標發出激光、電磁波、超聲波等能夠檢測回波的能量束，利用物理原理和一定的數學方法計算出距離。常用方法有激光雷達深度成像、坐標測量機方法、莫爾條紋法、結構光法等。主動式通過對能量束發射裝置的控制可以獲取更多信息，但主動式設備造價高，應用范圍有限，而且主動式深度信息獲取方法對已獲取的圖像并不適用。被動式主要是相對采用幾何信息計算深度圖，又稱計算機立體視覺。立體視覺按所需的圖像數目可分為以下三類：a).利用一幅圖像的圖像理解方法，此種方法需要復雜的數學建模與學習過程，效率較低，并且應用場景受限。b).利用在兩個不同的觀察點獲得的同一景物的兩幅圖像恢復物體三維信息的雙目立體視覺，此種方法由于所用信息不夠豐富，獲取深度圖精度往往難以滿足需求。c).利用多個觀察點獲得多幅圖像的多目立體視覺，相較于雙目立體視覺，此方法獲取深度圖精度更高，相較于單幅圖像的學習方法，所用時間顯著縮短，但同時構建多目系統的過高的復雜度也限制了這種方法的應用。基于全光函數的思想，人們設計出可以捕獲包含入射光強度和角度信息的4D光場的光場相機。光場相機的出現提供了獲取深度圖的新思路。使用光場相機獲取深度圖能獲得多目立體視頻的精度與效率的效果，構架系統的復雜度也大大降低，并且由于設備可便攜性，應用途徑也更為廣闊。此外由于光場相機獲取數據的關聯性，效率能夠進一步提高，達到實時計算出深度圖。本專利技術使用基于微透鏡陣列的光場相機，利用其捕獲的光場中重建不同視角的場景圖片，根據獲得圖片關聯度大的特性，僅通過一次成像就能夠獲取深度圖的快速方法。
技術實現思路
為解決現有深度圖獲取技術存在的系統過于復雜以及計算復雜度高的問題，本專利技術提供一種用光場相機一次成像獲取深度圖的方法，其用具有微透鏡陣列的光場相機采集光場信息，一次成像就能夠獲取深度圖。本專利技術利用光場相機一次成像直接獲取深度圖的方法，包括如下步驟：1).在傳統相機內部成像光路中嵌入微透鏡陣列構成光場相機，微透鏡陣列位于傳統相機的主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的焦距；2).對微透鏡陣列與圖像傳感器的相對位置進行標定；3).使用微透鏡陣列采集目標景物的原始數據，提取微透鏡陣列中每個微透鏡下的子圖像，并計算其灰度圖；4).計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標透鏡的目標模板和毗連透鏡的毗連模板，使用SAD(sum-of-absolute-difference)算法計算目標模板與毗連模板的相似度，獲得一個最小SAD值；5).步驟4)獲得的對應于每個微透鏡下子圖像的最小SAD值，構成尺寸為微透鏡陣列中微透鏡個數的數值矩陣，對該矩陣中的元素進行歸一化，在[0,255]區間取整即得深度圖。其中，所述微透鏡陣列與主透鏡平行，并滿足光學參數的匹配。優選實施例中所述微透鏡陣列由六邊形或正方形排布的若干微透鏡組成，該微透鏡為柱狀或球狀。所述微透鏡陣列中每個微透鏡下能夠覆蓋10×10個到30×30個圖像傳感器單元。所述步驟2)對所述微透鏡陣列與圖像傳感器的相對位置標定方法為：a).手工標定所述微透鏡陣列左上角、右上角以及左下角三個微透鏡中心對應所述圖像傳感器平面坐標分別為(xleftUp,yleftUp)、(xrightUp,yrightUp)及(xleftBottom,yleftBottom)；b).規定所述微透鏡陣列中微透鏡將沿直線發生偏移，則所述微透鏡陣列中序號(i,j)的微透鏡的中心坐標(x,y)為：其中，R為每個微透鏡下所覆蓋正方形區域一個方向上所含像素的個數；i與j分別為該微透鏡位于所述陣列中的行列序號。所述步驟4)中，在所述微透鏡陣列中根據微透鏡所處的位置來選擇目標透鏡和其周圍3個、5個或8個毗連透鏡。當選擇非位于所述微透鏡陣列的邊界上的微透鏡作為目標透鏡時，相應選擇其上方、右上、右側、右下、下方、左下、左側以及左上共8個微透鏡為此目標透鏡的毗連透鏡。當選擇位于所述微透鏡陣列的左上角、右上角、右下角、左下角的微透鏡作為目標透鏡時，相應選擇其毗連的3個微透鏡為此目標透鏡的毗連透鏡。當選擇所述微透鏡陣列中以下位置的微透鏡作為目標透鏡時，相應選擇其毗連的5個微透鏡為此目標透鏡的毗連透鏡；所述的微透鏡是位于所述微透鏡陣列的第一行并且并非位于左上角或右上角的微透鏡，位于所述透鏡陣列的最后一列并且并非位于右上角或右下角的微透鏡，位于所述透鏡陣列的最后一行并且并非位于右下角或左下角的微透鏡，以及，位于所述透鏡陣列的第一列并且并非位于左下角或左上角的微透鏡。實現本專利技術上述方法的一種光場相機，包括傳統相機和微透鏡陣列，微透鏡陣列設置于傳統相機的主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的焦距；其中，所述微透鏡陣列是用若干微透鏡排布成的六邊形或正方形板狀陣列，所述微透鏡為柱狀或球狀；所述微透鏡陣列與主透鏡平行，且兩者的F值匹配；所述微透鏡陣列中每個微透鏡下覆蓋10×10個到30×30個圖像傳感器單元。本專利技術解決了現有深度圖獲取技術中存在的系統過于復雜以及計算復雜度高的問題。其利用光場相機捕獲的光場數據重建不同視角的場景圖片，由于獲得圖片關聯度大，相似度高，僅通過一次成像就能夠快速獲取精確的深度圖。本專利技術光場相機相比于現有硬件系統成本大為降低，光場相機便攜性強，應用領域廣泛。附圖說明圖1為本專利技術總體流程圖；圖2為光場相機原理示意圖；圖3為光場相機采集的原始數據圖；圖4為計算相似度原理示意圖。具體實施方式為將本專利技術的目的、技術實現以及優點闡釋的更加清楚直接，結合附圖以及實施實例對本專利技術進一步詳細的說明。值得指出，此處所描述的實施實例僅用于解釋本專利技術，并不用于限定本專利技術。參照圖1、圖2，本專利技術用光場相機一次成像直接獲取深度圖的方法主要包括以下步驟：1.如圖2所示，將微透鏡陣列2嵌入傳統相機的成像光路中構成光場相機，需滿足微透鏡陣列2的F值與主透鏡1相匹配，微透鏡陣列2位于相機主透鏡1以及圖像傳感器3平面之間，且微透鏡聚焦于主透鏡的首要平面(principalplan),微透鏡陣列于圖像傳感器平面的距離為微透鏡的焦距。其中，微透鏡陣列2中含有380×380個(或更多)微透鏡，這些微透鏡排布成六邊形或正方形的板狀陣列，微透鏡選擇柱狀微透鏡或球狀微透鏡。2.對微透鏡陣列與圖像傳感器單元的相對位置進行標定，標定方法如下：a)手工標定微透鏡陣列2左上角，右上角，以及左下角三個微透鏡中心對應相機傳感器平面坐標分別為(xleftUp,yleftUp),(xrightUp,yrightUp),(xleftBottom,yleftBottom本文檔來自技高網...

【技術保護點】
一種用光場相機一次成像直接獲取深度圖的方法，其特征是包括如下步驟：1).在傳統相機內部成像光路中嵌入微透鏡陣列構成光場相機，微透鏡陣列位于傳統相機的得主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的焦距；2).對微透鏡陣列與圖像傳感器的相對位置進行標定；3).使用微透鏡陣列采集目標景物的原始數據，提取微透鏡陣列中每個微透鏡下的子圖像，并計算其灰度圖；4).計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標透鏡的目標模板和毗連透鏡的毗連模板，使用SAD(sum?of?absolute?difference)算法計算目標模板與毗連模板的相似度，獲得一個最小SAD值；5).步驟4)獲得的對應于每個微透鏡下子圖像的最小SAD值，構成尺寸為微透鏡陣列中微透鏡個數的數值矩陣，對該矩陣中的元素進行歸一化，在[0,255]區間取整即得深度圖。

【技術特征摘要】
1.一種用光場相機一次成像直接獲取深度圖的方法，其特征是包括如下步驟：1).在傳統相機內部成像光路中嵌入微透鏡陣列構成光場相機，微透鏡陣列位于傳統相機的得主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的焦距；所述微透鏡陣列中每個微透鏡下覆蓋10×10個到30×30個圖像傳感器單元；2).對微透鏡陣列與圖像傳感器的相對位置進行標定；所采用的標定方法為：a).手工標定所述微透鏡陣列左上角、右上角以及左下角三個微透鏡中心對應所述圖像傳感器平面坐標分別為(xleftUp,yleftUp)、(xrightUp,yrightUp)及(xleftBottom,yleftBottom)；b).規定所述微透鏡陣列中微透鏡將沿直線發生偏移，則所述微透鏡陣列中序號(i,j)的微透鏡的中心坐標（x,y）為：其中，為每個微透鏡下所覆蓋正方形區域一個方向上所含像素的個數；i與j分別為所述微透鏡位于所述陣列中的行列序號；3).使用微透鏡陣列一次采集目標景物的原始數據，提取微透鏡陣列中每個微透鏡下的子圖像，并計算其灰度圖；4).計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡作為目標透鏡，并選擇其周圍的3個、5個或8個毗連透鏡，分別建立目標透鏡的目標模板和毗連透鏡的毗連模板，使用SAD算法計算目標模板與毗連模板的相似度，獲得一個最小SAD值；5).步驟4）獲得的對應于每個微透鏡下子圖像的最小SAD值，構成尺寸為微透鏡陣列中微透鏡個數的數值矩陣，對該矩陣中的元素進行歸一化，在[0,255]區間取整即得深度圖。2.如權利要求1所述的方法，其特征是，所述微透鏡陣列與主透鏡平行，并滿足光...

【專利技術屬性】
技術研發人員：王興政，杜遠超，王好謙，張永兵，戴瓊海，
申請(專利權)人：清華大學深圳研究生院，
類型：發明
國別省市：廣東;44