基于內容濾波的結構光三維(3D)深度圖制造技術

本發明專利技術揭示基于內容濾波的結構光三維3D深度圖。在一特定實施例中，方法包含在接收器裝置處接收對應于結構光圖像的圖像數據。所述方法進一步包含處理所述圖像數據以基于所投射經譯碼光的圖案來解碼深度信息。所述深度信息對應于深度圖。所述方法還包含對所述圖像數據執行一或多個濾波操作。所述一或多個濾波操作的輸出包含經濾波圖像數據。所述方法進一步包含執行所述深度信息與所述經濾波圖像數據的比較，及基于所述比較修改所述深度信息以產生經修改深度圖。

【技術實現步驟摘要】
【國外來華專利技術】相關申請案的交叉參考本申請案主張共同所有的2014年6月19日申請的美國臨時專利申請案第62/014,652號和2015年6月18日申請的美國非臨時專利申請案第14/743,980號的優先權，上述申請案的內容明確地以全文引入的方式并入本文中。
本專利技術大體上涉及基于內容濾波的結構光三維(3D)深度圖。
技術介紹
技術的進步已產生更小的設備和更大功率的計算裝置。舉例來說，當前存在多種便攜式個人計算裝置，包含無線計算裝置，例如便攜式無線電話、個人數字助理(PDA)和尋呼裝置，其體積小，重量輕且易于由用戶攜帶。更確切地說，例如蜂窩式電話和因特網協議(IP)電話等便攜式無線電話可經由無線網絡傳送語音和數據包。此外，許多此類無線電話包含并入其中的其它類型的裝置。舉例來說，無線電話還可包含數字靜態相機、數碼相機、數字記錄器，和音頻文件播放器。而且，此類無線電話可處理可執行指令，所述可執行指令包含軟件應用程序，例如可用于接入因特網的網頁瀏覽器應用程序。因而，這些無線電話可包含相當大的計算能力。例如無線電話的無線設備可經配置以產生三維(3D)深度圖。舉例來說，無線裝置可包含用于深度估計的結構光系統或可與其相關聯，所述結構光系統經配置以將照射圖案(例如，具有垂直條紋的掩碼)投射在包括三維(3D)對象的場景上。場景上或3D對象上的照射圖案通常編碼所述場景或所述3D對象的深度信息。結構光系統還可經配置以捕捉經照射場景的圖像。基于在場景的圖像中捕捉的圖案，可產生指示場景中的不同深度的深度圖。然而，深度圖可包含基于錯誤肯定(例如，檢測及解碼其中不存在對象的有效深度數據)、錯誤否定(例如，基于圖像的陰影區域的缺失深度值，其中在圖像中并未檢測到所投射經譯碼光的圖案，和/或解碼錯誤(例如，不正確地解碼從人體反射回來的所投射的光的圖案和/或圖像的處理期間產生的解碼錯誤)的一或多個錯誤深度值。
技術實現思路
在一說明性實例中，方法包含在接收器裝置處接收對應于結構光圖像的圖像數據。所述方法進一步包含處理所述圖像數據以基于所投射經譯碼光的圖案來解碼深度信息。所述深度信息對應于深度圖。所述方法還包含對所述圖像數據執行一或多個濾波操作。所述一或多個濾波操作的輸出包含經濾波圖像數據。所述方法進一步包含執行深度信息與經濾波圖像數據之間的比較，及基于所述比較修改深度信息以產生經修改深度圖。在另一說明性實例中，裝置包含處理器，所述處理器經配置以處理對應于結構光圖像的圖像數據，從而基于所投射經譯碼光的圖案解碼深度信息。處理器經進一步配置以對圖像數據執行濾波操作，從而產生經濾波圖像數據。處理器經配置以基于深度信息與經濾波圖像數據之間的比較修改深度信息。裝置還包含經配置以存儲經修改深度信息的存儲器。在另一說明性實例中，設備包含用于基于對應于結構光圖像的圖像數據及基于所投射經譯碼光的圖案解碼深度信息的裝置。設備進一步包含用于對圖像數據執行一或多個濾波操作以產生經濾波圖像數據的裝置。設備進一步包含用于基于深度信息與經濾波圖像數據之間的比較修改深度信息的裝置。在另一說明性實例中，非暫時性計算機可讀媒體存儲指令，所述指令可由處理器執行以使處理器執行包括處理對應于結構光圖像的圖像數據的操作，以基于所投射經譯碼光的圖案解碼深度信息。指令進一步使處理器執行包括對圖像數據執行一或多個濾波操作的操作以產生經濾波圖像數據。指令進一步使處理器執行包括基于深度信息與經濾波圖像數據之間的比較修改深度信息的操作。本專利技術的其它方面、優點和特征將在審閱整個申請案之后變得顯而易見，所述申請案包含以下部分：附圖說明、具體實施方式和權利要求書。附圖說明圖1為結構光系統的接收器裝置的框圖；圖2為用于說明由圖1的接收器裝置執行的處理級的圖式；圖3為說明性結構光系統的框圖；圖4為基于對象或場景說明感應深度的圖式；圖5為經配置以產生深度圖的說明性結構光系統的框圖；圖6為修改深度信息的方法的第一說明性實例的流程圖；圖7為修改深度信息的方法的第二說明性實例的流程圖；及圖8為用于處理圖像數據以使用圖1的系統檢測和/或追蹤包含于圖像中的線段的裝置的框圖。具體實施方式下文參考圖式描述本專利技術的特定方面。在描述中，貫穿圖式由常用參考數字指示常用特征元件。例如移動裝置的裝置可經配置以產生基于內容濾波的結構光三維(3D)深度圖。裝置可基于所投射經譯碼光的圖案接收包含像素強度值的圖像，例如結構光圖像。裝置可處理圖像以基于圖案解碼深度信息且產生深度圖(例如，深度值)。裝置還可處理圖像以產生經濾波圖像數據，例如分段圖。舉例來說，可通過對圖像進行濾波，例如通過應用模糊濾波、低通濾波器、帶通濾波器和/或總變差濾波器來產生經濾波圖像數據。為了說明，一或多個濾波操作可應用于圖像以減少或消除包含于圖像中的所投射經譯碼光的圖案的存在。深度圖可與經濾波圖像數據比較以識別與深度圖相關聯的缺失和/或不正確深度值。可基于經濾波圖像數據與深度圖之間的比較修改深度圖(例如，深度值)以產生用于缺失深度值的深度值和/或校正不正確深度值。由所揭示的方面中的至少一者提供的一個特定優勢為通過產生經濾波圖像數據及比較經濾波圖像數據與深度信息，可識別及校正與深度信息相關聯的缺失和/或不正確深度值。舉例來說，缺失和/或不正確深度值可基于錯誤肯定、錯誤否定和/或解碼錯誤。通過校正缺失和/或不正確深度值，可修改(例如，校正)深度信息。校正缺失和/或不正確深度值可使得能夠通過其它應用程序(例如對象檢測應用程序)改良經修改深度信息(例如，對應于深度圖)的處理。參考圖1，展示結構光系統100的接收器裝置102的一說明性實例。結構光系統100可包含發射器裝置(未展示)和接收器裝置102。結構光系統100可包括和/或嵌入于一或多個裝置(例如電子裝置)中。在一特定實施方案中，電子裝置(例如，接收器裝置102)可為移動裝置，所述移動裝置包含經配置以捕捉圖像的圖像傳感器(例如相機)。舉例來說，電子裝置可捕捉圖像且可產生對應圖像數據110。接收器裝置102可經配置以產生或接收圖像數據110。圖像數據110可對應于包含反射代碼掩碼的圖像。舉例來說，發射器裝置(未展示)可將包含一或多個碼字的代碼掩碼投射到對象或場景上。每一碼字可具有結構光的對應圖案且定位在代碼掩碼內的已知位置處。從對象或場景反射回來的代碼掩碼可由接收器傳感器(例如相機)捕捉為圖像。代碼掩碼(例如，一或多個碼字)在反射代碼掩碼中相比于所投射代碼掩碼的移位可“編碼”(例如，用于確定)與反射所投射代碼掩碼的對象或場景相關聯的深度信息和/或形狀信息，如本文中進一步所描述。圖像可包含對應于多個像素，其中每一像素具有對應像素強度值。像素強度值可包含于圖像數據110中且提供至接收器裝置102。在一些實施方案中，接收器裝置102可包含捕捉圖像及基于圖像產生圖像數據110的接收器傳感器。接收器裝置102和/或接收器傳感器可感知(例如，“知道”)由發射器裝置投射的代碼掩碼，及(因此)包含于所投射代碼掩碼中的一或多個碼字的位置。接收器裝置102可包含深度圖產生器120、濾波器130、深度修改器140和存儲器160。由接收器裝置102接收的圖像數據110可提供至深度圖產生器120和濾波器130。圖像數據110本文檔來自技高網...

【技術保護點】
一種方法，其包括：在接收器裝置處接收圖像數據，其中所述圖像數據對應于結構光圖像；處理所述圖像數據以基于所投射經譯碼光的圖案解碼深度信息，其中所述深度信息對應于深度圖；對所述圖像數據執行一或多個濾波操作，其中所述一或多個濾波操作的輸出包含經濾波圖像數據；執行所述深度信息與所述經濾波圖像數據之間的比較；及基于所述比較修改所述深度信息以產生經修改深度圖。

【技術特征摘要】
【國外來華專利技術】2014.06.19 US 62/014,652;2015.06.18 US 14/743,9801.一種方法，其包括：在接收器裝置處接收圖像數據，其中所述圖像數據對應于結構光圖像；處理所述圖像數據以基于所投射經譯碼光的圖案解碼深度信息，其中所述深度信息對應于深度圖；對所述圖像數據執行一或多個濾波操作，其中所述一或多個濾波操作的輸出包含經濾波圖像數據；執行所述深度信息與所述經濾波圖像數據之間的比較；及基于所述比較修改所述深度信息以產生經修改深度圖。2.根據權利要求1所述的方法，其中所述一或多個濾波操作修改所述圖像數據以識別所述結構光圖像內具有類似反射性的區域。3.根據權利要求1所述的方法，其中在不確定具有不同反射性的兩個鄰近區域之間的邊緣的情況下產生所述經濾波圖像數據。4.根據權利要求1所述的方法，其中所述經濾波圖像數據對應于經濾波結構光圖像。5.根據權利要求4所述的方法，其中所述經濾波結構光圖像為分段地圖圖像。6.根據權利要求1所述的方法，其進一步包括基于所述比較識別所述深度信息中的不正確深度值。7.根據權利要求1所述的方法，其中處理所述圖像數據以解碼所述深度信息包括：基于所述圖像數據識別碼字；及確定所述碼字從所述碼字在所投射代碼掩碼中的位置到所述碼字在所述結構光圖像中的位置的位移，其中所述結構光圖像對應于所述所投射代碼掩碼的反射；及基于所述位移產生深度數據。8.根據權利要求1所述的方法，其中執行所述一或多個濾波操作包括應用模糊濾波器、總變差濾波器、低通濾波器或其組合以對所述圖像數據進行濾波，從而產生經濾波圖像數據。9.根據權利要求1所述的方法，其中所述比較對應于所述深度信息與所述經濾波圖像數據之間的逐像素比較。10.根據權利要求9所述的方法，其進一步包括基于所述比較識別包含于所述深度信息中的不正確深度值，其中修改包含校正包含所述深度信息于中的所述不正確深度值。11.根據權利要求9所述的方法，其進一步包括基于所述比較識別與所述深度信息相關聯的缺失深度值，其中修改包含填充待包含所述深度信息于中的所述缺失深度值。12.根據權利要求1所述的方法，其進一步包括：識別所述深度圖的特定像素位置，其中所述特定像素位置對應于包含于所述深度信息中的不正確深度數據；及基于所述經濾波圖像數據確定所述經濾波圖像數據的對應于所述特定像素位置的特定經濾波數據值，其中修改所述深度信息包含基于所述特定經濾波數據值修改所述不正確深度數據。13.根據權利要求12所述的方法，其進一步包括：基于所述特定像素位置選擇與所述深度圖相關聯的區域，其中所述區域與包含所述特定像素位置的多個像素位置相關聯；及識別所述多個像素位置中的一或多個像素位置的集合，其中與所述一或多個像素位置的集合相關聯的每一像素對應于所述經濾波圖像數據的類似于所述特定經濾波數據值的經濾波數據值。14.根據權利要求13所述的方法，其進一步包括：基于對應于所述一或多個像素位置的集合的深度數據確定特定深度值；及更新對應于所述特定像素位置的所述不正確深度數據，其中基于所述特定深度值更新所述不正確深度數據。15.一種裝置，其...

【專利技術屬性】
技術研發人員：維卡斯·拉馬錢德蘭，卡林·米特科夫·阿塔納索夫，詹姆斯·威爾遜·納什，
申請(專利權)人：高通股份有限公司，
類型：發明
國別省市：美國;US