用于確定相機姿態以及用于識別真實環境的對象的方法技術

本公開涉及用于確定相機姿態以及用于識別真實環境的對象的方法。用于確定相機相對于真實環境的姿態的方法包括以下步驟：通過相機記錄真實環境的至少一個圖像，其中所述圖像包含真實對象的至少一個部分：執行追蹤方法，該追蹤方法在真實對象包含在所述真實環境的所述圖像中時，評價關于與真實對象相關聯的特征和所述真實對象的相應特性之間的對應關系，以便得出關于相機的姿態的結論；確定環境狀況的至少一個參數；以及根據所述至少一個參數來執行所述追蹤方法。該方法還可類似地應用于用于在由相機拍攝的圖像中識別真實環境的對象的方法。

Method for determining camera pose and object for identifying real environment

The present disclosure relates to a method for determining a camera pose and for identifying an object in a real environment. The camera is used to determine the relative to the real environment of the attitude of the method comprises the following steps: at least one image through the camera records the real environment, in which the image contains at least a part of the real object: the implementation of the tracking method, tracking method in the real object contained in the image of the real environment when the relationship between the corresponding characteristic evaluation on the characteristics and real object and the real object, so as to draw conclusions about the camera attitude; at least one parameter to determine the state of the environment; and according to the execution of the at least one parameter tracking method. The method can also be applied similarly to methods for identifying objects in a real environment in an image taken by a camera.

【技術實現步驟摘要】
用于確定相機姿態以及用于識別真實環境的對象的方法本申請是申請號為201080057475.4、申請日為2010年9月16日、專利技術名稱為“用于確定相機姿態以及用于識別真實環境的對象的方法”的專利技術專利申請的分案申請。
本專利技術涉及用于確定相機相對于真實環境的姿態的方法，以及涉及用于在由相機拍攝的圖像中識別真實環境的對象的方法。而且，本專利技術涉及用于提供數據模型的方法，該數據模型意圖用于在用于確定相機相對于真實環境的真實目標的姿態的方法中或在用于識別真實環境的對象的方法中，與由相機拍攝的圖像數據進行比較。
技術介紹
增強現實(AR)是以現實覆蓋虛擬數據并且由此便于數據與現實相關聯的技術。在現有技術中已知有例如移動AR系統的應用。在過去的幾年中，已證實高性能移動設備(例如，所謂的智能手機)適于AR應用。同時，這些設備具有相當大的彩色顯示器、內置相機、良好的處理器以及諸如方位傳感器和GPS的附加傳感器。此外，經由無線電通信網絡，可以估計設備的位置。在過去，存在各種在移動設備上利用AR實施的方案。首先，存在使用特定的光學標記，以確定設備的位置和方位。最近，還存在利用更加現代化設備的方位傳感器系統和GPS的方法([1,4,10,15])。[1]ARWikitude.http://www.mobilizy.com/wikitude.php。[4]在1997年關于可佩戴式計算機的第一國際研討會的論文集中第74-81頁由S.Feiner、B.MacIntyre、T.Hollerer和A.Webster的Atouringmachine：Prototyping3dmobileaugmentedrealitysystemsforexploringtheurbanenvironment。[10]SekaiCamera.http://www.tonchidot.com/product-info.html。[14]2008年第七屆關于混合和增強現實的IEEE/ACM國際研討會，2008年IEEE/ACM國際研討會第187頁-188頁由MarkoHeinrich,BruceH.Thomas,StefanMueller的“ARWeather”，混合和增強現實。[15]layar.com出版商Springer柏林/海德爾于2006年4月在雜志《MachineVisionandApplications》出版的第17卷，第1號，第8頁-第20頁，書號為ISSN0932-8092(印刷)1432-1769(在線)。然而，在這方面應該注意的是由于不安全的傳感器數據，配準(registration)，即覆蓋，的精度值得改進。對此的方法是使用混合追蹤，該混合追蹤通過光學方法，例如根據GPS、羅盤以及重力傳感器的組合來改善相機的初始姿態。常常使用圖像數據的所謂“直方圖均衡化”，以便減少對于變化的光線條件的易感性。在現有技術中，已知用于確定相機相對于真實環境的姿態的光學追蹤系統的初始化和在由相機拍攝的圖像中真實對象的對象識別。然而，系統的可靠性有時會隨著變化的環境條件而發生極大的改變。在這方面相機姿態是空間中的相機的位置和方位?？梢詫F實提供為任意形式的數據模型，例如作為描述現實或部分現實的幾何特性的3D模型。公開文獻US2003/0025714描述了通過增強現實來可視化氣象數據的系統。公開文獻US2005/0231419A1描述了通過氣象獨立傳感器來監視空域，并通過AR顯示空域信息的AR系統。
技術實現思路
本專利技術的目的在于在用于確定相機相對于真實環境的姿態的方法中以及用于在由相機拍攝的圖像中識別真實環境的對象的方法中，提高對于變化的環境條件的魯棒性。根據第一方面，本專利技術涉及一種用于確定相機相對于真實環境的姿態的方法，所述方法包括以下步驟：通過相機拍攝真實環境的至少一個圖像，所述圖像包含真實對象的至少部分；確定環境狀況的至少一個第一參數；執行追蹤方法，所述追蹤方法在所述真實對象包含在所述真實環境的所述圖像中時，評價關于所述真實對象相關聯的特征和所述真實對象的相應特征之間的對應關系的信息，以獲得關于所述相機的所述姿態的結論；根據所述至少一個第一參數來執行所述追蹤方法；其中，在數據模型中識別并檢索來自所述圖像的特征，用于提供所述對應關系；其中，使用特征描述符，用于所述檢索；在所述數據模型內存儲每數據模型一第二參數向量或每特征一第二參數向量，其中所述第二參數向量的至少部分是至少一環境狀況；以及從若干數據模型中，選擇具有所述環境狀況的所述至少一個第一參數和所述至少一環境狀況的所述第二參數向量的至少部分之間的最小距離的數據模型。根據本專利技術的另一方面，本專利技術涉及一種用于在由相機拍攝的圖像中識別真實環境的對象的方法，所述方法包括以下步驟：通過相機拍攝真實環境的至少一個圖像，所述圖像包含真實對象的至少部分；-執行圖像識別方法，所述圖像識別方法提供關于所述圖像中的所述至少一個真實對象的識別的信息；確定環境狀況的至少一個第一參數；根據所述至少一個第一參數執行所述圖像識別方法，其中，在數據模型中識別并檢索來自所述圖像的特征，用于提供對應關系；其中，使用特征描述符，用于所述檢索；在所述數據模型內存儲每數據模型一第二參數向量或每特征一第二參數向量，其中所述第二參數向量的至少部分是至少一環境狀況；以及從若干數據模型中，選擇具有所述環境狀況的所述至少一個第一參數和所述至少一環境狀況的所述第二參數向量的至少部分之間的最小距離的數據模型。具體來說，可以以這一方式識別當前環境狀況，并且動態地配置該系統。通過匹配配置的方式，提高了相對于變化的環境條件的魯棒性。根據本專利技術的實施例，所述環境狀況的至少一個參數的確定使用以下信息項目中的至少一個或多個：某日的時間；某年的時間；天氣，尤其是雨、云、太陽(太陽輻射)以及霧；月亮的位置；雪情；樹木的枝葉；海拔高度；公共事件，特別是強烈運動；交通狀況；位置；世界坐標系中的方位；圖像直方圖；溫度；維護步驟。環境狀況的至少一個參數尤其可以對于這些條件或狀況中的一個或多個是特有的。如在上文中以示例性方式指出地，各種環境條件對于前述的用于對象識別和姿態確定的方法，常常具有很大的影響。在識別這些條件后，從而能夠做出反應。例如，一個反應可以是針對太陽的大多數位置，準備環境的數據模型，并且對于雨天和晴天也如此做。當期望在特定的位置執行識別或初始化時，可以例如通過某天/某年的時間以及在線天氣信息的查詢的方式，加載和利用合適的數據模型(其中太陽輻射的向量與所計算的太陽輻射的向量之間的角度盡可能小)。通常而言，由此存在描述至少部分環境條件的一個或多個測量、仿真或確定的參數?？梢苑謩e從配置用于對象識別和姿態確定的識別或初始化系統的一個或多個參數中確定或導出。在本專利技術的實施例中，追蹤方法使用至少一個根據至少一個參數進行初始化的光學追蹤方法。例如，通過具有一個、兩個、三個、四個、五個或六個自由度的追蹤方法，來確定相機的姿態。在本專利技術的實施例中，追蹤方法可以使用傳感器類型不同的數個追蹤傳感器。例如，追蹤方法包括根據至少一個參數對至少一個追蹤傳感器進行加權。在本專利技術的實施例中，追蹤方法也可以包括根據至少一個參數進行方法部分步驟的優先化(prioritization)。然而，在使本文檔來自技高網...

【技術保護點】
一種非暫態計算機可讀介質，所述非暫態計算機可讀介質包括計算機可讀代碼，當所述計算機可讀代碼由一個或多個處理器執行時，使得所述一個或多個處理器：獲得由相機捕獲的圖像，所述圖像包括真實環境，所述真實環境包含具有特征的真實對象的至少一部分；確定與所述真實環境的一個或多個環境參數對應的一個或多個參數值；以及評價所述真實對象的成像特征和所述真實對象的建模特征之間的一個或多個對應關系，其中所述評價受所述一個或多個參數值影響。

【技術特征摘要】
2009.10.19 DE 102009049849.41.一種非暫態計算機可讀介質，所述非暫態計算機可讀介質包括計算機可讀代碼，當所述計算機可讀代碼由一個或多個處理器執行時，使得所述一個或多個處理器：獲得由相機捕獲的圖像，所述圖像包括真實環境，所述真實環境包含具有特征的真實對象的至少一部分；確定與所述真實環境的一個或多個環境參數對應的一個或多個參數值；以及評價所述真實對象的成像特征和所述真實對象的建模特征之間的一個或多個對應關系，其中所述評價受所述一個或多個參數值影響。2.如權利要求1所述的非暫態計算機可讀介質，還包括計算機代碼以使得所述一個或多個處理器基于所述評價來確定所述相機的姿態。3.如權利要求2所述的非暫態計算機可讀介質，還包括計算機代碼，該計算機代碼使得所述一個或多個處理器基于所述一個或多個參數值中的至少一個參數值以及與所述一個或多個環境參數中的至少一個環境參數中的每個環境參數對應的理想值來計算所確定的姿態的不確定性。4.如權利要求1所述的非暫態計算機可讀介質，其中使得所述一個或多個處理器評價對應關系的計算機代碼還包括使得所述一個或多個處理器執行以下操作的計算機代碼：捕獲來自多個傳感器的傳感器數據，其中所述傳感器數據基于所述一個或多個參數值被加權。5.如權利要求1所述的非暫態計算機可讀介質，其中使得所述一個或多個處理器評價對應關系的計算機代碼還包括使得所述一個或多個處理器執行以下操作的計算機代碼：捕獲來自多個傳感器的傳感器數據，其中所述多個傳感器基于所述一個或多個參數值在所述評價期間被優先化。6.如權利要求1所述的非暫態計算機可讀介質，其中所述一個或多個參數值根據來自所述相機本地的一個或多個傳感器的傳感器數據確定。7.如權利要求1所述的非暫態計算機可讀介質，其中所述一個或多個參數值基于所述相機的背景從遠程源獲得。8.一種系統，包括：相機；一個或多個處理器；以及存儲器，其被耦接到所述一個或多個處理器并且包括計算機代碼，當所述計算機代碼被執行時，使得所述一個或多個處理器：獲得由所述相機捕獲的圖像，所述圖像包括真實環境，所述真實環境包含具有特征的真實對象的至少一部分；確定與所述真實環境的一個或多個環境參數對應的一個或多個參數值；以及評價所述真實對象的成像特征和所述真實對象的建模特征之間的一個或多個對應關系，其中所述評價受所述一個或多個參數值影響。9....

【專利技術屬性】
技術研發人員：P·邁耶，
申請(專利權)人：METAIO有限公司，
類型：發明
國別省市：德國,DE