用于多用戶擴增現實的在線基準生成和跟蹤的方法、裝置和系統制造方法及圖紙

多用戶擴增現實（AR）系統在沒有先前獲取的公共基準的情況下通過在運行過程中生成基準圖像來操作。基準圖像通過捕捉平面對象的至少兩個圖像并且使用該圖像來確定第一移動平臺相對于平面對象的姿勢（位置和定向）來產生。基于移動平臺的定向，平面對象的圖像（可以是初始圖像或后續捕捉的圖像之一）被變形以產生平面對象的前向視圖的基準圖像。基準圖像可由移動平臺或者由例如服務器來產生。其他移動平臺可通過使用基準圖像來確定它們相對于平面對象的姿勢以執行多用戶擴增現實應用。

【技術實現步驟摘要】
【國外來華專利技術】用于多用戶擴增現實的在線基準生成和跟蹤的方法、裝置和系統對待審的臨時申請的交叉引用本申請根據35USC119要求于2010年9月9日提交且題為“OnlineReferenceGenerationAndTrackingForMulti-UserAugmentedReality(用于多用戶擴增現實的在線基準生成和跟蹤)”的美國臨時申請第61/381,344號的優先權，該臨時申請已轉讓給本申請受讓人并通過援引納入于此。背景擴增現實系統可將虛擬對象插入到現實世界的用戶視圖中。成功的擴增現實系統的一個關鍵要求在于能夠準確估計用戶相對于基準的位置和定向(姿勢)的跟蹤系統。否則，虛擬對象將出現在錯誤的位置或在環境四處浮動。在多用戶擴增現實系統中，虛擬對象需要從每一個用戶唯一的角度來看都出現在環境中的相同位置處。因此，每一個用戶相對于環境的唯一姿勢需要相對于相同的基準來估計。用于多用戶擴增現實系統的常規跟蹤系統需要先前獲取的公共基準。該基準可以是環境的3D模型、置于環境中的人工標記、或環境中的平面表面的前向視圖圖像。因此，這種擴增現實系統只能在已知環境中操作。然而，預先獲得基準并不一定方便或可能。對于環境的先驗知識的依賴性大大地限制了多用戶擴增現實技術的用途。存在不需要對環境的先驗知識的跟蹤技術，諸如在2009年第8屆關于混合和擴增現實的IEEE國際研討會(ISMAR)上在2009年10月19-22日第83-86頁上的GeorgKlein和DavidMurray提出的“ParallelTrackingandMappingonaCameraPhone(相機電話上的并行跟蹤和地圖繪制)”。然而，這些技術只估計一用戶相對于任意基準的姿勢，而無法用于多用戶擴增現實應用。如在2010年第9屆關于混合和擴增現實的IEEE國際研討會(ISMAR)、2010年10月13-16日第57-64頁上W.Lee、Y.Park、V.Lepetit、W.Woo提出的“Point-and-ShootforUbiquitousTaggingonMobilePhones(用于移動電話上普遍存在的標記的對準拍攝)”中所描述的對準拍攝方法估計了多個用戶的姿勢。在對準拍攝的方法中，相機的定向由板載加速計來估計。圖像被變形成前向視圖并且生成“平均補片”集合。每一個平均補片被計算為在視點的有限范圍上補片的平均，并且生成多個范圍的平均補片以覆蓋所有可能的視圖。通過將每一個傳入圖像與平均補片進行比較，可對姿勢進行估計。然而，對準拍攝方法依賴于運動傳感器來生成前向視圖圖像，并且因此要求相機中的附加組件并且遭受由運動傳感器所引起的誤差。另外，對準拍攝方法依賴于多個平均補片。而且，對準拍攝方法僅在水平或垂直平面表面上工作，而這是具有限制性的。從而，需要一種能夠在事先未知的場景中估計多個用戶的姿勢的改進的系統。概述多用戶擴增現實(AR)系統在沒有先前獲取的公共基準的情況下通過在運行過程中生成基準圖像來操作。基準圖像通過捕捉平面對象的至少兩個圖像并且使用該至少兩個圖像來確定第一移動平臺相對于平面對象的姿勢(位置和定向)來產生。平面對象的圖像(可以是初始圖像或后續捕捉的圖像之一)通過使用第一移動平臺的定向來變形以產生平面對象的前向視圖的基準圖像。通過使用由第二移動平臺捕捉的平面對象的圖像以及基準圖像來確定第二移動平臺相對于平面圖像的姿勢。確定第一移動平臺的姿勢和/或將圖像變形以產生基準可以由第一移動平臺或服務器來執行。另外，若期望，基準圖像可被擴展為包括新的圖像，該新的圖像包含平面對象中未被包括在基準圖像中的部分。例如，第二移動平臺可捕捉新的圖像，該新的圖像包括平面對象中未被包括在基準圖像中的不同部分。新的圖像和基準圖像可被合并以生成平面對象的前向視圖的新的基準圖像，并且第二移動平臺相對于平面對象的姿勢可使用由第二移動平臺所捕捉的平面對象的后續圖像以及新的基準圖像來更新。在另一方面，一種裝置包括用于接收要被處理的至少兩個圖像的接口，該至少兩個圖像中的至少一個由第一相機捕捉并且包含平面對象的不同視圖。例如，該接口可以是移動平臺中的第一相機和處理器之間的接口，或者可以是從移動平臺接收圖像的服務器中的外部接口。該裝置還包括數據傳輸接口、連接到用于接收要被處理的至少兩個圖像的接口以及數據傳輸接口的處理器、以及連接到處理器的存儲器。存儲器中保存并且在處理器中運行的軟件致使該處理器分析平面對象的至少兩個圖像并且使用至少兩個捕捉到的圖像來確定第一相機相對于平面對象的姿勢(位置和定向)。該軟件還致使該處理器使用該定向來使平面對象的圖像變形以產生平面對象的前向視圖的基準圖像，并且經由數據傳輸接口將該基準圖像傳輸到具有第二相機的至少一個移動平臺以使用該基準圖像來執行多用戶擴增現實應用。若期望，存儲器中保存且在處理器中運行的軟件還可致使該處理器將基準圖像與新的圖像(該新的圖像包括平面對象中未被包括在基準圖像中的部分)合并以生成平面對象的前向視圖的新的基準圖像，并且經由數據傳輸接口將該新的基準圖像傳輸到至少一個其他移動平臺以使用該新的基準圖像來執行多用戶擴增現實應用。在另一方面，一種移動平臺包括相機、無線收發機、連接到相機和無線收發機的處理器、連接到處理器的存儲器、以及連接到存儲器的顯示器。保存在存儲器中且在處理器中運行的軟件致使該處理器：分析平面對象的至少兩個捕捉到的圖像，并且使用該至少兩個捕捉到的圖像來確定移動平臺相對于平面對象的姿勢(位置和定向)，使用該定向來使平面對象的圖像變形以產生平面對象的前向視圖的基準圖像，將該基準圖像傳輸到至少一個其他移動平臺，并且使用該基準圖像通過至少一個其他移動平臺來執行在顯示器上顯示的多用戶擴增顯示應用。在另一方面，一種系統包括用于捕捉平面對象的至少兩個圖像的裝置以及用于使用該至少兩個圖像來確定第一移動平臺相對于平面對象的姿勢(位置和定向)的裝置。該系統還包括：用于使用第一移動平臺相對于平面對象的定向來使平面對象的圖像變形以產生平面對象的前向視圖的基準圖像的裝置，以及用于使用由第二移動平臺捕捉的平面對象的圖像以及基準圖像來確定第二移動平臺相對于平面對象的姿勢的裝置。若期望，該系統可包括：用于將基準圖像和新的圖像(該新的圖像包括平面對象中未被包括在基準圖像中的部分)合并以生成平面對象的前向視圖的新的基準圖像的裝置。在這樣的系統中，用于確定第二移動平臺的姿勢的裝置通過使用由第二移動平臺捕捉的平面對象的不同圖像以及新的基準圖像來更新第二移動平臺相對于平面對象的姿勢。在又一方面，一種包括存儲在其上的程序代碼的計算機可讀介質，包括：用于分析平面對象的至少兩個圖像以確定捕捉了該至少兩個圖像中的至少一個圖像的相機相對于平面對象的姿勢(位置和定向)的程序代碼，以及用于使用該定向來使平面對象的圖像變形以產生平面對象的前向視圖的基準圖像的程序代碼。該計算機可讀介質還包括：用于傳輸基準圖像的程序代碼，以及用于使用該基準圖像來執行多用戶擴增顯示應用的程序代碼。若期望，該計算機可讀介質還可包括用于合并基準圖像和新的圖像(該新的圖像包括平面對象中未被包括在基準圖像中的部分)以生成平面對象的前向視圖的新的基準圖像的程序代碼，用于傳輸新的基準圖像的程序代碼，以及用于使用新的基準本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2010.09.09 US 61/381,344;2011.04.07 US 13/082,1871.一種用于跟蹤的方法，包括：捕捉平面對象的至少兩個圖像；通過使用所述至少兩個圖像來確定第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢；通過使用所述第一移動平臺相對于所述平面對象的定向來使由所述第一移動平臺捕捉的所述平面對象的圖像變形以產生所述平面對象的前向視圖的基準圖像；以及通過使用由第二移動平臺捕捉的平面對象的第二圖像以及所述基準圖像來確定所述第二移動平臺相對于所述平面圖像的第二姿勢，其中確定所述第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢包括：從所述至少兩個圖像中提取特征；通過使用所述特征來計算所述至少兩個圖像之間的2D-2D單應性h；計算所述特征的3D坐標以定義與所述平面對象的平面相對應的3D平面；通過使用所述特征和所述3D平面來計算所述3D平面和所述至少兩個圖像之一之間的3D-2D單應性H；以及使用所述3D-2D單應性H來確定所述第一姿勢，其中通過使用由所述第二移動平臺捕捉的平面對象的圖像和基準圖像來確定所述第二移動平臺相對于所述平面對象的第二姿勢包括：從所述基準圖像中提取特征；定義3D平面上與從所述基準圖像提取出的所述特征相對應的3D點；在由所述第二移動平臺捕捉的平面對象的圖像中尋找與所述3D點的2D投影相匹配的點；以及通過使用經匹配的3D-2D點對來估計所述第二移動平臺的第二姿勢。2.如權利要求1所述的方法，其特征在于，還包括基于所述第二移動平臺相對于所述平面對象的所述第二姿勢來用所述第二移動平臺來執行擴增現實應用。3.如權利要求1所述的方法，其特征在于，從所述基準圖像提取出的所述特征包括點特征或線特征。4.如權利要求1所述的方法，其特征在于，確定所述第一移動平臺相對于所述平面對象的包括位置和定位的第一姿勢由所述第一移動平臺執行。5.如權利要求1所述的方法，其特征在于，使所述平面對象的圖像變形由所述第一移動平臺執行。6.如權利要求1所述的方法，其特征在于，還包括將所述基準圖像傳輸到所述第二移動平臺。7.如權利要求1所述的方法，其特征在于，還包括由所述第一移動平臺傳輸所述平面對象的所述至少兩個圖像，其中確定所述第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢由服務器執行。8.如權利要求1所述的方法，其特征在于，使所述平面對象的圖像變形由服務器執行。9.如權利要求1所述的方法，其特征在于，被變形的、由所述第一移動平臺捕捉的所述平面對象的圖像是所述平面對象的所述至少兩個圖像之一。10.如權利要求1所述的方法，其特征在于，還包括通過所述第一移動平臺來捕捉所述平面對象的額外的圖像，其中被變形的、由所述第一移動平臺捕捉的所述平面對象的圖像是所述平面對象的所述額外的圖像。11.如權利要求1所述的方法，其特征在于，還包括：用所述第一移動平臺來捕捉所述平面對象的額外的圖像；通過使用所述平面對象的所述額外的圖像和所述基準圖像來生成所述第一移動平臺相對于所述平面對象的經更新的第一姿勢；以及基于所述第一移動平臺相對于所述平面對象的經更新的第一姿勢來用所述第一移動平臺來執行擴增現實應用。12.如權利要求1所述的方法，其特征在于，還包括：使用所述第二移動平臺來捕捉新的圖像，所述新的圖像包括所述平面對象中未被包括在所述平面對象的前向視圖的基準圖像中的部分；合并所述新的圖像和所述基準圖像以生成所述平面對象的前向視圖的新的基準圖像；以及通過使用由所述第二移動平臺捕捉的平面對象的后續圖像以及所述新的基準圖像來確定所述第二移動平臺相對于所述平面圖像的經更新的第二姿勢。13.如權利要求12所述的方法，其特征在于，合并所述新的圖像和所述基準圖像以生成所述平面對象的前向視圖的新的基準圖像包括：通過單位變換將所述基準圖像的像素變換成所述新的基準圖像，并且將所述新的圖像的像素變換成所述新的基準圖像。14.如權利要求13所述的方法，其特征在于，將所述新的圖像的像素變換成所述新的基準圖像是使用經計算的單應性或仿射變換中的至少一個來執行的。15.如權利要求1所述的方法，其特征在于，所述平面對象的所述至少兩個圖像兩者都是由所述第一移動平臺捕捉的。16.如權利要求1所述的方法，其特征在于，所述平面對象的所述至少兩個圖像之一是由所述第一移動平臺捕捉的，而所述平面對象的所述至少兩個圖像中的另一個圖像是由所述第二移動平臺捕捉的。17.如權利要求1所述的方法，其特征在于，通過使用所述第一移動平臺的定向來使由所述第一移動平臺捕捉的所述平面對象的圖像變形包括使用經計算的單應性。18.如權利要求1所述的方法，其特征在于，使所述平面對象的圖像變形產生經變形的圖像，所述方法還包括轉換和縮放所述經變形的圖像以產生所述平面對象的前向視圖的基準圖像。19.一種用于跟蹤的裝置，包括：用于接收要被處理的至少兩個圖像的接口，所述至少兩個圖像包含平面對象的不同視圖，其中所述至少兩個圖像中的至少一個圖像由第一相機捕捉；數據傳輸接口；連接到所述用于接收要被處理的至少兩個圖像的接口以及所述數據傳輸接口的處理器；連接至所述處理器的存儲器；以及保存在所述存儲器中且被配置成致使所述處理器執行以下動作的軟件：分析所述平面對象的至少兩個圖像、通過使用所述至少兩個圖像來確定所述第一相機相對于所述平面對象的包括位置和定向的姿勢、通過使用所述定向來使所述平面對象的圖像變形以產生所述平面對象的前向視圖的基準圖像、經由所述數據傳輸接口將所述基準圖像傳輸到具有第二相機的移動平臺以使用所述基準圖像來執行多用戶擴增現實應用，其中保存在所述存儲器中被配置成致使所述處理器確定所述第一相機相對于所述平面對象的姿勢的軟件包括保存在所述存儲器中并且在所述處理器中運行的用于執行以下動作的軟件：從所述至少兩個圖像中提取特征、通過使用所述特征來計算所述至少兩個圖像之間的2D-2D單應性h、計算所述特征的3D坐標以定義與所述平面對象的平面相對應的3D平面、通過使用所述特征和所述3D平面來計算所述3D平面和所述至少兩個圖像之一之間的3D-2D單應性H、以及使用所述3D-2D單應性H來確定所述姿勢。20.如權利要求19所述的裝置，其特征在于，所述裝置是服務器，其中所述用于接收要被處理的至少兩個圖像的接口以及所述數據傳輸接口是外部接口，且其中所述基準圖像被傳輸到多個移動平臺。21.如權利要求19所述的裝置，其特征在于，所述裝置是還包括所述第一相機的第一移動平臺，其中所述用于接收要被處理的至少兩個圖像的接口是所述第一相機和所述處理器之間的接口，且其中所述數據傳輸接口是無線收發機。22.如權利要求20所述的裝置，其特征在于，存儲在所述存儲器中被配置成致使所述處理器通過使用所述基準圖像來執行多用戶擴增現實應用的軟件包括：致使所述處理通過使用所述基準圖像和所述平面對象的額外的圖像來更新所述第一相機相對于所述平面對象的姿勢的軟件。23.如權利要求22所述的裝置，其特征在于，致使所述處理器更新所述第一相機的姿勢的軟件包括：用于從所述基準圖像中提取特征、在3D平面上定義與從所述基準圖像中提取出的所述特征相對應的3D點、在所述平面對象的所述額外的圖像中尋找與所述3D點的2D投影相匹配的點、以及使用經匹配的3D-2D點對來更新所述姿勢的軟件。24.如權利要求19所述的裝置，其特征在于，被變形以產生所述基準圖像的所述平面對象的圖像是所述平面對象的至少兩個圖像之一。25.如權利要求19所述的裝置，其特征在于，被變形以產生所述基準圖像的所述平面對象的圖像是所述平面對象的額外的圖像。26.如權利要求19所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器執行以下動作：將所述基準圖像與新的圖像合并以生成平面對象的前向視圖的新的基準圖像，所述新的圖像包括所述平面對象中未被包括在所述基準圖像中的部分，并且經由數據傳輸接口將該新的基準圖像傳輸到所述具有第二相機的移動平臺以使用該新的基準圖像來執行多用戶擴增現實應用。27.如權利要求26所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器執行以下動作：通過經由單元變換將所述基準圖像的像素變換成新的基準圖像并且通過使用經計算的單應性或仿射變換中的至少一個來將所述新的圖像的像素變換成新的基準圖像來合并所述新的圖像和所述基準圖像以生成所述新...

【專利技術屬性】
技術研發人員：B·江，A·斯瓦彌納杉，S·D·斯賓德拉，D·阿戶加，C·W·斯維特三世，
申請(專利權)人：高通股份有限公司，
類型：
國別省市：