【技術實現步驟摘要】
本公開總體上涉及混合現實(mixed-reality，mr)渲染，更具體地涉及使用和控制自動對焦攝像頭以生成混合現實的技術。
技術介紹
1、具有立體顯示器的頭戴式設備(head-mounted?device，hmd)可以在三維環境中提供身臨其境的體驗。當用戶佩戴hmd時，用戶對周圍物理環境的視覺被hmd的物理結構和顯示器所遮擋?；旌犀F實(mr)通過使用hmd的攝像頭來采集周圍物理環境的實時、低延遲實況饋送并向用戶顯示該實況饋送來解決這一問題，從而使用戶能夠無縫地感知他們的環境，就像他們沒有佩戴hmd一樣。另外，用戶可以通過將虛擬元素疊加到真實世界上來增強他們的環境。
2、“透傳(passthrough)”指的是允許用戶在佩戴hmd時看到他們的物理環境的mr功能。通過使人工現實系統的頭戴式視圖器(headset)顯示由頭戴式視圖器的面向外部的攝像頭采集的信息，將有關用戶的物理環境的信息在視覺上“傳遞”給用戶。僅顯示所采集的圖像將不會起作用。由于攝像頭的位置與用戶眼睛的位置不一致，所以攝像頭采集的圖像不能準確地反映用戶的視角。此外，由于圖像沒有深度信息，因此如果用戶從拍攝圖像的位置轉移，則僅顯示圖像將不會為用戶提供適當的視差效果。不正確的視差加上用戶運動可能會導致暈動癥。
3、透傳圖像是通過使用場景的深度測量(可以使用深度傳感器和/或基于機器學習的方法來測量深度)將人工現實設備的攝像頭采集的圖像朝向用戶的眼睛位置重投射或扭曲來生成的。人工現實頭戴式視圖器可以具有用于采集透傳生成用的圖像的面向外部的左攝像頭和面
4、傳統上，hmd上的面向外部的攝像頭具有固定的焦距和預定的靜態景深(depth?offield，dof)。位于攝像頭的dof內的對象將具有可接受的清晰度，而靠近攝像頭或超出dof的遠范圍的對象將顯得模糊。因此，由定焦攝像頭采集的圖像生成的透傳圖像將具有相同的限制。如果用戶正在看位于面向外部的攝像頭的dof內的對象，則這些對象將顯得清晰。但當用戶聚焦在攝像頭的dof之外的近場或遠場對象時，這些對象在透傳場景中會顯得模糊且失焦。定焦攝像頭的另一個已知缺點是，在攝像頭系統的峰值焦距之外采集的對象將失去清晰度，這進而意味著此對象在透傳場景中顯得不那么清晰。此外，由于定焦攝像頭的限制，設計一種在預期dof內采集整個場景的mr系統是不切實際的，因為分辨率被放大了。對于定焦攝像頭的至少這些限制而言，需要一種改進的采集系統。
技術實現思路
1、本文描述的實施例涉及一種能夠傳遞在用戶正在觀看的區域中聚焦且清晰的透傳圖像的mr系統。本文描述的hmd的實施例使用自動對焦攝像頭而不是使用定焦攝像頭來采集用戶的環境以用于透傳生成。自動對焦攝像頭使用傳感器和算法自動調整鏡頭的焦距，以采集清晰的圖像。一些現代攝像頭使用先進的自動對焦技術，例如相位檢測或對比度檢測，以提高準確度。此外，這些攝像頭可以結合附加傳感器，如深度傳感器或紅外傳感器，以收集有關場景的更多信息并幫助自動對焦系統做出更明智的決定。盡管有這些先進的技術，但在用戶的特定焦點未知的情況下，自動對焦攝像頭將難以在場景中產生預期的結果。例如，當hmd的自動對焦攝像頭采集用戶的物理環境時，在沒有更多信息的情況下，攝像頭的自動對焦系統將不知道聚焦何物。一種選擇是配置自動對焦系統，以優化攝像頭視場的中心區域的清晰度。這樣做將在透傳圖像中產生清晰的、聚焦的中心區域，如果用戶碰巧正看著中心，這將是很好的。然而，當用戶看著中心以外的其它地方(例如，透傳圖像的外邊緣)時，如果外圍的場景比中心的對象遠得多或近得多，則透傳圖像將會模糊且失焦。例如，如果場景的中心是距離用戶30厘米至50厘米的計算機/手機，自動對焦系統將調整其有限的dof以優化該距離。如果背景場景在10米至15米之外，由于背景場景在攝像頭的dof之外，則采集的圖像的外圍將會模糊。因此，當用戶查看由采集的圖像生成的透傳圖像時，即使用戶聚焦在背景場景上，背景場景也將是模糊的。因此，僅僅為hmd配備自動對焦攝像頭是不夠的。
2、上述問題的另一種解決方案可以是為hmd配備具有無限dof的攝像頭系統，在這種情況下可能不需要自動對焦鏡頭。然而，由于成本和信噪比(signal-to-noise?ratio，snr)的權衡，具有無限dof的攝像頭系統對于hmd來說可能是不切實際的(例如，對于hmd產品來說，能夠達到期望snr的攝像頭可能過于昂貴)。
3、為了平衡dof、snr和分辨率之間的權衡，本文描述的實施例使用具有有限dof的自動對焦攝像頭。除了成本更低之外，這種自動對焦攝像頭還可以提供更好的snr和分辨率，因為放寬的dof限制允許攝像頭具有更寬的光圈，這進而允許更多的光到達圖像傳感器。正如前面所解釋的，僅僅為hmd配備自動對焦攝像頭是不夠的，因為攝像頭不知道聚焦在何處。在透傳生成的背景下，當hmd采集用戶的物理環境的視頻(或幀序列)時，佩戴hmd的用戶將在移動。用戶可能正在與物理對象或虛擬對象交互，或者只是被動地觀察hmd顯示器上呈現的內容。當沉浸在mr中時，用戶的注視可以指向3d顯示器內的任何區域，該區域包括外圍；用戶不會就聚焦到何處提供明確指令。這與傳統的使用案例(例如，傻瓜相機和移動電話)不同。在那里，用戶通常會通過將攝像頭對準特定關注對象來向攝像頭系統提供明確指令。一些自動對焦系統還可以基于用戶可能關注的場景中的特定對象或內容(例如，人的臉)來確定聚焦何物。當用戶對攝像頭的對焦感到滿意時，用戶于是按下快門按鈕來采集圖像。當采集視頻時，自動對焦系統可以采用不同的自動對焦模式，例如連續自動對焦(continuous?autofocus，c-af)或面部檢測，以幫助保持對對象的聚焦，即使該對象在框架內移動亦如此。然而，在mr中，設備不會接收明確的聚焦或采集指令，并且自動對焦系統不能簡單地依賴場景中的內容，因為用戶可能會關注完全不同的東西。
4、本文描述的實施例解決了基于用戶的注視來推斷用戶的意圖和興趣的前述挑戰。hmd可以具有能夠測量用戶當前眼睛注視和眼睛移動的眼動追蹤系統。hmd可以使用這樣的眼動追蹤數據來預測用戶在未來時間的注視，在未來時間將向用戶渲染和顯示透傳圖像。用戶的關注區域可以以各種方式確定。例如，預測的注視與(例如，使用飛行時間傳感器、立體傳感器、結構光傳感器或基于機器學習的技術生成的)測量的場景深度相結合，允許hmd的自動對焦系統確定攝像頭鏡頭的光學焦距。自動對焦系統可以計算用戶的屏幕空間注視位置(x，y)與場景深度之間的交點以確定關注區域。在另一示例中，自動對焦系統可以通過找到眼動追蹤向量附近的對象來確定關注區域。在又一示例中，自動對焦系統可以使用注視向量交點和在用戶數據上訓練的機器學習模型的組合來確定用戶的關注區域。基于所確定的關注區域，本文檔來自技高網...
【技術保護點】
1.一種方法，所述方法包括由計算系統：
2.根據權利要求1所述的方法，所述方法還包括：
3.根據權利要求1所述的方法，所述方法還包括：
4.根據權利要求3所述的方法，其中，所述預測的注視與基于預定持續時間確定的未來時間相關聯，所述預定持續時間對應于與用于渲染多個透傳圖像的流水線相關聯的延遲。
5.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視的輻輳來確定所述期望場景深度。
6.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視與所述真實世界環境的三維模型表示之間的交點來確定所述期望場景深度。
7.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視與相對于所述真實世界環境定位的一個或多個虛擬對象之間的交點來確定所述期望場景深度。
8.根據權利要求1所述的方法，其中，還基于上下文信息或基于所述用戶與一個或多個虛擬對象或物理對象之間的交互來確定所述期望場景深度。
9.一種或多種計算機可讀非暫態存儲介質，所述一種或多種計算機可讀非暫態存儲介質包含軟件，所述軟件
10.根據權利要求9所述的一種或多種計算機可讀非暫態存儲介質，其中，所述軟件在被執行時還能夠操作以：
11.根據權利要求9所述的一種或多種計算機可讀非暫態存儲介質，其中，所述軟件在被執行時還能夠操作以：
12.根據權利要求11所述的一種或多種計算機可讀非暫態存儲介質，其中，所述預測的注視與基于預定持續時間確定的未來時間相關聯，所述預定持續時間對應于與用于渲染多個透傳圖像的流水線相關聯的延遲。
13.根據權利要求11所述的一種或多種計算機可讀非暫態存儲介質，其中，基于所述用戶的所述預測的注視的輻輳來確定所述期望場景深度。
14.根據權利要求11所述的一種或多種計算機可讀非暫態存儲介質，其中，基于所述用戶的所述預測的注視與所述真實世界環境的三維模型表示之間的交點來確定所述期望場景深度。
15.一種系統，所述系統包括：
16.根據權利要求15所述的系統，其中，所述指令在被所述一個或多個處理器執行時還能夠操作以：
17.根據權利要求15所述的系統，其中，所述指令在被所述一個或多個處理器執行時還能夠操作以：
18.根據權利要求17所述的系統，其中，所述預測的注視與基于預定持續時間確定的未來時間相關聯，所述預定持續時間對應于與用于渲染多個透傳圖像的流水線相關聯的延遲。
19.根據權利要求17所述的系統，其中，基于所述用戶的所述預測的注視的輻輳來確定所述期望場景深度。
20.根據權利要求17所述的系統，其中，基于所述用戶的所述預測的注視與所述真實世界環境的三維模型表示之間的交點來確定所述期望場景深度。
...【技術特征摘要】
1.一種方法，所述方法包括由計算系統：
2.根據權利要求1所述的方法，所述方法還包括：
3.根據權利要求1所述的方法，所述方法還包括：
4.根據權利要求3所述的方法，其中，所述預測的注視與基于預定持續時間確定的未來時間相關聯，所述預定持續時間對應于與用于渲染多個透傳圖像的流水線相關聯的延遲。
5.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視的輻輳來確定所述期望場景深度。
6.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視與所述真實世界環境的三維模型表示之間的交點來確定所述期望場景深度。
7.根據權利要求3所述的方法，其中，基于所述用戶的所述預測的注視與相對于所述真實世界環境定位的一個或多個虛擬對象之間的交點來確定所述期望場景深度。
8.根據權利要求1所述的方法，其中，還基于上下文信息或基于所述用戶與一個或多個虛擬對象或物理對象之間的交互來確定所述期望場景深度。
9.一種或多種計算機可讀非暫態存儲介質，所述一種或多種計算機可讀非暫態存儲介質包含軟件，所述軟件在被執行時能夠操作以：
10.根據權利要求9所述的一種或多種計算機可讀非暫態存儲介質，其中，所述軟件在被執行時還能夠操作以：
11.根據權利要求9所述的一種或多種計算機可讀非暫態存儲介質，其中，所述軟件在被執行時...
【專利技術屬性】
技術研發人員：伊恩·埃克倫斯，胡特，黃立獨，熊軼智，伊利亞·布賴洛夫斯基，塞巴斯蒂安·斯圖克，勞倫斯·昌勇·王，德夫拉吉·古普塔，彭紅紅，
申請(專利權)人：元平臺技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。