用于生成光流的方法和系統技術方案

一種畫布生成系統，基于描述場景的一組原相機視圖生成場景的畫布視圖，例如重新創建虛擬現實場景。基于從一組原相機視圖生成的一組合成視圖能生成畫布視圖。例如，通過基于跨多個原相機視圖的光流位移并且混合相關的原相機視圖能生成合成視圖。使用單獨優化用于相機視圖的每個像素的光流矢量并且將光流的變化傳播至相鄰的光流矢量的迭代方法能生成光流。

Effective determination of optical flow between images

A canvas generation system that generates a canvas view of a scene based on a set of original camera views describing the scene, such as re-creating a virtual reality scene. Canvas views can be generated based on a set of composite views generated from a set of original camera views. For example, a composite view can be generated by mixing related original camera views based on optical flow displacement across multiple original camera views. Optical flow can be generated by using an iterative method that separately optimizes the optical flow vectors for each pixel of the camera view and propagates the changes of the optical flow to the adjacent optical flow vectors.

【技術實現步驟摘要】
【國外來華專利技術】圖像之間的光流的有效確定
技術介紹
本公開整體涉及用于虛擬現實頭盔的畫布視圖的生成，并且更具體地，涉及來自通過相機捕獲的圖像的畫布視圖生成。畫布視圖代表了重新創建虛擬現實場景的全景廣角視圖，并且能與其他畫布視圖配對而給出場景的3D立體效果。關于畫布視圖生成的現有技術可能運行緩慢，例如，要求來自用戶的手動拼接或其他輸入，并且當處理諸如相機視圖之間的不同亮度或色彩等源相機視圖中的差異時，現有技術會遇到問題。
技術實現思路
本專利技術的實施方式能基于描述例如通過圖像捕獲系統中的相機捕獲的場景和描述通過多個相機捕獲的場景的圖像或一組原相機視圖生成場景的畫布視圖。基于合成的位置將畫布視圖中的每個區域與合成視圖的區域相關聯的第一映射和將相機視圖的區域與合成視圖的區域相關聯的第二映射能生成畫布視圖。能夠對生成的映射進行組合，以生成將畫布視圖中的每個區域與該組相機視圖中的一個或多個相機視圖的區域相關聯的組合映射，然后，對相機視圖應用組合映射，以生成畫布視圖。例如，基于代表共享一個或多個共同對象的場景的圖像的第一相機視圖和第二相機視圖能生成合成視圖。使用在第一相機視圖與第二相機視圖之間關聯用于像素的光流能將第一相機視圖與第二相機視圖關聯起來。基于光流，第一相機視圖與第二相機視圖能“位移”至各自接近所希望的合成視圖。然后，能一起混合或均化合成視圖的兩個接近(即，像素色彩值)，以生成合成視圖。在合成視圖的生成過程中，能使用關聯多個相機視圖上的對應點的光流。例如，表示為一組光流矢量(各自關聯兩個或多個對應的像素)的光流能關聯相機視圖之間的像素。例如，基于單獨優化相機視圖中的每個用于像素的光流矢量的迭代方法能生成光流。例如，通過針對每個像素生成一組光流提議、分析每個光流提議并且基于改善光流的優化的該組光流提議中的一光流提議更新光流。在一些實現方式中，能夠將光流矢量的變化傳播至相鄰的光流矢量。根據本專利技術的實施方式具體在涉及方法、系統、存儲介質和計算機程序產品的所附權利要求中公開，其中在一個權利要求類別(例如，方法)中提到的任何特征可以在另一個權利要求類別(例如，系統)中要求保護。所附權利要求中的從屬關系或引用關系僅出于形式原因而被選擇。然而，還可以要求保護任何先前權利要求(特別是多個從屬關系)的有意引用而產生的任何主題，使得公開并且可以要求保護權利要求及其特征的任何組合，而不管在所附權利要求中選擇的從屬關系如何。可被要求保護的主題不僅包括所附權利要求中給出的特征的組合，而且包括權利要求中的特征的任意其他組合，其中，權利要求中提及的每個特征可與權利要求中的任意其他特征或者其他特征的組合進行組合。此外，本文中描述或描繪的任何實施方式和特征可以在單獨的權利要求中被要求保護和/或與本文中描述或描繪的任何實施方式或特征或者與所附權利要求的任何特征的任何組合中要求保護。在根據本專利技術的實施方式中，一種用于生成光流的方法，方法可以包括：接收第一相機視圖和第二相機視圖，每個相機視圖代表通過相機捕獲的圖像并且與捕獲相機視圖所處的位置相關聯；初始化將第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；針對第一相機視圖中的每個像素，優化用于該像素的光流，其中，優化用于像素的光流包括：針對該像素生成一組光流提議；并且分析每個光流提議并且基于所述一組光流提議中的一光流提議更新該用于像素的光流。光流可以是將相機視圖中的每個像素與光流矢量相關聯的矢量場，光流矢量給出像素與另一相機視圖中的對應像素之間的位移。像素的一組光流提議可以包括與像素的上方相鄰像素相關聯的光流矢量、與像素的左側相鄰像素相關聯的光流矢量、以及當前光流矢量的隨機擾動。在根據本專利技術的實施方式中，方法可以包括：建立包括數據和正則項的變量優化問題。基于將變量優化問題移至更接近于解的光流提議可以更新用于像素的光流。在根據本專利技術的實施方式中，方法可以包括：對光流應用中值濾波。在根據本專利技術的實施方式中，方法可以包括：初始化并且優化針對一組相機視圖中的各個其他相機視圖的光流。可以從左上方像素開始并且前進至右下方像素來優化用于第一相機視圖的像素的光流。在根據本專利技術的實施方式中，方法可以包括：優化用于第一相機視圖的每個像素的光流，直至光流質量的測量值達到閾值分數。初始化光流可以包括：放大低分辨率光流；并且在低分辨率光流內成比例地增大光流矢量的幅值。在根據本專利技術的實施方式中，系統可以包括：輸入模塊，輸入模塊被配置為接收第一相機視圖和第二相機視圖，每個相機視圖代表通過相機捕獲的圖像并且與捕獲相機視圖時所處的位置相關聯；光流計算模塊，光流計算模塊被配置為：初始化將第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；針對第一相機視圖中的每個像素，優化用于該像素的光流，其中，優化用于像素的光流包括：針對該像素生成一組光流提議；并且分析每個光流提議并且基于一組光流提議中的一光流提議更新用于該像素的光流。光流可以是將相機視圖中的每個像素與光流矢量相關聯的矢量場，光流矢量給出了像素與另一相機視圖中的對應像素之間的位移。像素的一組光流提議可以包括與像素的上方相鄰像素相關聯的光流矢量、與像素的左側相鄰像素相關聯的光流矢量、以及當前光流矢量的隨機擾動。光流計算模塊可以被配置為建立包括數據和正則項的變量優化問題。基于將變量優化問題移至更接近于解的光流提議可以更新用于像素的光流。在根據本專利技術的實施方式中，系統可以包括：對光流應用中值濾波。光流計算模塊可以被配置為初始化并且優化針對一組相機視圖的各個其他相機視圖的光流。從左上方像素開始并且前進至右下方像素，可以優化用于第一相機視圖的像素的光流。光流計算模塊可以被配置為優化用于第一相機視圖中的每個像素的光流，直至光流質量的測量值達到閾值分數。初始化光流可以包括：放大低分辨率光流；并且在低分辨率光流內成比例地增加光流矢量的幅值。在根據本專利技術的實施方式中，一個或多個計算機可讀非易失性存儲介質可以體現被運行時可運行為執行根據本專利技術或任意上述所述實施方式的方法的軟件。在根據本專利技術的實施方式中，系統可以包括：一個或多個處理器；和至少一個存儲器，耦合至處理器并且包括通過處理器運行的指令，當運行指令時，處理器可運行為執行根據本專利技術或任意上述所述實施方式的方法。在根據本專利技術的實施方式中，當在數據處理系統上運行時，計算機程序產品，優選地包括計算機可讀非易失性存儲介質，可以運行為執行根據本專利技術或任意上述所述實施方式的方法。附圖說明圖1是根據本專利技術的實施方式的畫布生成系統運行的系統環境的框圖。圖2是根據本專利技術的實施方式的畫布生成系統的框圖。圖3是示出根據一些實施方式的示例性圖像捕獲系統的構造的線圖。圖4是示出根據一些實施方式的示例性畫布生成系統中的合成相機的使用的線圖。圖5a是示出根據一些實施方式的基于左相機視圖和右相機視圖的示例性合成視圖的生成的線圖。圖5b是示出根據一些實施方式的示例性相機視圖和示例性合成視圖的線圖。圖6是示出根據一些實施方式的從示例性相機視圖生成示例性合成視圖的細節實施例的線圖。圖7是示出根據實施方式的用于從輸入的相機視圖生成合成視圖的過程的流程圖。圖8是示出根據一些實施方式的示例性相機視圖之間的光流矢量的線圖。圖9是示出根據一些實施方式的用于計算兩個相機視圖之間的光流的示例性過本文檔來自技高網...

【技術保護點】
1.一種用于生成光流的方法，所述方法包括：接收第一相機視圖和第二相機視圖，每個相機視圖代表由相機捕獲的圖像并且與位置相關聯，其中，從所述位置捕獲所述相機視圖；初始化將所述第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；針對所述第一相機視圖中的每個像素，優化用于該像素的所述光流，其中，優化用于像素的所述光流包括：生成用于該像素的一組光流提議；并且分析每個光流提議，并且基于所述一組光流提議中的光流提議更新用于該像素的所述光流。

【技術特征摘要】
【國外來華專利技術】2016.04.06 US 62/319,074;2016.04.11 US 15/096,1671.一種用于生成光流的方法，所述方法包括：接收第一相機視圖和第二相機視圖，每個相機視圖代表由相機捕獲的圖像并且與位置相關聯，其中，從所述位置捕獲所述相機視圖；初始化將所述第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；針對所述第一相機視圖中的每個像素，優化用于該像素的所述光流，其中，優化用于像素的所述光流包括：生成用于該像素的一組光流提議；并且分析每個光流提議，并且基于所述一組光流提議中的光流提議更新用于該像素的所述光流。2.根據權利要求1所述的方法，其中，光流是將相機視圖中的每個像素與光流矢量相關聯的矢量場，所述光流矢量給出所述像素與另一相機視圖中的對應像素之間的位移。3.根據權利要求2所述的方法，其中，用于像素的一組光流提議包括：與所述像素的上方相鄰像素相關聯的光流矢量、與所述像素的左側相鄰像素相關聯的光流矢量、以及當前光流矢量的隨機擾動。4.根據權利要求1所述的方法，進一步包括：建立包括數據和正則項的變量優化問題。5.根據權利要求4所述的方法，其中，基于將所述變量優化問題移至更接近解的光流提議更新用于像素的所述光流。6.根據權利要求1所述的方法，進一步包括：對所述光流應用中值濾波。7.根據權利要求1所述的方法，進一步包括：初始化并且優化用于一組相機視圖中的各個其他相機視圖的光流。8.根據權利要求1所述的方法，其中，從左上方像素開始并且前進至右下方像素，優化用于所述第一相機視圖的像素的光流。9.根據權利要求1所述的方法，進一步包括：優化用于所述第一相機視圖的每個像素的光流，直至光流質量的測量值達到閾值分數。10.根據權利要求1所述的方法，其中，初始化所述光流包括：放大低分辨率光流；并且成比例地增大所述低分辨率光流內的光流矢量的幅值。11.一種系統，包括：輸入模塊，所述輸入模塊被配置為接收第一相機視圖和第二相機視圖，每個相機視圖代表由相機捕獲的圖像并且與位置相關聯，其中，從所述位置捕獲所述相機視圖；光流計算模塊，所述光流計算模塊被配置為：初始化將所述第一相機視圖中的點與第二相機視圖中的對應點進行匹配的光流；針對所述第一相機視圖中的每個像素，優化用于該像素的所述光流，其中，優化用于像素的所述光流包括：生成用于該像素的一組光流提議；并且分析每個光流提議，并且基于所述一組光流提議中的光流提議更新用于該像素的所述光流。12.根據權利要求11所述的系統，其中，光流是將相機視圖中的每個像素與光流矢量相關聯的矢量場，所述光流矢量給出所述像素與另一相機視圖中的對應像素之間的位移。13.根據權利要求12所述的系統，其中，用于像素的一組光流提議包括：與所述像素的上方相鄰像素相關聯的光流矢量、與所述像素的左側相鄰像素相關聯的光流矢量、以及當前光流矢量的隨機擾動。14.根據權利要求11所述的系統，其中，所述光流計算模塊被進一步配置為：建立包括數據和正則項的變量優化問題。15.根據權利要求14所述的系統，其中，基于將所述變量優化問題移至更接近解的光流提議更新用于像素的所述光流。16.根據權利要求11所述的系統，進一步包括：對所述光流應用中值濾波。17.根據權利要求11所述的系統，其中，所述光流計算模塊被進一步配置為：初始化并且優化用于一組相機視圖中的各個其他相機視圖的光流。18.根據權利要求11所述的系統，其中，從左上方像素開始并且前進至右下方像素，優化用于所述第一相機視圖的像素的光流。19.根據權利要求11所述的系統，其中，所述光流計算模塊被進一步配置為：優化用于所述第一相機視圖的每個像素的光流，直至光流質量的測量值達到閾值分數。20.根據權利要求11所述的系統...

【專利技術屬性】
技術研發人員：布里安·基思·卡布拉爾，福里斯特·塞繆爾·布里格斯，阿爾貝特·帕拉·波索，皮特·瓦伊達，
申請(專利權)人：臉譜公司，
類型：發明
國別省市：美國,US