促進計算設備上的圖像的高效自由平面內旋轉界標跟蹤制造技術

描述了根據一個實施例的用于促進計算設備上的圖像的高效自由平面內旋轉界標跟蹤的機制。如本文所描述的實施例的方法包括檢測具有第一圖像的第一幀和具有第二圖像的第二幀，其中第二圖像旋轉到遠離第一圖像的位置。該方法還可以包括基于與第一圖像和第二圖像相關聯的界標位置將第一參數行和第二參數行分配給第二圖像，檢測第一參數行與第二參數行之間的旋轉角，以及使第二圖像在與旋轉角相關聯的距離內向前以及向后旋轉以驗證第一圖像和第二圖像的位置。

To promote the efficient free image plane calculation on the device is rotated in the landmark tracking

According to the description of the one for the embodiment of the mechanism to promote the efficient free image plane calculation on the device is rotated in the landmark tracking. The method described in this article includes detecting a first frame having a first image and a second frame having a second image, wherein the second image is rotated to a position away from the first image. The method may also include based on the first and second images associated with the landmark location will be the first parameter and second parameters for distribution to the second image, the rotation angle between the first parameter and the second parameter detection line, and the second image associated with the rotation angle of the distance in the forward and backward rotation to verify the first the image and the second image position.

【技術實現步驟摘要】
【國外來華專利技術】
本文所描述的實施例總地涉及計算機。更具體地，實施例涉及促進計算設備上的圖像的高效的自由平面內旋轉界標跟蹤。
技術介紹
隨著計算設備尤其是移動計算設備的使用增加，對于計算設備及其相應的用戶之間的無縫且自然的通信接口的需求增加。因此，已經開發出多種面部跟蹤技術來提供更佳的面部跟蹤和定位。然而，這些常規的技術嚴重的受限制，因為它們提供了由于其預測模型的強度限制的低質量的圖像或甚至是抖動的圖像。其它常規的技術試圖通過采用大量的預測模型來解決這些問題，這通常是極其低效的，因為處理時間由于這些模型的總量而倍增，其中總模型大小也倍增，這會導致例如移動計算設備之類的計算設備上這些應用的耗時的下載。附圖說明在附圖的圖中，實施例僅通過示例的方式而不是限制的方式進行說明，在附圖中相似的附圖標記指代相似的元件。圖1示出了根據一個實施例的用于動態自由旋轉界標檢測的機制。圖2A示出了根據一個實施例的用于動態自由旋轉界標檢測的機制。圖2B示出了根據一個實施例的通過圖2A的用于動態自由旋轉界標檢測的機制所促進的其相應針幀內的各個面部圖像。圖3示出了根據一個實施例的促進計算設備上的圖像的高效的自由平面內旋轉界標跟蹤的方法。圖4示出了根據一個實施例的適合實現本公開的實施例的計算機系統。具體實施方式在下面的說明中，闡述了若干具體的細節。然而，如本文所描述的實施例可以在沒有這些具體細節的情況下實現。在其它實例中，為避免對本說明書的理解不清楚，沒有詳細示出公知的電路、結構和技術。實施例提供了一種自由旋轉面部界標跟蹤技術，用于促進精確的自由旋轉界標位置(或簡稱為“界標”)以及動態地估計面部姿態和姿勢，同時通過增強面部跟蹤的可用性和質量以及降低計算時間、功率使用、高速緩存使用和其它存儲器要求等來克服任意數量和類型的常規挑戰，因為在計算設備的處理流水線中檢測面部界標可能非常耗時且耗資源。可想到，人類面部上的典型的界標點可以包括(但不限于)眼角、眉毛、嘴角、鼻尖等，并且這些界標點的檢測包括在確定了面部的適當區域后識別這些點的精確位置。實施例提供了在計算設備中用于魯棒的平面內旋轉的自由旋轉面部界標技術，其中取得視頻輸入，并且輸出多個面部界標位置，使得該技術能夠甚至在計算設備的用戶以相對大的角度旋轉她的頭部時也能夠輸出精確的界標，其中頭部的旋轉是指頭部的平面內旋轉。此外，在一個實施例中，面部界標跟蹤技術可以涉及以下：(1)從圖像的當前幀中提取一個或多個圖像特征；以及(2)使用在大的訓練數據庫上訓練的預測模型來利用一個或多個圖像特征預測各個界標位置。在一個實施例中，面部界標技術的該輸出(例如，面部姿態、界標位置等)可用于且驅動與以下有關(但不限于以下)的任意數量和類型的軟件應用：與(1)動畫；(2)表情分析；(3)重構(該二維(“2D”)或三維(“3D”)重構等)；(4)配準；(5)標識、識別、驗證和跟蹤(例如，基于面部特征的標識/識別/驗證/跟蹤)；(6)面部理解(例如，頭部或面部姿勢理解)；(7)數字照片；以及(9)照片或圖像編輯，例如，面部、眼睛表情解釋、測謊、讀唇、符號語言解釋等。在一個實施例中，定位面部界標位置可以是指在許多方案中的核心過程，例如，面部識別、表情分析、照片增強、視頻驅動動畫等，并且進一步，其可以用于移動計算設備的硬件和軟件服務中，并且由它們的提供商公司如等使用。該技術還可用于移動消息傳遞和社交和商業媒體網站及其提供商公司，例如等。該技術使用戶能夠自由地旋轉視頻捕獲設備(例如，移動電話、平板式計算機、web照相機等)，同時持續地提供穩定且精確的界標定位結果，而不會由于設備的自由且頻繁的旋轉導致的任何平面內旋轉角而受損。現在參考監督下降方法(“SDM”和顯式形狀回歸(“ESR”)，它們提供了使用旋轉固定圖像特征，例如尺度不變特征變換(“SIFT”)，并且采用預測模型，例如在大的數據庫上訓練的支持向量機來預測界標位置。然而，SDM和ESR嚴重地受圖像特征質量及其預測模型強度的限制。此外，當平面內角增大時，這些常規的技術經常顯示出抖動和不精確的定位結果，甚至是檢測和定界標失敗。另一種解決該問題的方式是使用在不同的平面內旋轉角下訓練的多個模型；例如，該系統可以使用任意數量的模型，例如多達8個模型，每個覆蓋45度。然而，在這些系統中，總模型尺寸乘以模型數量，并且給定輸入幀，該系統使用全部模型來定位界標并且然后挑選最佳結果，該系統的處理時間低效地增加，因為其乘以總模型數量，并且模型尺寸也倍增，這會導致在例如智能電話的移動計算機上下載這些應用耗時。實施例提供了在從例如照相機的各種源獲得的視頻中促進幀間連續界標位置跟蹤的使用。例如，在一個實施例中，平面內旋轉角可由從前一幀和當前幀中獲得的面部圖像的左眼和右眼位置來估計出，其隨后用于按相同的平面內旋轉角來反向旋轉圖像。因此，實施例提供了在近似豎直的面部中執行面部界標定位。此外，在一個實施例中，該技術的魯棒性和精度不隨著平面內旋轉角度的增加而下降，例如每當旋轉幀而具有用于界標定位的豎直面部時。實施例允許360度角度旋轉，并且因此，針對平面內旋轉的該魯棒性具有很大的值，尤其當視頻由移動手持式設備例如智能電話、平板式計算機等捕獲時。因此，用戶可以自由地旋轉他的手持式設備而框住一個更佳的拍攝，在一個實施例中，本技術無故障地定位穩定且精確的界標。圖1示出了根據一個實施例的用于動態自由旋轉界標檢測的機制110。計算設備100充當用于托管用于動態旋轉界標檢測機制110(“界標機制”)110的主機，其包括任意數量和類型的組件，如圖2A所示，以高效地執行動態且自由的平面內旋轉面部界標檢測和跟蹤，如在該文檔全文進一步說明的。計算設備100可以包括任意數量和類型的通信設備，例如大型計算系統，例如服務器計算機、臺式計算機等，并且還可以包括機頂盒(例如，基于因特網的電纜電視機頂盒，等等)、基于全球定位系統(GPS)的設備，等等。計算設備100可以包括充當通信設備的移動計算設備，例如包括智能電話在內的電話(例如，的Researchin的等)、個人數字助理(PDA)、平板式計算機(例如，的的Galaxy等)、膝上型計算機(例如，筆記本、上網本、UltrabookTM系統等)、電子閱讀器(例如，的Barnes的和等)、媒體互聯網設備(“MID”)、智能電視、電視平臺、可佩戴設備(例如，手表、手鐲、智能卡、珠寶、衣物品項等)、媒體播放器等。計算系統100可以包括用作計算機設備100的硬件和/或物理資源與用戶之間的接口的操作系統(OS)106。計算設備100還包括一個或多個處理器102、存儲器設備104、網絡設備、驅動器等以及輸入/輸出(I/O)源108，例如觸摸屏、觸摸面板、觸摸板、虛擬或常規鍵盤、虛擬或常規鼠標等。應注意，諸如“節點”、“計算節點”、“服務器”、“服務器設備”、“云計算機”、“云服務器”、“云服務器計算機”、“機器”“主機”、“設備”、“計算設備”、“計算機”、“計算系統”等術語可在本文檔中可互換使用。還要注意，諸如“應用”、“軟件應用”、“程序”、“軟件程序”、“包”、“軟件包”等術語在本文檔中可以互換使用。此外，諸如“任務”、“輸入”、“請求”、“消息”等術語在本文檔中可以互換使用本文檔來自技高網...

【技術保護點】
一種用于促進計算設備上的圖像的自由旋轉界標跟蹤的裝置，包括：幀檢測邏輯，其檢測具有第一圖像的第一幀和具有第二圖像的第二幀，其中，與初始位置相關聯的所述第一圖像被旋轉到與當前位置相關聯的所述第二圖像；參數分配邏輯，其基于與所述第一圖像和所述第二圖像相關聯的界標位置將第一參數行和第二參數行分配給所述第二圖像；角估計邏輯，其檢測所述第一參數行與所述第二參數行之間的旋轉角；以及圖像旋轉邏輯，其使所述第二圖像在與所述旋轉角相關聯的距離內向前以及向后旋轉以驗證所述第一圖像和所述第二圖像的位置。

【技術特征摘要】
【國外來華專利技術】1.一種用于促進計算設備上的圖像的自由旋轉界標跟蹤的裝置，包括：幀檢測邏輯，其檢測具有第一圖像的第一幀和具有第二圖像的第二幀，其中，與初始位置相關聯的所述第一圖像被旋轉到與當前位置相關聯的所述第二圖像；參數分配邏輯，其基于與所述第一圖像和所述第二圖像相關聯的界標位置將第一參數行和第二參數行分配給所述第二圖像；角估計邏輯，其檢測所述第一參數行與所述第二參數行之間的旋轉角；以及圖像旋轉邏輯，其使所述第二圖像在與所述旋轉角相關聯的距離內向前以及向后旋轉以驗證所述第一圖像和所述第二圖像的位置。2.如權利要求1所述的裝置，還包括：界標引擎的界標檢測/分配邏輯，其檢測所述第一圖像上的界標位置并且將所述第一圖像的界標位置傳送到所述第二圖像，其中，所述界標位置與所述第一圖像和所述第二圖像上的多個點相關聯，其中，所述第一圖像和所述第二圖像包括第一面部圖像和第二面部圖像，并且其中，所述多個點包括眼角、唇角或唇中部、鼻尖和耳垂中部中的一個或多個。3.如權利要求1或2所述的裝置，其中，所述界標檢測/分配邏輯進一步將所述界標位置分配給所述第一圖像，并且其中，所述界標引擎還包括界標驗證邏輯，所述界標驗證邏輯驗證在處于所述初始位置的所述第一圖像被旋轉到處于所述當前位置的所述第二圖像并且基于所述旋轉角而被旋轉回到處于近似初始位置的近似第一圖像之后傳遞到所述第二圖像的所述界標位置。4.如權利要求1所述的裝置，還包括：圖像捕獲設備，其捕獲所述裝置的用戶的所述第一圖像和所述第二圖像，其中，所述圖像捕獲設備包括照相機；通信/兼容性邏輯，其促進所述第一圖像和所述第二圖像從所述圖像捕獲設備傳送到顯示設備；以及所述顯示設備，其顯示處于第一時間點的所述第一圖像以及處于第二時間點的所述第二圖像。5.如權利要求1或4所述的裝置，其中，所述第一圖像和所述第二圖像是分別從所述第一幀和所述第二幀檢測到的，其中，所述第一幀和所述第二幀是從經由所述圖像捕獲設備捕獲的視頻的視頻流中檢測到的。6.如權利要求1所述的裝置，其中，所述第一參數行包括在經過所述第二圖像的第一方向上運行的不能夠動的參數行，其中，所述第一參數行被錨定在與所述第一圖像和所述第二圖像相關聯的界標位置中的一個處。7.如權利要求6所述的裝置，其中，當所述第一圖像旋轉到所述第二圖像時，所述第一參數行保持在所述第一方向上運行，其中，所述第一方向包括水平方向、垂直方向、對角方向中的至少一個。8.如權利要求1所述的裝置，其中，所述第二參數行包括在經過所述第二圖像的第二方向上運行的能夠動的參數行，其中，所述第二參數行被錨定在與所述第一圖像和所述第二圖像相關聯的所述界標位置中的至少兩個處，其中，隨著所述第一圖像旋轉到所述第二圖像，所述第二參數行保持錨定在所述界標位置中的所述至少兩個處并且對應于所述界標位置中的所述至少兩個而移動。9.如權利要求1所述的裝置，其中，所述旋轉角表示所述第一參數行與所述第二參數行之間的旋轉間隙，其中，所述旋轉間隙是在與所述初始位置相關聯的所述第一圖像平面內轉到與所述當前位置相關聯的所述第二圖像時被生成的，其中，所述初始位置包括豎直位置，所述當前位置包括傾斜位置，并且所述近似初始位置包括近似豎直位置。10.如權利要求1所述的裝置，其中，所述第一圖像響應于與所述用戶相關聯的用戶移動或由所述用戶所促進的與所述裝置相關聯的裝置移動而轉到所述第二圖像。11.一種用于促進計算設備上的圖像的自由旋轉界標跟蹤的方法，包括：檢測具有第一圖像的第一幀和具有第二圖像的第二幀，其中，與初始位置相關聯的所述第一圖像被旋...

【專利技術屬性】
技術研發人員：沈曉璐，杜楊洲，樸玟濟，千永宰，O·迪謝納，金泰勳，
申請(專利權)人：英特爾公司，
類型：發明
國別省市：美國;US