一種交互式三維人臉表情動畫編輯方法、系統及擴展方法技術方案

本發明專利技術公開了交互式三維人臉表情動畫編輯方法、系統及擴展方法，其中該三維人臉表情動畫編輯方法包括將用戶自由指定且移動至期望位置的人臉模型的二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點；建立由于用戶的編輯操作引起的三維控制點變形的形變模型；分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；依據相關性系數將人臉模型劃分成不同的動態區域，每個動態區域包含一個三維控制點；構建三維控制點的貢獻圖；依據貢獻圖以及形變模型對動態區域進行變形融合，最終得到人臉模型的整體變形。該三維人臉表情動畫編輯方法計算簡單且能夠保證各動態區域的變形既符合用戶要求、又準確自然。

Interactive 3D facial expression animation editing method, system and expansion method

The invention discloses an interactive 3D facial animation editing system and method, extension method, the 3D facial animation editing method includes the user specified and free mobile to the desired location of the face model of two-dimensional control point pixel mapped to 3D space, and get the 3D control points corresponding to the face model; establish the model of 3D deformation control cause user editing deformation; the face model between each vertex and 3D control points were calculated on the basis of correlation coefficient; correlation coefficient will face dynamic model is divided into different regions, each region contains a three-dimensional dynamic control point; construction of 3D control points with map; map and deformation according to contribution the model of dynamic deformation of fusion region, finally get the whole facial model deformation. The 3D facial expression animation method is simple in calculation and can guarantee the deformation of each dynamic region. It meets user requirements and is accurate and natural.

【技術實現步驟摘要】
一種交互式三維人臉表情動畫編輯方法、系統及擴展方法
本專利技術屬于計算機圖形學領域，尤其涉及一種交互式三維人臉表情動畫編輯方法、系統及擴展方法。
技術介紹
近年來，三維人臉表情動畫已被廣泛應用于各個領域，如動漫、游戲和電影中虛擬角色的表情生成；遠程網絡會議、虛擬現實中的虛擬人物表情動畫；醫學美容、人臉識別中的表情模擬；輔助教育中的虛擬教師、娛樂節目中的虛擬主持人和虛擬偶像的表情模擬等。隨著三維人臉表情動畫的廣泛應用，如何給用戶提供一個簡單便捷的交互式編輯工具，并使其編輯生成的表情動畫真實自然成為了學術界和工業界普遍關注的研究熱點和難點問題。理想的交互式表情編輯工具必須具備兩個要素：1)操作的直觀性和便捷性。用戶只需簡單地控制人臉模型上的一些元素(如點、直線、曲線等)的位置和形狀即可實現對表情的編輯，這個交互過程是直觀可見的、且新表情的生成結果是實時顯示的。2)表情合成的高真實感。要保證用戶通過簡單的交互編輯后生成的表情動畫是真實自然、令人信服的。然而，要實現這樣的交互式表情編輯工具是具有挑戰性的，原因在于：1)用戶編輯的人臉模型往往具有幾千甚至幾萬個頂點，而用戶交互控制的模型頂點數和曲線數只有幾個最多十幾個，利用如此低維的控制元素來控制高維模型的變形會導致欠約束問題，從而使得生成的表情不自然甚至錯誤。2)由于缺乏經驗或專業水平不高，某些用戶對人臉模型控制元素的交互編輯可能是不合適的甚至是錯誤的，這種不合適或錯誤的輸入往往直接導致生成的表情不自然甚至是怪異的，從而無法達到用戶預期的編輯效果。目前關于交互式表情編輯的相關研究取得了較大進展，但仍存在著很多不足。形狀融合變形是目前用于表情動畫編輯的主流思路，它將人臉模型表示為若干個已知的拓撲一致的人臉網格模型(稱為關鍵模型)的加權組合，通過修改關鍵模型的形狀或調整各關鍵模型的融合權值可生成新的表情。這里，關鍵模型可以由動畫師手工制作，也可以利用動態三維數據獲取技術直接獲取不同模樣、不同表情的人臉網格樣本作為關鍵模型。在估算融合權重時，早期的方法往往直接利用用戶選中的模型控制點作為約束優化求解，這會導致欠約束問題進而難以生成真實自然的表情。后來的很多方法引入了主成分分析來避免欠約束的問題。主成分分析有效降低了關鍵模型空間的維度，但它運算花銷大，且缺乏物理含義和語義信息，從而會導致不自然表情的產生。因此，引入主成分分析的表情編輯方法通常會采用對模型進行區域分割的方式以保證更好的表情編輯效果。近來，越來越多的表情編輯方法引入了區域分割的思想。它們通過將人臉模型分成多個區域，并分區域對已有的關鍵形狀進行插值來產生新的表情。這些方法雖然克服了主成分分析的缺陷，但由于模型上的區域都是事先分割好的，與用戶選擇的控制元素無關，這種硬性的區域分割在一定程度上破環了人臉各部分之間的自然相關性，各區域變形的簡單融合又使得人臉模型不同部位之間的運動相互獨立、缺乏聯系，因此很多情況下會導致不自然表情的產生。最新的一些方法開始探索對表情序列進行編輯，即，將用戶對單幀網格模型的編輯效果在整個表情網格序列中進行傳播，以產生連續漸變的表情動畫效果。但這些方法都需要大量的離線處理和運算。綜上，如何為用戶提供直觀、簡便的交互編輯方式，以及如何生成既符合用戶要求、又真實自然的表情依然是三維人臉表情編輯研究中亟待解決的關鍵問題和難點問題。該問題的解決將進一步推動表情編輯技術在計算機動畫、影視特效、虛擬現實、輔助教育等諸多領域的推廣和應用。
技術實現思路
為了解決現有技術中人臉表情動畫編輯方法都需要大量的離線處理和運算的缺點，本專利技術的第一目的是提供一種交互式三維人臉表情動畫編輯方法。該方法計算簡單且能夠保證各動態區域的變形既符合用戶要求、又準確自然。本專利技術的一種交互式三維人臉表情動畫編輯方法，包括：步驟1：將用戶自由指定且移動至期望位置的人臉模型的二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點；步驟2：建立由于用戶的編輯操作引起的三維控制點變形的形變模型；步驟3：分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；步驟4：依據相關性系數將人臉模型劃分成不同的動態區域，每個動態區域包含一個三維控制點；步驟5：構建三維控制點的貢獻圖，貢獻圖的節點與人臉模型的頂點一一對應，且節點內存儲相應人臉模型的頂點與三維控制點之間的相關性系數；其中，貢獻圖反映三維控制點變形對人臉模型的其他頂點運動的影響程度；步驟6：依據貢獻圖以及形變模型對動態區域進行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。本專利技術根據相關性系數為每個控制點建立一張貢獻圖。其中，貢獻圖的數據存儲方式為圖結構、表格結構、數組結構或其他數據存儲結構形式。在進行動態區域變形的融合時，依據貢獻圖每個區域內的變形對整個人臉模型變形的貢獻將隨著該區域的擴散而逐漸減弱。與傳統方法中將各個區域的變形簡單相加平均的方式，該思路更符合人類臉部運動的規律，可生成更加真實自然的表情。進一步的，在所述步驟1中，利用光線跟蹤算法將二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點。本專利技術的該方法利用光線跟蹤能夠準確得到與二維控制點象素對應的三維點。進一步的，在所述步驟2中，形變模型為關鍵模型序列的線性組合，也就是各個關鍵模型與相應權重系數相乘后的累加和；所述關鍵模型序列為已知的一系列表情變化網格模型。本專利技術對動態區域變形進行建模時，區域內的變形由用戶對控制點的操作和已有的關鍵模型數據共同約束決定。這里的關鍵模型序列可以是利用三維數據獲取技術得到的真人的一系列表情網格模型，也可以是對人臉模型人工編輯得到的一系列表情變化網格模型，這些模型的表情都是真實自然的。進一步的，關鍵模型的權重系數由兩項約束項構成的目標函數求解得到，其中，第一項約束項用來衡量利用關鍵模型序列的線性組合表示的三維控制點新位置映射到二維屏幕上后與用戶指定的二維控制點象素新位置的接近程度；第二項約束項用以衡量每幀關鍵模型與用戶移動二維控制點象素所期望產生的新表情之間的相似程度，越相似，表明該幀關鍵模型對三維控制點最終變形的貢獻應該越大，則該幀關鍵模型的權值越大。本專利技術提出了估算各關鍵模型的融合權值的目標函數，該目標函數既考慮對用戶輸入的控制點約束條件的滿足，又考慮各關鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權值越大，從而保證各動態區域的變形既符合用戶要求、又準確自然。進一步的，在所述步驟3中，利用頂點的相關性準則分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；其中，相關性準則由三項疊加而成，第一項用來衡量頂點與三維控制點之間的空間距離；第二項用來衡量頂點與三維控制點沿著關鍵模型序列運動時方向的相似性；第三項用來衡量頂點與三維控制點沿著關鍵模型序列運動時速率的接近性。本專利技術提出頂點的相關性準則來計算貢獻圖，該準則即考慮頂點之間的空間鄰近性、又考慮頂點在整個關鍵模型序列上的運動一致性，因此可真實準確地反映頂點之間的時空關系和相互影響，從而保證合理準確地將各個動態區域的變形傳播到整個人臉模型上，得到最終的真實自然的新表情。進一步的，在所述步驟6中，依據貢獻圖進行動態區域變形的融合，每個動態區域內的變形對整個人臉模型變形的影響將隨著該動態區域的擴本文檔來自技高網...

【技術保護點】
一種交互式三維人臉表情動畫編輯方法，其特征在于，包括：步驟1：將用戶自由指定且移動至期望位置的人臉模型的二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點；步驟2：建立由于用戶的編輯操作引起的三維控制點變形的形變模型；步驟3：分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；步驟4：依據相關性系數將人臉模型劃分成不同的動態區域，每個動態區域包含一個三維控制點；步驟5：構建三維控制點的貢獻圖，貢獻圖的節點與人臉模型的頂點一一對應，且節點內存儲相應人臉模型的頂點與三維控制點之間的相關性系數；其中，貢獻圖反映三維控制點變形對人臉模型的其他頂點運動的影響程度；步驟6：依據貢獻圖以及形變模型對動態區域進行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。

【技術特征摘要】
1.一種交互式三維人臉表情動畫編輯方法，其特征在于，包括：步驟1：將用戶自由指定且移動至期望位置的人臉模型的二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點；步驟2：建立由于用戶的編輯操作引起的三維控制點變形的形變模型；步驟3：分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；步驟4：依據相關性系數將人臉模型劃分成不同的動態區域，每個動態區域包含一個三維控制點；步驟5：構建三維控制點的貢獻圖，貢獻圖的節點與人臉模型的頂點一一對應，且節點內存儲相應人臉模型的頂點與三維控制點之間的相關性系數；其中，貢獻圖反映三維控制點變形對人臉模型的其他頂點運動的影響程度；步驟6：依據貢獻圖以及形變模型對動態區域進行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。2.如權利要求1所述的交互式三維人臉表情動畫編輯方法，其特征在于，在所述步驟1中，利用光線跟蹤算法將二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點。3.如權利要求1所述的交互式三維人臉表情動畫編輯方法，其特征在于，在所述步驟2中，形變模型為關鍵模型序列的線性組合，也就是各個關鍵模型與相應權重系數相乘后的累加和；所述關鍵模型序列為已知的一系列表情變化網格模型。4.如權利要求3所述的交互式三維人臉表情動畫編輯方法，其特征在于，關鍵模型的權重系數由兩項約束項構成的目標函數求解得到，其中，第一項約束項用來衡量利用關鍵模型序列的線性組合表示的三維控制點新位置映射到二維屏幕上后與用戶指定的二維控制點象素新位置的接近程度；第二項約束項用以衡量每幀關鍵模型與用戶移動二維控制點象素所期望產生的新表情之間的相似程度，越相似，表明該幀關鍵模型對三維控制點最終變形的貢獻應該越大，則該幀關鍵模型的權值越大。5.如權利要求1所述的交互式三維人臉表情動畫編輯方法，其特征在于，在所述步驟3中，利用頂點的相關性準則分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；其中，相關性準則由三項疊加而成，第一項用來衡量頂點與三維控制點之間的空間距離；第二項用來衡量頂點與三維控制點沿著關鍵模型序列運動時方向的相似性；第三項用來衡量頂點與三維控制點沿著關鍵模型序列運動時速率的接近性。6.一種交互式三維人臉表情動畫編輯系統，其特征在于，包括：控制點映射模塊，其用于將用戶自由指定且移動至期望位置的人臉模型的二維控制點象素映射到三維空間，得到人臉模型上對應的三維控制點；形變模型建立模塊，其用于建立由于用戶的編輯操作引起的三維控制點變形的形變模型；相關性系數計算模塊，其用于分別計算人臉模型上每一個頂點與三維控制點之間的相關性系數；動態區域劃分模塊，其用于依據相關性系數將人臉模型劃分成不同的動態區域，每個動態區域包含一個三維控制點；貢獻圖建立模塊，其用于構建三維控制點的貢獻圖，貢獻圖的節點與人臉模型的頂點一一對應，且節點內存儲相應人臉模型的頂點與三維控制點之間...

【專利技術屬性】
技術研發人員：遲靜，張彩明，高珊珊，劉慧，張云峰，
申請(專利權)人：山東財經大學，
類型：發明
國別省市：山東,37