一種基于運行傳播和Isomap分析的三維人臉動畫編輯與合成方法技術

本發明專利技術公開了一種基于運動傳播和Ｉｓｏｍａｐ分析的三維人臉動畫編輯與合成的方法。它首先讓用戶在三維人臉模型上選定控制點，并在二維平面上指定表情動作的約束條件；系統根據人臉動畫數據訓練一個先驗概率模型，將較少的用戶約束傳播到人臉網格的其他部分，從而生成完整生動的人臉表情；然后通過Ｉｓｏｍａｐ學習算法對三維人臉動畫知識進行建模，結合用戶指定的關鍵幀，擬合高維曲面上的平滑測地線，以自動合成新的人臉動畫序列。本發明專利技術可以使人臉表情的編輯只需要在二維投影空間上進行，使得人臉表情的編輯更加簡單，通過先驗概率模型的約束可以得到符合人體解剖學原理的三維人臉表情，結合用戶指定的關鍵幀自動合成新的人臉動畫序列，簡化人臉表情動畫的制作。

【技術實現步驟摘要】

本專利技術涉及計算機三維動畫
，尤其涉及一種基于運動傳播和 Isomap分析的三維人臉動畫編輯與合成方法。
技術介紹
三維人臉動畫技術最早的工作開始于1972年。其后的學者做了很多工作， 以期能夠生成逼真生動的三維人臉動畫。但由于人臉的解剖學結構非常復雜， 細微的非剛性運動難以用數學建模，同時，人們對人臉外觀的敏感性，使得這 一課題非常困難。目前越來越多采集的人臉動畫數據開始開放，三維人臉動畫 數據重用的工作取得了一些進展，基本上可以分為如下幾類三維人臉形狀的重用通過三維掃描儀采集人臉三維形狀數據庫，對采集 的數據進行去噪、平滑和修補后，建立網格之間的對應關系，新角色的三維人 臉可以表示為數據庫中的三維人臉形狀的線性組合。表情重定向將已有的人臉表情運動應用到新的角色上，運動位移針對新 角色的局部幾何特征進行旋轉、縮放等調整，表情運動在新的人臉模型上得到 真實再現。表情動畫編輯給定一些約束條件，在已有的三維人臉動畫庫中合成新的 動畫序列。表情動畫的編輯算法可以使已有的動畫數據自動適應劇本的要求。在動畫領域， 一種比較常用的方法是以插值方式生成中間幀(In-Between Frames),但這種方法生成的動畫比較生硬。
技術實現思路
本專利技術的目的是克服現有技術的不足，提供一種基于運動傳播和Isomap分 析的三維人臉動畫編輯與合成方法。此方法可以直觀的對人臉動畫的生成進行 交互式控制，結合先驗概率模型對人臉表情的約束，生成較為逼真的表情，同 時通過對人臉表情的知識學習，有效地重用人臉動畫數據，指定動畫的關鍵幀， 得到逼真的人臉表情動畫。為實現上述專利技術目的，本專利技術采用下述的技術方案基于運動傳播和Isomap分析的三維人臉動畫編輯與合成方法包括如下步驟1)用戶通過鼠標在二維屏幕的投影空間進行交互，選擇二維空間上人臉模 型的投影上的控制點用于約束，將用戶指定的約束條件由二維映射到三維空間，從而在三維人臉模型上選定控制點；2) 在建立用戶約束條件之后，把人臉動畫數據訓練一個先驗概率模型，通 過訓練數據估計一個多元高斯概率分布來增加約束條件，將用戶約束條件傳播 到人臉網格的未約束部分，對運動傳播的結果采用概率方法選擇最佳的人臉表 情模型。3) 人臉表情的變化分布在一個高維空間的流形上，通過對三維人臉模型的 頂點坐標首尾相接得到高維向量組成的表情動畫數據，用標準的Isomap算法來 對表情動畫數據處理，尋找人臉動畫序列的低維本征參數；4) 通過Isomap算法擬合高維曲面上的平滑測地線，用戶交互式指定關鍵 幀，從己有動畫庫中選取中間幀，以自動合成新的人臉動畫序列。所述的在建立用戶約束條件之后，把人臉動畫數據訓練一個先驗概率模型， 通過訓練數據估計一個多元高斯概率分布來增加約束條件，將用戶約束條件傳 播到人臉網格的未約束部分，對運動傳播的結果采用概率方法選擇最佳的人臉 表情模型步驟(a)對于包含^個人臉表情模型的訓練樣本，假設任意訓練樣本中的人臉 模型有m個頂點，每個表情模型根據大小、朝向進行對齊后，每個頂點以中性表情幀作為參照，提取每個頂點的運動向量^— ^， W"^，1^^，表示 第j幀第i個頂點的位移，每個點的運動向量的長度~=1卜"1，則將其規一化為[O，1): n，""為松弛因子。根據(建立256維運動向量直方圖<formula>formula see original document page 5</formula>(b )然后得到每個訓練樣本的直方圖、=( ，~"'"^")，其中 、—^I'(o《""55'"aao,表示第y個訓練樣本的第n維運動向量直方圖。對于第j個訓練表情運動幀的第n維運動向量直方圖，用如下的高斯分布表示其分布概率<formula>formula see original document page 5</formula>其中，、和^分別表示訓練數據的運動直方圖第n維的方差和均值。對于 從通過控制點約束采樣出來的表情運動幀，按照同樣的方法提取運動直方圖， 運動約束條件通過高斯分布傳播到人臉網格的其他未約束部分；255(c) 計算 ^ "，取，^最大值的幀作為關鍵幀，得到的關鍵幀 就是運動傳播采用概率方法選擇最佳的人臉表情模型。所述的人臉表情的變化分布在一個高維空間的流形上，通過對三維人臉模 型的頂點坐標首尾相接得到高維向量組成的表情動畫數據，用標準的Isomap算 法來對表情動畫數據處理，尋找人臉動畫序列的低維本征參數步驟(d) 對三維人臉模型的頂點坐標首尾相接得到高維向量組成的表情動畫數據；(e) 計算局部鄰域選擇距離度量函數計算輸入空間X中每一對數據點i， j之間的距離^("')，有兩種方式計算數據點、的局部鄰域w'， w'=^|ZM/'_/)"}， 或者w'取數據點^的k最近鄰。(f) 估計測地線距離，構建距離矩陣A("力以局部鄰域的數據點，構建 無向連接圖^7 = %，￡)，其中E為〈&、、 、4，局部鄰域數據點之間的連接，以A("')即無向圖的最短路徑來近似表示流形的測地線距離A^，/);(g) 應用MDS求解數據的d維低維流形嵌入。所述的通過Isomap算法擬合高維曲面上的平滑測地線，用戶交互式指定關 鍵幀，從已有動畫庫中選取中間幀，以自動合成新的人臉動畫序列步驟(h) 對鄰域選擇采用k最近鄰機制，用戶選擇最近鄰機制中的k值； (i )用戶手動選取動畫庫中的關鍵幀用于擬合人臉動畫序列的；(j)通過關鍵幀，在Isomap平滑曲線上自動擬合動關鍵幀之間的過渡幀， 得到人臉動畫序列。本專利技術與現有技術相比具有的有益效果(1) 在二維平面上指定表情動作的約束條件，再把約束條件映射到三維空 間，人臉表情的編輯只需要在二維投影空間上進行，使得人臉表情的編輯更加 簡單，提高了人臉動畫的制作效率；(2) 增加了先驗概率模型的約束，使得用戶約束傳播到最接近的真實人臉 表情，避免產生不符合人臉的解剖學原理的表情，提高了真實感表情的逼真性；(3) 通過Isomap學習算法對三維人臉動畫知識進行建模，然后結合用戶指定的關鍵幀，擬合高維曲面上的平滑測地線，能夠自動合成新的人臉動畫序列，簡化人臉表情動畫的制作。附圖說明下面結合附圖和具體實施對本專利技術作進一步的說明；圖1為本專利技術用戶約束選擇界面，其中黃色的點代表初始點位置，綠色的 點代表目標點約束；圖2 (a)為本專利技術中基于概率模型的運動傳播中用戶指定的約束條件；圖2 (b)為本專利技術中基于概率模型的運動傳播時符合約束條件的候選動畫幀；圖2 (c)為經過概率運動傳播后的動畫結果。圖3為本專利技術從某一對關鍵幀生成的過渡幀，起始幀為第51幀發怒表情， 終點幀為第357幀蹙眉表情。 具體實施例方式基于運動傳播和Isomap分析的三維人臉動畫編輯與合成方法包括如下步驟1) 用戶通過鼠標在二維屏幕的投影空間進行交互，選擇二維空間上人臉模 型的投影上的控制點用于約束，將用戶指定的約束條件由二維映射到三維空間， 從而在三維人臉模型上選定控制點；2) 在建立用戶約束條件之后，把人臉動畫數據訓練一個先驗概率模型，通 過訓練數據估計一個多元高斯概率分布來增加約束條件，將用戶約束條件傳播 到人臉網格的未約本文檔來自技高網...

【技術保護點】
一種基于運動傳播和Ｉｓｏｍａｐ分析的三維人臉動畫編輯與合成方法，其特征在于包括如下步驟：１）用戶通過鼠標在二維屏幕的投影空間進行交互，選擇二維空間上人臉模型的投影上的控制點用于約束，將用戶指定的約束條件由二維映射到三維空間，從而在三維人臉模型上選定控制點；　　　２）在建立用戶約束條件之后，把人臉動畫數據訓練一個先驗概率模型，通過訓練數據估計一個多元高斯概率分布來增加約束條件，將用戶約束條件傳播到人臉網格的未約束部分，對運動傳播的結果采用概率方法選擇最佳的人臉表情模型。３）人臉表情的變化分布在一個高維空間的流形上，通過對三維人臉模型的頂點坐標首尾相接得到高維向量組成的表情動畫數據，用標準的Ｉｓｏｍａｐ算法來對表情動畫數據處理，尋找人臉動畫序列的低維本征參數；４）通過Ｉｓｏｍａｐ算法擬合高維曲面上的平滑測地線，用戶交互式指定關鍵幀，從已有動畫庫中選取中間幀，以自動合成新的人臉動畫序列。

【技術特征摘要】

【專利技術屬性】
技術研發人員：莊越挺，王宇杰，王玉順，肖俊，
申請(專利權)人：浙江大學，
類型：發明
國別省市：86[中國|杭州]