一種人臉表情克隆方法技術

本發明專利技術一種人臉表情克隆方法，涉及三維(3D)圖像的加工，是一種基于運動捕捉數據的人臉表情克隆方法，一、預先捕捉一系列人臉面部運動序列；二、人臉面部生氣、厭惡、恐懼、高興、悲傷和吃驚六個基本表情信息的運動捕捉；三、對運動捕捉到的人臉面部六個基本表情信息進行處理；四、構建源面部和目標面部關鍵模型；五、選取四十一個人臉面部特征點；六、人臉表情的轉移；七、生成人臉克隆表情。本發明專利技術克服了現有技術中均一權值保真度低和余切權值計算不穩定的問題以及運動捕捉設備有較高的要求和處理速度較慢的缺陷。

【技術實現步驟摘要】

本專利技術的技術方案涉及三維(3D)圖像的加工，具體地說是。
技術介紹
人臉表情克隆技術是將人臉的表情克隆到與源模型具有不同拓撲結構的目標模型上，目標模型可以是不同性別不同種族的人，也可以是與人臉拓撲結構有很大差異的動物。基于數據驅動的人臉表情克隆技術充分利用已有的頂點運動數據可以快速合成真實和自然的克隆表情。近年來，該技術廣泛的應用于計算機動畫、計算機游戲和計算機視覺領域。從人的視覺要求出發，總是希望克隆的人臉表情能夠盡可能地達到逼真，但由于受模型和計算機能力的限制，合成的圖像總是與人們的要求有一定的差距。在克隆表情工作后期經常需要對眼睛和牙齒這些臉部凹陷的區域作后期處理，而且變形過程中往往需要融合多種方法，制作要求較高。現有技術中的一些研究人員曾利用已有頂點的動畫數據，提出了一種基于徑向基函數(RBF)的表情克隆方法(參見Junyong Noh and UlrichNeumann.Expression cloning.1n Proceedings of ACM SIGGRAPHjpages277 - 288，NewYork, USA, 2001)。這種方法僅僅轉移了運動矢量，而對于稀疏的源數據，將會丟失源模型的部分表情細節。還有一些研究人員通過預先記錄的人臉運動捕捉數據庫，提出一種基于人臉面部特征點的人臉表情動畫方法來合成真實的表情動畫，然而動畫的質量嚴重依賴于龐大的數據庫(參見 Zhigang Deng and Ulrich.Expressive speech animation synthesiswith phoneme-level control.Computer Graph Forum, 27:2096 - 2113,2008)。另有一些研究人員通過增加邊界約束條件，將重定義問題用泊松方程來表示，利用貝葉斯公式產生與源運動一致的目標動畫，這種方法僅集中于大規模的臉部變形，沒有考慮現實的皺紋這些小尺度細節(參見 Yeongho Seol, J.P.Lewis, Jaewoo Seo, Byungkuk Choi, Ken Aniyoand Junyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions onGraphics, 31:1-12, 2012)。最近，Bhat和Goldenthal等人又提出了一種基于人臉重要輪廓特征的表演捕捉方法，該方法主要是對眼睛和嘴部這些人臉表情的關鍵區域進行表情匹配處理來得到高質量的克隆表情，這種方法對運動捕捉設備有較高的要求(參見KiranS.Bhat, Rony Goldenthal, Yuting Ye, Ronald Mallet and Michael Koperwas.High fidelityfacial animation capture and retargeting with contours.1n Proceedings of the ACMSIGGRAPH, pages7-14, New York, USA, 2013)。CN101944238A 公開了一種基于拉普拉斯變換的數據驅動人臉表情合成方法，首先將采集表演者的臉部運動數據分解為臉部表情運動和頭部剛體運動，計算載入的中性目標人臉模型中各頂點的拉普拉斯坐標，然后將臉部表情運動遷移到中性目標人臉模型上，使得中性目標人臉模型具有與表演者一致的表情，最后將頭部剛體運動遷移到具有與表演者一致表情的目標人臉模型上，使得最終的目標人臉模型具有與表演者一致的面部表情和姿態。此方法的缺點是:對于頂點數目較多的模型，該方法的處理速度較慢，同時沒有考慮復雜的眼睛和牙齒運動。
技術實現思路
本專利技術所要解決的技術問題是:提供，是一種基于運動捕捉數據的人臉表情克隆方法，首先使用攝像機捕捉人臉六種基本表情數據，并對數據進行處理，然后分別構建與源面部和目標面部模型對應的關鍵模型，并在表現人臉表情的關鍵區域選取四十一個人臉面部特征點，通過采用凸權值的拉普拉斯變形算法將人臉表情轉移到目標模型上，很好保留了人臉表情的細節，克服了現有技術中均一權值保真度低和余切權值計算不穩定的問題以及運動捕捉設備有較高的要求和處理速度較慢的缺陷。本專利技術解決該技術問題所采用的技術方案是:，是一種基于運動捕捉數據的人臉表情克隆方法，步驟如下:第一步，預先捕捉一系列人臉面部運動序列:先利用運動捕捉設備捕捉表演者的面部肌肉活動，收集人臉面部特征點的原始數據，即特征點的位置關系；第二步，人臉面部六個基本表情信息的運動捕捉:利用運動捕捉設備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、聞興、悲傷和吃驚的?目息；第三步，對運動捕捉到的人臉面部六個基本表情信息進行處理:(I)原始數據標記標號:對人臉面部特征點的原始數據進行標記標號，生成統一的人臉面部特征點模板，進而在每個人臉面部特征點附近生成局部坐標的相關信息；(2)數據清理:上述(I)中的統一的人臉面部特征點模板提供了相鄰人臉面部特征點的位置、坐標以及單個人臉面部特征點的活動范圍信息，利用上述(I)中的局部坐標關系對丟失的人臉面部特征點進行數據清理；(3)間隙填充:上述(I)中生成的局部坐標相對人臉的前額、鼻尖或者下巴的位置關系不變，將局部坐標看作靜止參考點，根據三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特征點，四個標記作為一組坐標來估計和確定丟失人臉面部特征點的間隙位置信息；(4)數據歸一化:在捕捉過程中，對于丟失的人臉面部特征點，通過上面的數據清理和間隙填充達到數據歸一化；第四步，構建源面部和目標面部關鍵模型:首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強烈表情為關鍵表情，然后通過變形源人臉模型和目標模型各自帶有的中性表情的基本模型來產生它們的各自帶有的關鍵表情的關鍵模型；第五步，選取四十一個人臉面部特征點:按照MPEG-4標準，在人臉關鍵表情區域標記四十一個人臉面部特征點，其中四十一個人臉面部特征點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現人臉表情的關鍵特征區域進行選點；第六步，人臉表情的轉移(I)對第四步中確定的每一種關鍵表情通過計算源模型人臉面部特征點的位移來參數化目標模型人臉面部特征點的位移向量:在源基本模型上交互地選擇四十一個人臉面部特征點，然后提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關鍵模型的位移，連接這些位移，形成每個源關鍵模型的位移向量來參數化對應的目標關鍵模型，標記人臉面部特征點時，只在源基本模型上標記，其它關鍵模型的這些人臉面部特征點可以根據它們與源基本模型的頂點對應關系來自動確定，當參數空間的維數遠遠高于目標關鍵模型的維數時，要采用主成分分析方法，即PCA方法，進行降維；(2)將全局坐標變成拉普拉斯坐標:全局坐標是位于全局坐標系中的坐標，拉普拉斯坐標為頂點與其鄰接頂點坐標加權和的差，對每個i = 1，2，...，11，定義叭1)為頂點Vi所有鄰接點的集合，Cli為集合N(i)中元素的個數，拉普拉斯坐標可以表示為:本文檔來自技高網...

【技術保護點】
一種人臉表情克隆方法，其特征在于：是一種基于運動捕捉數據的人臉表情克隆方法，步驟如下：第一步，預先捕捉一系列人臉面部運動序列：先利用運動捕捉設備捕捉表演者的面部肌肉活動，收集人臉面部特征點的原始數據，即特征點的位置關系；第二步，人臉面部六個基本表情信息的運動捕捉：利用運動捕捉設備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、高興、悲傷和吃驚的信息；第三步，對運動捕捉到的人臉面部六個基本表情信息進行處理：(1)原始數據標記標號：對人臉面部特征點的原始數據進行標記標號，生成統一的人臉面部特征點模板，進而在每個人臉面部特征點附近生成局部坐標的相關信息；(2)數據清理：上述(1)中的統一的人臉面部特征點模板提供了相鄰人臉面部特征點的位置、坐標以及單個人臉面部特征點的活動范圍信息，利用上述(1)中的局部坐標關系對丟失的人臉面部特征點進行數據清理；(3)間隙填充：上述(1)中生成的局部坐標相對人臉的前額、鼻尖或者下巴的位置關系不變，將局部坐標看作靜止參考點，根據三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特征點，四個標記作為一組坐標來估計和確定丟失人臉面部特征點的間隙位置信息；(4)數據歸一化：在捕捉過程中，對于丟失的人臉面部特征點，通過上面的數據清理和間隙填充達到數據歸一化；第四步，構建源面部和目標面部關鍵模型：首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強烈表情為關鍵表情，然后通過變形源人臉模型和目標模型各自帶有的中性表情的基本模型來產生它們的各自帶有的關鍵表情的關鍵模型；第五步，選取四十一個人臉面部特征點：按照MPEG?4標準，在人臉關鍵表情區域標記四十一個人臉面部特征點，其中四十一個人臉面部特征點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現人臉表情的關鍵特征區域進行選點；第六步，人臉表情的轉移(1)對第四步中確定的每一種關鍵表情通過計算源模型人臉面部特征點的位移來參數化目標模型人臉面部特征點的位移向量：在源基本模型上交互地選擇四十一個人臉面部特征點，然后提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關鍵模型的位移，連接這些位移，形成每個源關鍵模型的位移向量來參數化對應的目標關鍵模型，標記人臉面部特征點時，只在源基本模型上標記，其它關鍵模型的這些人臉面部特征點可以根據它們與源基本模型的頂點對應關系來自動確定，當參數空間的維數遠遠高于目標關鍵模型的維數時，要采用主成分分析方法，即PCA方法，進行降維；(2)將全局坐標變成拉普拉斯坐標：全局坐標是位于全局坐標系中的坐標，拉普拉斯坐標為頂點與其鄰接頂點坐標加權和的差，對每個i＝1,2,...,n，定義N(i)為頂點vi所有鄰接點的集合，di為集合N(i)中元素的個數，拉普拉斯坐標可以表示為：δi=(δix,δiy,δiz)=vi-1diΣj∈N(i)vj;]]>第七步，生成人臉克隆表情：目標模型的坐標表示為：V~=arg minV(||LV-δ||2+Σj=1mwj2|vj-cj|2),]]>其中，為目標模型表情克隆后的所有頂點坐標，V為初始坐標，δ為V對應的拉普拉斯坐標，wj為頂點vj的權重，cj為目標模型上第j個人臉面部特征點，采用最小二乘法，求解這個能量方程，當誤差函數最小時，求得目標模型的坐標，生成人臉克隆表情。...

【技術特征摘要】
1.一種人臉表情克隆方法，其特征在于:是一種基于運動捕捉數據的人臉表情克隆方法，步驟如下: 第一步，預先捕捉一系列人臉面部運動序列: 先利用運動捕捉設備捕捉表演者的面部肌肉活動，收集人臉面部特征點的原始數據，即特征點的位置關系； 第二步，人臉面部六個基本表情信息的運動捕捉: 利用運動捕捉設備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、高興、悲傷和吃驚的信息； 第三步，對運動捕捉到的人臉面部六個基本表情信息進行處理: (1)原始數據標記標號:對人臉面部特征點的原始數據進行標記標號，生成統一的人臉面部特征點模板，進而在每個人臉面部特征點附近生成局部坐標的相關信息； (2)數據清理:上述(I)中的統一的人臉面部特征點模板提供了相鄰人臉面部特征點的位置、坐標以及單個人臉面部特征點的活動范圍信息，利用上述(I)中的局部坐標關系對丟失的人臉面部特征點進行數據清理； (3)間隙填充:上述(I)中生成的局部坐標相對人臉的前額、鼻尖或者下巴的位置關系不變，將局部坐標看作靜止參考點，根據三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特征點，四個標記作為一組坐標來估計和確定丟失人臉面部特征點的間隙位置信息； (4)數據歸一化:在捕捉過程中，對于丟失的人臉面部特征點，通過上面的數據清理和間隙填充達到數據歸一化； 第四步，構建源面部和目標面部關鍵模型: 首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強烈表情為關鍵表情，然后通過變形源人臉模型和目標模型各自帶有的中性表情的基本模型來產生它們的各自帶有的關鍵表情的關鍵模型； 第五步，選取四十一個人臉面部特征點: 按...

【專利技術屬性】
技術研發人員：張滿囤，葛新杰，霍江雷，肖智東，游理華，張建軍，
申請(專利權)人：河北工業大學，
類型：發明
國別省市：天津;12