基于特征點(diǎn)的人臉表情合成方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于混合變形策略的人臉表情合成算法。通過建立一個(gè)基于測(cè)地距的徑向基函數(shù)人臉表情的重定向模型，實(shí)現(xiàn)了從運(yùn)動(dòng)捕捉數(shù)據(jù)空間到目標(biāo)人臉模型運(yùn)動(dòng)空間的轉(zhuǎn)換。在人臉表情動(dòng)畫階段，利用了空間轉(zhuǎn)換的結(jié)果，使用基于鄰近特征點(diǎn)加權(quán)的局部變形方法求出頂點(diǎn)的局部運(yùn)動(dòng)，同時(shí)使用基于徑向基函數(shù)插值的全局變形方法求出了頂點(diǎn)的全局位移，最后將局部位移和全局位移進(jìn)行融合便得到了頂點(diǎn)的最終位移。本發(fā)明專利技術(shù)可將同一個(gè)捕捉序列應(yīng)用到不同的人臉模型，模型轉(zhuǎn)換比較容易，同時(shí)針對(duì)不同的捕捉序列也可用于同一個(gè)目標(biāo)模型，實(shí)現(xiàn)了運(yùn)動(dòng)捕捉數(shù)據(jù)的重用，同時(shí)也具有較強(qiáng)的動(dòng)畫真實(shí)感。附圖1所示為本發(fā)明專利技術(shù)的算法流程圖。

【技術(shù)實(shí)現(xiàn)步驟摘要】

【技術(shù)保護(hù)點(diǎn)】
一種基于特征點(diǎn)的人臉表情合成方法，其特征在于：包括如下步驟：第一步：表情空間的轉(zhuǎn)換建立首幀運(yùn)動(dòng)捕捉數(shù)據(jù)與目標(biāo)人臉模型標(biāo)記點(diǎn)之間的映射關(guān)系，映射關(guān)系可以表示如下：所述是首幀運(yùn)動(dòng)捕捉序列中的標(biāo)記點(diǎn)的空間坐標(biāo)(xi,yi,zi)；所述xi，yi和zi的單位均為毫米；是首幀序列中第i個(gè)標(biāo)記點(diǎn)和第j個(gè)標(biāo)記點(diǎn)之間的測(cè)地距，所述測(cè)地距單位是毫米；wj是待求的權(quán)值系數(shù)；n是標(biāo)記點(diǎn)的個(gè)數(shù)，所述n是一個(gè)整數(shù)，根據(jù)初始設(shè)置的標(biāo)記點(diǎn)個(gè)數(shù)其值為60；是目標(biāo)人臉模型上第i個(gè)標(biāo)記點(diǎn)的空間坐標(biāo)(xi,yi,zi)；所述xi，yi和zi的單位均為毫米，1≤i,j≤n；是一個(gè)多項(xiàng)式，其是一個(gè)仿射變換，在求解公式組成的線性系統(tǒng)時(shí)，同時(shí)計(jì)算該多項(xiàng)式項(xiàng)：若將上述線性系統(tǒng)寫成如下矩陣形式：M＝Φ·W，所述m=m10...mn00,]]>W=w1...wnq,]]>所述M∈Rn+3,3是目標(biāo)人臉模型上標(biāo)記點(diǎn)的空間位置矩陣，Φ是基于首幀序列的標(biāo)記點(diǎn)間測(cè)地距的徑向基函數(shù)組成的矩陣，所述權(quán)值矩陣W通過公式下式求出，W＝Φ?1M，對(duì)于第k幀捕捉序列，將公式M＝Φ·W中的Φ換成關(guān)于當(dāng)前幀標(biāo)記點(diǎn)位置的所述k是表情運(yùn)動(dòng)序列的長(zhǎng)度，即幀長(zhǎng)度；從而可以求得當(dāng)前幀目標(biāo)人臉模型上標(biāo)記點(diǎn)的位置矩陣M；第二步：基于鄰近特征點(diǎn)加權(quán)的局部變形策略，其有以下幾個(gè)步驟：步驟1：確定頂點(diǎn)的鄰近區(qū)域：首先，導(dǎo)入運(yùn)動(dòng)捕捉數(shù)據(jù)，對(duì)首幀數(shù)據(jù)中特征點(diǎn)進(jìn)行三角剖分，生成人臉面部網(wǎng)格。在人臉網(wǎng)格中，去除嘴部區(qū)域和眼部區(qū)域的偽關(guān)聯(lián)，對(duì)修正后的人臉網(wǎng)格進(jìn)行保存，便得到每個(gè)特征點(diǎn)的鄰近特征點(diǎn)集合；其次，在目標(biāo)人臉模型上計(jì)算每個(gè)頂點(diǎn)到所有特征點(diǎn)的測(cè)地距離。對(duì)于每個(gè)頂點(diǎn)來說，在所有的測(cè)地距中找到最小的距離值，并且將該特征點(diǎn)作為影響該頂點(diǎn)運(yùn)動(dòng)的主要特征點(diǎn)，該特征點(diǎn)的鄰近特征點(diǎn)集合就作為這個(gè)頂點(diǎn)的鄰近特征點(diǎn)區(qū)域；步驟2：基于鄰近特征點(diǎn)的加權(quán)方法：步驟3：局部變形的計(jì)算。針對(duì)于一個(gè)運(yùn)動(dòng)序列中的每一幀，頂點(diǎn)P的局部位移sp_local可以按照如下公式計(jì)算：sp_local=Σi=0nwipsidip2Σi=0nwipdip2,]]>其中，si是當(dāng)前幀中，頂點(diǎn)P的鄰近特征點(diǎn)Fi的位移(xi,yi,zi)，所述xi，yi和zi的單位均為毫米，wip是步驟2中計(jì)算出來的頂點(diǎn)P的鄰近特征點(diǎn)Fi的權(quán)重，dip是當(dāng)前幀中頂點(diǎn)P與特征點(diǎn)Fi之間的歐式距，單位毫米；第三步：基于徑向基函數(shù)的全局變形策略，包括以下幾個(gè)步驟：步驟1：針對(duì)每一幀的運(yùn)動(dòng)數(shù)據(jù)，在目標(biāo)人臉模型特征點(diǎn)和當(dāng)前幀特征點(diǎn)的位移之間構(gòu)建一個(gè)徑向基函數(shù)訓(xùn)練模型，求解出每一幀的徑向基權(quán)值矩陣W＝Φ?1M，Φ是標(biāo)記點(diǎn)之間的徑向基函數(shù)組成的矩陣，M為每一幀目標(biāo)人臉模型上特征點(diǎn)的位移矩陣，這里的位移是第一步求解出的當(dāng)前幀特征點(diǎn)的空間位置與目標(biāo)人臉模型特征點(diǎn)的空間位置的差值；步驟2：利用下面的公式建立一個(gè)變形模型所述是第k幀運(yùn)動(dòng)序列中第i個(gè)頂點(diǎn)Pi的位移，該位移用一個(gè)三維坐標(biāo)表示，其中和的單位都是毫米，是目標(biāo)人臉模型特征點(diǎn)和頂點(diǎn)之間的徑向函數(shù)信息，是根據(jù)第三步中步驟1求得的第k幀運(yùn)動(dòng)序列的徑向基權(quán)值矩陣W中提取的權(quán)值系數(shù)；第四步：局部變形與全局變形的混合：sp＝αsp_local+(1?α)sp_global，對(duì)于一個(gè)運(yùn)動(dòng)捕捉序列中其中一幀，目標(biāo)人臉模型上的頂點(diǎn)P的位移sp由第二步求出的局部位移sp_local和第三步求出的全局位移sp_global組成，α是融合系數(shù)，0＜α＜1，所有位移都用三維坐標(biāo)表示，其中和的單位都是毫米；第五步：重復(fù)第二步到第四步，即可求出所有幀中目標(biāo)人臉模型上每個(gè)頂點(diǎn)的位置，實(shí)時(shí)更新每個(gè)頂點(diǎn)的空間坐標(biāo)位置，這樣就可產(chǎn)生人臉表情動(dòng)畫。...

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：蓋麗，
申請(qǐng)(專利權(quán))人：大連佑嘉軟件科技有限公司，
類型：發(fā)明
國(guó)別省市：遼寧;21