一種表情合成方法及裝置制造方法及圖紙

本申請實施例公開了一種表情合成方法及裝置，實現(xiàn)了提高根據(jù)合成的具有目標表情的目標臉的真實性的目的。其中，所述方法包括：獲取目標臉的待處理表情的表情數(shù)據(jù)；獲取標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)；根據(jù)所述標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)得到滿足預(yù)設(shè)條件的表情數(shù)據(jù)；利用所述預(yù)設(shè)條件的表情數(shù)據(jù)得到所述目標臉具有目標表情時的第一表情數(shù)據(jù)；按照預(yù)設(shè)規(guī)則構(gòu)建目標函數(shù)，并以所述第一表情數(shù)據(jù)為約束條件，得到當所述目標函數(shù)的值滿足預(yù)設(shè)條件時，所述目標臉具有目標表情時的第二表情數(shù)據(jù)；根據(jù)所述目標臉的所述第一表情數(shù)據(jù)和所述第二表情數(shù)據(jù)合成具有所述目標表情的目標臉。

【技術(shù)實現(xiàn)步驟摘要】
一種表情合成方法及裝置
本申請涉及動畫
，尤其涉及一種表情合成方法及裝置。
技術(shù)介紹
在社會交往中，人臉表情能夠傳達重要、豐富的信息。隨著計算機技術(shù)的快速發(fā)展，表情合成技術(shù)在圖形圖像處理、計算機輔助設(shè)計等領(lǐng)域受到越來越多研究人員的關(guān)注。它在游戲娛樂、媒體制作、虛擬現(xiàn)實設(shè)計、遠程虛擬通訊、遠程醫(yī)療服務(wù)、虛擬視頻會議、虛擬角色交互應(yīng)用等方面有著重要的用途。基于三維空間模型的人臉表情合成是目前的研究熱點。人臉表情的合成實質(zhì)上是人臉表情數(shù)據(jù)的合成。通過將人臉在三維空間中建模，可以得到人臉上每個頂點在三維空間中的位置坐標。對于不同的表情，人臉的各頂點的位置坐標是不相同的。例如，一般情況下，人在微笑的時候嘴、眼睛、鼻子等部位都會有相應(yīng)變化，嘴角會上揚、眼瞼會收縮、鼻孔會張大。所以，當人在微笑時，這些部位對應(yīng)的頂點的位置坐標和人在其他表情(例如沒有表情、憤怒、傷心等表情)下對應(yīng)的位置坐標是不相同的。目前通常采用融合變形(BlendShape)的方式對人臉的表情數(shù)據(jù)進行合成。融合變形的原理為：首先獲取標準人臉的第一表情的表情數(shù)據(jù)與標準人臉的第二表情的表情數(shù)據(jù)之間的差值，然后將該差值與目標人臉的當前表情的表情數(shù)據(jù)相加或相減，得到目標人臉的目標表情的表情數(shù)據(jù)，所述第二表情和所述當前表情是相匹配的，第一表情和目標表情是相匹配的。其中，標準人臉是標準人的臉，是作為基準的人臉，它可以通過對某個實際人臉模擬得到，也可以是抽象出來的人臉；目標人臉為用戶的臉。舉個例子，假設(shè)標準人臉的第一表情為微笑，第二表情為沒有表情；目標人臉的當前表情也為沒有表情，目標表情為微笑。那么目標人臉微笑對應(yīng)的表情數(shù)據(jù)是根據(jù)標準人臉微笑對應(yīng)的表情數(shù)據(jù)和標準人臉沒有表情對應(yīng)的表情數(shù)據(jù)之間的差值，與目標人臉沒有表情對應(yīng)的表情數(shù)據(jù)進行相加得到。因為在第一表情和第二表情在被選定的情況下，標準人臉的第一表情的表情數(shù)據(jù)與標準人臉的第二表情的表情數(shù)據(jù)之間的差值是固定的，所以不管目標人臉是什么特點，其表情數(shù)據(jù)計算的基準是相同的。而不同用戶的人臉形狀與標準人的人臉形狀通常均有差別，比如眼睛大小不一、眉毛高低不一、人臉輪廓不一等，所以根據(jù)現(xiàn)有技術(shù)的融合變形方法得到目標人臉的目標表情的表情數(shù)據(jù)可能會與目標人臉真實在做目標表情時得到的表情數(shù)據(jù)差距較大，甚至?xí)霈F(xiàn)不符合生理現(xiàn)象的可能。
技術(shù)實現(xiàn)思路
為了解決現(xiàn)有技術(shù)中存在的技術(shù)問題，本申請?zhí)峁┝吮砬楹铣煞椒把b置，實現(xiàn)了提高根據(jù)合成的具有目標表情的目標臉的真實性的目的。本申請?zhí)峁┝艘环N表情合成方法，所述方法包括：獲取目標臉的待處理表情的表情數(shù)據(jù)，所述待處理表情的表情數(shù)據(jù)為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)，所述第一表情的表情數(shù)據(jù)為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數(shù)據(jù)為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應(yīng)，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據(jù)所述標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)得到滿足預(yù)設(shè)條件的表情數(shù)據(jù)，所述滿足預(yù)設(shè)條件的表情數(shù)據(jù)為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預(yù)設(shè)條件的表情數(shù)據(jù)得到所述目標臉具有目標表情時的第一表情數(shù)據(jù)，所述目標表情與所述第二表情相同，所述第一表情數(shù)據(jù)的頂點和所述預(yù)設(shè)條件的表情數(shù)據(jù)的頂點相匹配；按照預(yù)設(shè)規(guī)則構(gòu)建目標函數(shù)，并以所述第一表情數(shù)據(jù)為約束條件，得到當所述目標函數(shù)的值滿足預(yù)設(shè)條件時，所述目標臉具有目標表情時的第二表情數(shù)據(jù)，所述第二表情數(shù)據(jù)為所述目標臉的除所述第一表情數(shù)據(jù)的頂點以外的其他頂點的位置坐標；根據(jù)所述目標臉的所述第一表情數(shù)據(jù)和所述第二表情數(shù)據(jù)合成具有所述目標表情的目標臉。可選的，所述預(yù)設(shè)規(guī)則至少包括以下其中一個：第一規(guī)則：所述目標臉從所述待處理表情變化到目標表情時面部整體變形程度，與所述標準臉從所述第一表情變化到所述第二表情的面部整體變形程度趨近一致；第二規(guī)則：根據(jù)所述目標臉的第一表情數(shù)據(jù)和第二表情數(shù)據(jù)形成的目標臉是平滑的；第三規(guī)則：所述目標臉在具有目標表情時的肌肉線條形狀和所述標準臉在具有第二表情時的肌肉線條形狀趨近一致；第四規(guī)則：所述目標臉在具有目標表情時非肌肉線條之間的位置關(guān)系，和所述標準臉在具有第二表情時非肌肉線條之間的位置關(guān)系趨近一致。可選的，若所述預(yù)設(shè)規(guī)則包括第一規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉從所述待處理表情變化到所述目標表情時三角面的運動幅度，和所述標準臉從第一表情變化到第二表情時對應(yīng)三角面的運動幅度之差得到，所述三角面是由三個頂點構(gòu)成的面，所述目標臉的三角面用于拼成所述目標臉，所述標準臉的三角面用于拼成所述標準臉。可選的，若所述預(yù)設(shè)規(guī)則包括第二規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉從所述待處理表情變化到所述目標表情時，所述目標臉的第一三角面的變形程度和第二三角面的變形程度之差得到，所述第一三角面和所述第二三角面為由各自的三個頂點構(gòu)成的面，所述第一三角面和所述第二三角面用于拼成目標臉，所述第一三角面和所述第二三角面為相鄰的三角面。可選的，若所述預(yù)設(shè)規(guī)則包括第三規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉在具有目標表情時肌肉線條對應(yīng)的頂點序列形成的第一向量，和所述標準臉在具有第二表情時所述肌肉線條對應(yīng)的頂點序列形成的第二向量之方向差得到。可選的，若所述預(yù)設(shè)規(guī)則包括第四規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉的第一位置坐標差和所述標準臉在具有第二表情時的第二位置坐標差得到；所述第一位置坐標差為所述目標臉在具有目標表情時的第一非肌肉線條對應(yīng)的頂點序列和第二非肌肉線條對應(yīng)的頂點序列之間對應(yīng)頂點的位置坐標差；所述第二位置坐標差為與所述標準臉在具有第二表情時所述第一非肌肉線條對應(yīng)的頂點序列和所述第二非肌肉線條對應(yīng)的頂點序列之間對應(yīng)頂點的位置坐標差；所述第一非肌肉線條對應(yīng)的頂點序列中各頂點和所述第二非肌肉線條對應(yīng)的頂點序列中各頂點一一對應(yīng)。本申請還提供了一種表情合成裝置，所述裝置包括：待處理表情數(shù)據(jù)獲取單元、標準臉表情數(shù)據(jù)獲取單元、預(yù)設(shè)條件表情數(shù)據(jù)獲取單元、第一表情數(shù)據(jù)獲取單元、第二表情數(shù)據(jù)獲取單元和表情合成單元；其中，所述待處理表情數(shù)據(jù)獲取單元，用于獲取目標臉的待處理表情的表情數(shù)據(jù)，所述待處理表情的表情數(shù)據(jù)為所述目標臉具有所述待處理表情時各頂點的位置坐標；所述標準臉表情數(shù)據(jù)獲取單元，用于獲取標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)，所述第一表情的表情數(shù)據(jù)為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數(shù)據(jù)為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應(yīng)，且所述標準臉的第一表情與所述目標臉的待處理表情相同；所述預(yù)設(shè)條件表情數(shù)據(jù)獲取單元，用于根據(jù)所述標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)得到滿足預(yù)設(shè)條件的表情數(shù)據(jù)，所述滿足預(yù)設(shè)條件的表情數(shù)據(jù)為運動幅度小于或等于閾值的頂點的位置坐標；所述第一表情數(shù)據(jù)獲取單元，用于利用所述預(yù)設(shè)條件的表情數(shù)據(jù)得到所述目標臉具有目標表情時的第一表情數(shù)據(jù)，所述目標表情與所述第二表情相同，所述第一表情數(shù)據(jù)的頂點和所述預(yù)設(shè)條件的表情數(shù)據(jù)的頂點相匹配；所述第二表本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種表情合成方法，其特征在于，所述方法包括：獲取目標臉的待處理表情的表情數(shù)據(jù)，所述待處理表情的表情數(shù)據(jù)為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)，所述第一表情的表情數(shù)據(jù)為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數(shù)據(jù)為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應(yīng)，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據(jù)所述標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)得到滿足預(yù)設(shè)條件的表情數(shù)據(jù)，所述滿足預(yù)設(shè)條件的表情數(shù)據(jù)為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預(yù)設(shè)條件的表情數(shù)據(jù)得到所述目標臉具有目標表情時的第一表情數(shù)據(jù)，所述目標表情與所述第二表情相同，所述第一表情數(shù)據(jù)的頂點和所述預(yù)設(shè)條件的表情數(shù)據(jù)的頂點相匹配；按照預(yù)設(shè)規(guī)則構(gòu)建目標函數(shù)，并以所述第一表情數(shù)據(jù)為約束條件，得到當所述目標函數(shù)的值滿足預(yù)設(shè)條件時，所述目標臉具有目標表情時的第二表情數(shù)據(jù)，所述第二表情數(shù)據(jù)為所述目標臉的除所述第一表情數(shù)據(jù)的頂點以外的其他頂點的位置坐標；根據(jù)所述目標臉的所述第一表情數(shù)據(jù)和所述第二表情數(shù)據(jù)合成具有所述目標表情的目標臉。...

【技術(shù)特征摘要】
1.一種表情合成方法，其特征在于，所述方法包括：獲取目標臉的待處理表情的表情數(shù)據(jù)，所述待處理表情的表情數(shù)據(jù)為所述目標臉具有所述待處理表情時各頂點的位置坐標；獲取標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)，所述第一表情的表情數(shù)據(jù)為所述標準臉具有所述第一表情時各頂點的位置坐標，所述第二表情的表情數(shù)據(jù)為所述標準臉具有所述第二表情時各頂點的位置坐標，所述目標臉的各頂點和所述標準臉的各頂點一一對應(yīng)，且所述標準臉的第一表情與所述目標臉的待處理表情相同；根據(jù)所述標準臉的第一表情的表情數(shù)據(jù)和所述標準臉的第二表情的表情數(shù)據(jù)得到滿足預(yù)設(shè)條件的表情數(shù)據(jù)，所述滿足預(yù)設(shè)條件的表情數(shù)據(jù)為運動幅度小于或等于閾值的頂點的位置坐標；利用所述預(yù)設(shè)條件的表情數(shù)據(jù)得到所述目標臉具有目標表情時的第一表情數(shù)據(jù)，所述目標表情與所述第二表情相同，所述第一表情數(shù)據(jù)的頂點和所述預(yù)設(shè)條件的表情數(shù)據(jù)的頂點相匹配；按照預(yù)設(shè)規(guī)則構(gòu)建目標函數(shù)，并以所述第一表情數(shù)據(jù)為約束條件，得到當所述目標函數(shù)的值滿足預(yù)設(shè)條件時，所述目標臉具有目標表情時的第二表情數(shù)據(jù)，所述第二表情數(shù)據(jù)為所述目標臉的除所述第一表情數(shù)據(jù)的頂點以外的其他頂點的位置坐標；根據(jù)所述目標臉的所述第一表情數(shù)據(jù)和所述第二表情數(shù)據(jù)合成具有所述目標表情的目標臉。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)規(guī)則至少包括以下其中一個：第一規(guī)則：所述目標臉從所述待處理表情變化到目標表情時面部整體變形程度，與所述標準臉從所述第一表情變化到所述第二表情的面部整體變形程度趨近一致；第二規(guī)則：根據(jù)所述目標臉的第一表情數(shù)據(jù)和第二表情數(shù)據(jù)形成的目標臉是平滑的；第三規(guī)則：所述目標臉在具有目標表情時的肌肉線條形狀和所述標準臉在具有第二表情時的肌肉線條形狀趨近一致；第四規(guī)則：所述目標臉在具有目標表情時非肌肉線條之間的位置關(guān)系，和所述標準臉在具有第二表情時非肌肉線條之間的位置關(guān)系趨近一致。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述預(yù)設(shè)規(guī)則包括第一規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉從所述待處理表情變化到所述目標表情時三角面的運動幅度，和所述標準臉從第一表情變化到第二表情時對應(yīng)三角面的運動幅度之差得到，所述三角面是由三個頂點構(gòu)成的面，所述目標臉的三角面用于拼成所述目標臉，所述標準臉的三角面用于拼成所述標準臉。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述預(yù)設(shè)規(guī)則包括第二規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉從所述待處理表情變化到所述目標表情時，所述目標臉的第一三角面的變形程度和第二三角面的變形程度之差得到，所述第一三角面和所述第二三角面為由各自的三個頂點構(gòu)成的面，所述第一三角面和所述第二三角面用于拼成目標臉，所述第一三角面和所述第二三角面為相鄰的三角面。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述預(yù)設(shè)規(guī)則包括第三規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉在具有目標表情時肌肉線條對應(yīng)的頂點序列形成的第一向量，和所述標準臉在具有第二表情時所述肌肉線條對應(yīng)的頂點序列形成的第二向量之方向差得到。6.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述預(yù)設(shè)規(guī)則包括第四規(guī)則，則所述目標函數(shù)根據(jù)所述目標臉的第一位置坐標差和所述標準臉在具有第二表情時的第二位置坐標差得到；所述第一位置坐標差為所述目標臉在具有目標表情時的第一非肌肉線條對應(yīng)的頂點序列和第二非肌肉線條對應(yīng)的頂點序列之間對應(yīng)頂點的位置坐標差；所述第二位置坐標差為與所述標準臉在具有第二表情時所述第一非肌肉線條對應(yīng)的頂點序列和所述第二非肌肉線條對應(yīng)的頂點序列之間對應(yīng)頂點的位置坐標差；所述第一非肌肉線條對應(yīng)的頂點序列中各頂點和所述第二非肌肉線條對應(yīng)的頂點序列中各頂點一一對應(yīng)。7.一種表情合成裝置，其特征在于，所述裝置包括：待處理表情數(shù)據(jù)獲取單元、標準臉表情數(shù)據(jù)獲取單元、預(yù)設(shè)條件表情數(shù)據(jù)獲取單元、第一表情數(shù)據(jù)獲取單元、第二表情數(shù)據(jù)獲取單...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳松城，陳軍宏，
申請(專利權(quán))人：廈門幻世網(wǎng)絡(luò)科技有限公司，
類型：發(fā)明
國別省市：福建,35