【技術實現步驟摘要】
本專利技術涉及圖像處理，尤其涉及一種基于表情參數控制的面部表情生成方法、裝置和設備。
技術介紹
1、目前采用生成對抗網絡(generative?adversarial?network，gan)實現面部表情控制的模型常用幾類帶有離散表情標簽的面部表情圖片進行訓練，盡管可以從單張圖片生成笑臉表情，但是大多數依據離散標簽的方法受標簽的局限，其共同的不足之處是生成的表情不具有連續性，表情之間的過渡效果差，生成圖片真實感不強。除采用標簽的面部表情控制方法外，還有一些基于草圖編輯的gan模型，采用掩膜、彩色筆畫和草圖作為輸入來生成圖像。盡管此種基于草圖編輯的方法在面部表情控制方面對于用戶具有更大的自由度，但其生成圖片的質量和效果受草圖的影響很大，若草圖繪制不合理或與源圖片人物面部特征不相匹配，則生成圖像的真實感將較低，人物的身份信息也難以保存。
技術實現思路
1、針對現有技術存在的問題，本專利技術提供一種基于表情參數控制的面部表情生成方法、裝置和設備。
2、第一方面，本專利技術提供一種基于表情參數控制的面部表情生成方法，包括：
3、獲取第一圖像和第一目標表情面部動作單元au向量；
4、將所述第一圖像和所述第一目標表情au向量輸入面部表情生成模型，得到第一圖像對應的第一目標表情圖像；
5、所述第一目標表情au向量，是基于目標表情圖像集中各個圖像對應的au向量確定的，或者，是基于所述第一圖像對應的au向量和第二目標表情圖像對應的au向量確定的；>
6、所述面部表情生成模型，是基于樣本圖像和樣本表情au向量，以及表情判別模型訓練得到的，所述面部表情生成模型與所述表情判別模型構成生成對抗網絡，所述表情判別模型用于區分虛擬表情和真實表情。
7、可選地，基于目標表情圖像集中各個圖像對應的au向量確定所述第一目標表情au向量，包括：
8、基于所述目標表情圖像集中各個圖像對應的au向量的平均值，確定第二目標表情au向量；
9、基于所述第二目標表情au向量，確定所述第一目標表情au向量。
10、可選地，基于所述第一圖像對應的au向量和第二目標表情圖像對應的au向量確定所述第一目標表情au向量，包括：
11、基于所述第二目標表情圖像對應的au向量中與目標表情相關的至少一個au單元，和所述第一圖像對應的au向量，確定第二目標表情au向量；
12、基于所述第二目標表情au向量，確定所述第一目標表情au向量。
13、可選地，所述基于所述第二目標表情圖像對應的au向量中與目標表情相關的至少一個au單元，和所述第一圖像對應的au向量，確定第二目標表情au向量，包括：
14、使用所述第二目標表情圖像對應的au向量中與目標表情相關的au單元，替換所述第一圖像對應的au向量中相應位置的au單元，得到所述第二目標表情au向量。
15、可選地，所述基于所述第二目標表情au向量，確定所述第一目標表情au向量，包括：
16、將所述第二目標表情au向量，確定為所述第一目標表情au向量；或者，
17、對所述第一圖像對應的au向量和所述第二目標表情au向量進行線性插值，得到所述第一目標表情au向量。
18、第二方面，本專利技術還提供一種基于表情參數控制的面部表情生成裝置，包括：
19、獲取模塊，用于獲取第一圖像和第一目標表情au向量；
20、確定模塊，用于將所述第一圖像和所述第一目標表情au向量輸入面部表情生成模型，得到第一圖像對應的第一目標表情圖像；
21、所述第一目標表情au向量，是基于目標表情圖像集中各個圖像對應的au向量確定的，或者，是基于所述第一圖像對應的au向量和第二目標表情圖像對應的au向量確定的；
22、所述面部表情生成模型，是基于樣本圖像和樣本表情au向量，以及表情判別模型訓練得到的，所述面部表情生成模型與所述表情判別模型構成生成對抗網絡，所述表情判別模型用于區分虛擬表情和真實表情。
23、可選地，基于目標表情圖像集中各個圖像對應的au向量確定所述第一目標表情au向量，包括：
24、基于所述目標表情圖像集中各個圖像對應的au向量的平均值，確定第二目標表情au向量；
25、基于所述第二目標表情au向量，確定所述第一目標表情au向量。
26、可選地，基于所述第一圖像對應的au向量和第二目標表情圖像對應的au向量確定所述第一目標表情au向量，包括：
27、基于所述第二目標表情圖像對應的au向量中與目標表情相關的至少一個au單元，和所述第一圖像對應的au向量，確定第二目標表情au向量；
28、基于所述第二目標表情au向量，確定所述第一目標表情au向量。
29、第三方面，本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上所述第一方面所述的基于表情參數控制的面部表情生成方法。
30、第四方面，本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上所述第一方面所述的基于表情參數控制的面部表情生成方法。
31、本專利技術提供的基于表情參數控制的面部表情生成方法、裝置和設備，通過基于目標表情圖像集中各個圖像對應的au向量，或者，基于第一圖像對應的au向量和第二目標表情圖像對應的au向量確定第一目標表情au向量，將第一圖像和第一目標表情au向量輸入面部表情生成模型，得到第一圖像對應的第一目標表情圖像，在保存人物身份信息的同時，提升了生成圖像的真實感。
本文檔來自技高網...【技術保護點】
1.一種基于表情參數控制的面部表情生成方法，其特征在于，包括：
2.根據權利要求1所述的基于表情參數控制的面部表情生成方法，其特征在于，基于目標表情圖像集中各個圖像對應的AU向量確定所述第一目標表情AU向量，包括：
3.根據權利要求1所述的基于表情參數控制的面部表情生成方法，其特征在于，基于所述第一圖像對應的AU向量和第二目標表情圖像對應的AU向量確定所述第一目標表情AU向量，包括：
4.根據權利要求3所述的基于表情參數控制的面部表情生成方法，其特征在于，所述基于所述第二目標表情圖像對應的AU向量中與目標表情相關的至少一個AU單元，和所述第一圖像對應的AU向量，確定第二目標表情AU向量，包括：
5.根據權利要求2或3所述的基于表情參數控制的面部表情生成方法，其特征在于，所述基于所述第二目標表情AU向量，確定所述第一目標表情AU向量，包括：
6.一種基于表情參數控制的面部表情生成裝置，其特征在于，包括：
7.根據權利要求6所述的基于表情參數控制的面部表情生成裝置，其特征在于，基于目標表情圖像集中各個圖像對應的A
8.根據權利要求6所述的基于表情參數控制的面部表情生成裝置，其特征在于，基于所述第一圖像對應的AU向量和第二目標表情圖像對應的AU向量確定所述第一目標表情AU向量，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至5任一項所述基于表情參數控制的面部表情生成方法。
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至5任一項所述基于表情參數控制的面部表情生成方法。
...【技術特征摘要】
1.一種基于表情參數控制的面部表情生成方法，其特征在于，包括：
2.根據權利要求1所述的基于表情參數控制的面部表情生成方法，其特征在于，基于目標表情圖像集中各個圖像對應的au向量確定所述第一目標表情au向量，包括：
3.根據權利要求1所述的基于表情參數控制的面部表情生成方法，其特征在于，基于所述第一圖像對應的au向量和第二目標表情圖像對應的au向量確定所述第一目標表情au向量，包括：
4.根據權利要求3所述的基于表情參數控制的面部表情生成方法，其特征在于，所述基于所述第二目標表情圖像對應的au向量中與目標表情相關的至少一個au單元，和所述第一圖像對應的au向量，確定第二目標表情au向量，包括：
5.根據權利要求2或3所述的基于表情參數控制的面部表情生成方法，其特征在于，所述基于所述第二目標表情au向量，確定所述第一目標表情au向量，包括：
...【專利技術屬性】
技術研發人員：王丹力，高玄歌，王欣源，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。