【技術實現步驟摘要】
本申請涉及圖像處理，適用于金融科技領域，尤其涉及一種圖像合成方法和裝置、電子設備及存儲介質。
技術介紹
1、表情遷移是指將特定對象的表情提取并應用到特定的目標對象上，使得目標對象在保持臉部五官、頭部姿態不改變的情況下實現表情的變化。例如，在保險產品推銷中，可以通過表情遷移技術生成多個不同說話人針對同一產品的介紹視頻，從而根據用戶特點向該用戶推送適合該用戶的說話人講解的推薦視頻。然而，現有的表情遷移技術通常適用于對同一人的表情變化，而在跨人物表情遷移時，生成的圖像往往缺乏自然感。因此，如何在表情遷移過程中生成更加自然、逼真的圖像，成為亟待解決的問題。
技術實現思路
1、本申請實施例的主要目的在于提出一種圖像合成方法和裝置、電子設備及存儲介質，旨在生成更加自然、逼真的圖像。
2、為實現上述目的，本申請實施例的第一方面提出了一種圖像合成方法，所述方法包括：
3、獲取參考對象的參考選定表情圖像，獲取目標對象的目標初始表情圖像；其中，所述參考選定表情圖像具有所述參考對象的表情，所述目標初始表情圖像具有所述目標對象的表情，所述參考對象和所述目標對象不相同；
4、根據所述參考選定表情圖像的所述參考對象的表情對所述目標初始表情圖像的所述目標對象的表情進行面部肌肉關鍵點篩選，得到目標原始表情圖像；
5、基于預設的目標表情遷移模型對所述參考選定表情圖像進行表情特征提取，得到參考選定表情特征；
6、基于所述目標表情遷移模型對所述目標原始表情圖像
7、根據所述目標原始表情特征對所述參考選定表情特征進行表情對齊，得到目標對齊表情特征；
8、基于所述目標表情遷移模型對所述目標原始頭部特征和所述目標對齊表情特征進行三維關鍵點生成，得到目標對齊三維關鍵點特征；
9、根據所述目標原始人臉特征和所述目標對齊三維關鍵點特征對所述目標對象進行圖像合成，得到所述目標對象的目標選定表情圖像。
10、在一些實施例，所述方法還包括預先訓練所述目標表情遷移模型，具體包括：
11、獲取參考對象的參考原始表情圖像；
12、基于預設表情遷移模型和所述參考選定表情圖像對所述參考原始表情圖像進行表情遷移，得到預測選定表情圖像；
13、根據所述參考原始表情圖像、所述預測選定表情圖像和所述參考選定表情圖像進行損失值計算，得到訓練損失值；
14、根據所述訓練損失值對所述預設表情遷移模型進行參數優化，得到所述目標表情遷移模型。
15、在一些實施例，所述基于預設表情遷移模型和所述參考選定表情圖像對所述參考原始表情圖像進行表情遷移，得到預測選定表情圖像，包括：
16、基于所述預設表情遷移模型對所述參考選定表情圖像進行遷移特征提取，得到參考選定表情特征、參考選定人臉特征、參考選定頭部特征和參考選定三維關鍵點特征；
17、基于所述預設表情遷移模型對所述參考原始表情圖像進行遷移特征提取，得到參考原始表情特征、參考原始頭部特征和參考原始三維關鍵點特征；
18、基于所述預設表情遷移模型對所述參考選定表情圖像和所述參考原始表情圖像進行掩碼生成，得到人臉運動掩碼矩陣；
19、根據所述參考選定表情特征、所述參考選定頭部特征、所述參考選定三維關鍵點特征、所述參考原始表情特征、所述參考原始頭部特征和所述參考原始三維關鍵點特征進行運動場計算，得到三維運動場矩陣；
20、根據所述三維運動場矩陣和所述人臉運動掩碼矩陣進行聚合計算，得到變換人臉特征；
21、基于所述預設表情遷移模型對所述變換人臉特征和所述參考選定人臉特征進行特征解碼，得到所述預測選定表情圖像。
22、在一些實施例，所述根據所述參考原始表情圖像、所述預測選定表情圖像和所述參考選定表情圖像進行損失值計算，得到訓練損失值，包括：
23、對所述預測選定表情圖像和所述參考選定表情圖像進行感知損失計算，得到感知損失值；
24、對所述預測選定表情圖像和所述參考選定表情圖像進行對抗損失計算，得到對抗損失值；
25、對所述預測選定表情圖像和所述參考選定表情圖像進行嘴部一致性損失計算，得到嘴部一致性損失；
26、對所述預測選定表情圖像和所述參考選定表情圖像進行仿射變換損失計算，得到仿射損失值；
27、對所述預測選定表情圖像進行關鍵點損失計算，得到關鍵點損失值；
28、對所述預測選定表情圖像進行人臉損失計算，得到人臉損失值；
29、對所述預測選定表情圖像進行頭部損失計算，得到頭部損失值；
30、根據所述感知損失值、所述對抗損失值、所述嘴部一致性損失、所述仿射損失值、所述關鍵點損失值、所述人臉損失值和所述頭部損失值進行聚合計算，得到所述訓練損失值。
31、在一些實施例，所述根據所述參考選定表情圖像的所述參考對象的表情對所述目標初始表情圖像的所述目標對象的表情進行面部肌肉關鍵點篩選，得到目標原始表情圖像，包括：
32、對所述參考選定表情圖像的所述參考對象的表情進行面部肌肉關鍵點特征提取，得到參考選定關鍵點特征；
33、對所述目標初始表情圖像的所述目標對象的表情進行面部肌肉關鍵點特征提取，得到目標原始關鍵點特征；
34、根據所述參考選定關鍵點特征對所述目標原始關鍵點特征進行歐幾里得距離篩選，得到目標關鍵點特征；
35、根據所述目標關鍵點特征對所述目標初始表情圖像進行篩選，得到所述目標原始表情圖像。
36、在一些實施例，所述根據所述目標原始表情特征對所述參考選定表情特征進行表情對齊，得到目標對齊表情特征，包括：
37、根據所述目標原始表情特征和所述參考選定表情特征進行縮放系數計算，得到目標縮放系數；
38、根據所述目標縮放系數對所述參考選定表情特征進行聚合計算，得到所述目標對齊表情特征。
39、在一些實施例，所述根據所述目標原始人臉特征和所述目標對齊三維關鍵點特征對所述目標對象進行圖像合成，得到所述目標對象的目標選定表情圖像，包括：
40、對所述目標原始人臉特征和所述目標對齊三維關鍵點特征進行三維渲染，得到像素分布和密度分布；
41、根據所述像素分布和所述密度分布對所述目標對象進行體渲染，得到所述目標對象的所述目標選定表情圖像。
42、為實現上述目的，本申請實施例的第二方面提出了一種圖像合成裝置，所述裝置包括：
43、獲取數據模塊，用于獲取參考對象的參考選定表情圖像，獲取目標對象的目標初始表情圖像；其中，所述參考選定表情圖像具有所述參考對象的表情，所述目標初始表情圖像具有所述目標對象的表情，所述參考對象和所述目標對象不相同；
44、圖像篩選模塊，用于根據所述參考選定表情圖像的所述參考對象的本文檔來自技高網...
【技術保護點】
1.一種圖像合成方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括預先訓練所述目標表情遷移模型，具體包括：
3.根據權利要求2所述的方法，其特征在于，所述基于預設表情遷移模型和所述參考選定表情圖像對所述參考原始表情圖像進行表情遷移，得到預測選定表情圖像，包括：
4.根據權利要求2所述的方法，其特征在于，所述根據所述參考原始表情圖像、所述預測選定表情圖像和所述參考選定表情圖像進行損失值計算，得到訓練損失值，包括：
5.根據權利要求1所述的方法，其特征在于，所述根據所述參考選定表情圖像的所述參考對象的表情對所述目標初始表情圖像的所述目標對象的表情進行面部肌肉關鍵點篩選，得到目標原始表情圖像，包括：
6.根據權利要求1所述的方法，其特征在于，所述根據所述目標原始表情特征對所述參考選定表情特征進行表情對齊，得到目標對齊表情特征，包括：
7.根據權利要求1所述的方法，其特征在于，所述根據所述目標原始人臉特征和所述目標對齊三維關鍵點特征對所述目標對象進行圖像合成，得到所述目標對象的
8.一種圖像合成裝置，其特征在于，所述裝置包括：
9.一種電子設備，其特征在于，所述電子設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的圖像合成方法。
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的圖像合成方法。
...【技術特征摘要】
1.一種圖像合成方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括預先訓練所述目標表情遷移模型，具體包括：
3.根據權利要求2所述的方法，其特征在于，所述基于預設表情遷移模型和所述參考選定表情圖像對所述參考原始表情圖像進行表情遷移，得到預測選定表情圖像，包括：
4.根據權利要求2所述的方法，其特征在于，所述根據所述參考原始表情圖像、所述預測選定表情圖像和所述參考選定表情圖像進行損失值計算，得到訓練損失值，包括：
5.根據權利要求1所述的方法，其特征在于，所述根據所述參考選定表情圖像的所述參考對象的表情對所述目標初始表情圖像的所述目標對象的表情進行面部肌肉關鍵點篩選，得到目標原始表情圖像，包括：
6.根據權利要...
【專利技術屬性】
技術研發人員：胡魁，葉明，王躍，戴磊，陳遠旭，
申請(專利權)人：平安科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。