【技術(shù)實現(xiàn)步驟摘要】
本公開總體上涉及數(shù)字圖像處理。更具體地，本公開涉及用于面部再現(xiàn)的方法和系統(tǒng)。
技術(shù)介紹
1、面部再現(xiàn)可以包括將源視頻中的源個體的面部表情傳送到目標(biāo)視頻或目標(biāo)圖像中的目標(biāo)個體。面部再現(xiàn)能夠用于許多應(yīng)用中的面部的操縱和動畫化，諸如娛樂節(jié)目、計算機游戲、視頻對話、虛擬現(xiàn)實、增強現(xiàn)實等。
2、當(dāng)前的一些用于面部再現(xiàn)的技術(shù)采用了可變形面部模型來利用不同的面部表情重新渲染目標(biāo)面部。雖然能夠快速地生成具有可變形面部模型的面部，但是生成的面部可能不是逼真的。當(dāng)前的一些其它用于面部再現(xiàn)的技術(shù)能夠基于深度學(xué)習(xí)方法的使用來重新渲染目標(biāo)面部。深度學(xué)習(xí)方法可以允許獲得逼真的結(jié)果。然而，深度學(xué)習(xí)方法費時間，并且可能不適合在常規(guī)移動設(shè)備上進行實時的面部再現(xiàn)。
技術(shù)實現(xiàn)思路
1、該部分簡單介紹了概念的選擇，在下面的具體實施方式中將進一步描述。該
技術(shù)實現(xiàn)思路
不旨在確定要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助判定要求保護的主題的范圍。
2、根據(jù)本公開的一個實施例，提供了一種用于面部再現(xiàn)的方法。該方法可以包括通過計算設(shè)備接收目標(biāo)視頻。目標(biāo)視頻可以包括至少一個目標(biāo)幀。至少一個目標(biāo)幀可以包括目標(biāo)面部。該方法還可以包括通過計算設(shè)備接收源視頻。源視頻可以包括源面部。該方法還可以包括，通過計算設(shè)備并且基于目標(biāo)視頻的至少一個目標(biāo)幀中的目標(biāo)面部來確定至少一個目標(biāo)面部表情。該方法還可以包括，通過計算設(shè)備并且基于源視頻的幀中的源面部來確定至少一個源面部表情。該方法還可以包括，通過計算設(shè)備并且使用參數(shù)化
3、在一些實施例中，參數(shù)化面部模型可以取決于面部表情、面部身份和面部紋理。
4、在一些實施例中，參數(shù)化面部模型可以包括基于多個個體的面部的歷史圖像預(yù)生成的模板網(wǎng)格。模板網(wǎng)格可以包括預(yù)定數(shù)量的頂點。在特定實施例中，紋理模型包括與頂點相關(guān)聯(lián)的顏色集。
5、在一些實施例中，個體能夠具有不同的年齡、性別和種族。在特定實施例中，面部的歷史圖像可以包括屬于具有預(yù)定數(shù)量的面部表情的單個個體的至少一個照片集。面部表情包括中性表情、張開嘴表情、微笑表情和生氣表情中的至少一者。
6、在一些實施例中，參數(shù)化面部模型還可以包括混合形狀集，混合形狀表示面部表情。
7、在一些實施例中，dnn的輸入可以至少包括與參數(shù)化面部模型相關(guān)聯(lián)的參數(shù)。
8、在特定實施例中，dnn的輸入可以包括先前的嘴部區(qū)域和先前的眼部區(qū)域。先前的嘴部區(qū)域和先前的眼部區(qū)域能夠與目標(biāo)視頻的至少一個先前幀相關(guān)聯(lián)。
9、在一些實施例中，能夠使用多個個體的面部的歷史圖像訓(xùn)練dnn。
10、根據(jù)另一個實施例，提供了用于面部再現(xiàn)的系統(tǒng)。該系統(tǒng)可以包括至少一個處理器和存儲處理器可執(zhí)行代碼的存儲器，其中，至少一個處理器能夠被配置為在執(zhí)行處理器可執(zhí)行代碼時實施上面提到的用于面部再現(xiàn)的方法的操作。
11、根據(jù)本公開的再一個實施例，提供了一種存儲處理器可讀指令的非易失性處理器可讀介質(zhì)。處理器可讀指令當(dāng)由處理器執(zhí)行時，使得處理器實施上面提到的用于面部再現(xiàn)的方法。
12、根據(jù)一個示例性實施例，公開了一種用于提供個性化廣告的系統(tǒng)。該系統(tǒng)可以包括被配置為存儲一個以上的廣告視頻的數(shù)據(jù)庫。廣告視頻可以至少包括目標(biāo)面部。目標(biāo)面部能夠與第一個體相關(guān)聯(lián)。該系統(tǒng)還可以包括被配置為接收與用戶相關(guān)聯(lián)的用戶數(shù)據(jù)的用戶信息收集模塊。用戶數(shù)據(jù)可以至少包括源面部的圖像。源面部能夠與不同于第一個體的第二個體相關(guān)聯(lián)。用戶信息收集模塊能夠基于用戶數(shù)據(jù)確定源面部的參數(shù)。該系統(tǒng)還可以包括個性化視頻生成模塊。個性化視頻生成模塊能夠被配置為將一個以上的廣告視頻分割為第一部分和第二部分。第一部分可以包括目標(biāo)面部，并且第二部分可以包括背景。個性化視頻生成模塊能夠基于源面部的參數(shù)修改幀的第一部分，以利用源面部替換目標(biāo)面部。個性化視頻生成模塊還能夠?qū)⑿薷牡牡谝徊糠峙c第二部分結(jié)合，以得到輸出廣告視頻的輸出幀。
13、能夠?qū)⒋鎯υ跀?shù)據(jù)庫中的廣告視頻的幀預(yù)處理為分割成包括目標(biāo)面部的第一部分和包括背景的第二部分。
14、源面部的參數(shù)可以包括源面部表情、源面部身份和源面部紋理。修改幀的第一部分可以包括：基于目標(biāo)面部確定目標(biāo)面部表情、目標(biāo)面部身份和目標(biāo)面部紋理，以及利用源面部身份替換目標(biāo)面部身份和利用源面部紋理替換目標(biāo)面部紋理。能夠?qū)⒋鎯υ跀?shù)據(jù)庫中的廣告的幀預(yù)處理為包括目標(biāo)面部的參數(shù)，該目標(biāo)面部的參數(shù)包括目標(biāo)面部表情、目標(biāo)面部身份和目標(biāo)面部紋理。
15、用戶信息收集模塊能夠被配置為從用戶的計算設(shè)備或者用戶的在一個以上社交媒體平臺中的一個以上的帳戶讀取用戶數(shù)據(jù)。用戶數(shù)據(jù)可以包括關(guān)于用戶的興趣和用戶的一個以上圖像、用戶的一個以上的朋友、以及用戶的一個以上最喜歡的明星的信息。用戶信息收集模塊能夠分析用戶數(shù)據(jù)，以選擇用戶、用戶的一個以上的朋友、或用戶的一個以上最喜歡的明星的一個以上的圖像。用戶信息收集模塊能夠基于選擇的一個以上的圖像確定源面部的參數(shù)。
16、用戶信息收集模塊能夠被配置為從用戶接收用戶輸入。用戶輸入可以表示要用于目標(biāo)面部的替換的圖像的列表。用戶信息收集模塊能夠基于圖像的列表確定源面部的參數(shù)。
17、個性化視頻生成模塊能夠被配置為將輸出廣告視頻發(fā)布于用戶的在一個以上社交媒體平臺中的一個以上的帳戶。
18、根據(jù)另一個示例性實施例，公開了一種用于提供個性化廣告的方法。該方法可以包括將一個以上的廣告視頻存儲在數(shù)據(jù)庫中。廣告視頻可以包括與第一個體相關(guān)聯(lián)的目標(biāo)面部。該方法可以包括通過用戶信息收集模塊接收與用戶相關(guān)聯(lián)的用戶數(shù)據(jù)。用戶數(shù)據(jù)可以包括至少一個源面部的圖像。源面部能夠與不同于第一個體的第二個體相關(guān)聯(lián)。該方法可以通過用戶信息收集模塊并且基于用戶數(shù)據(jù)確定源面部的參數(shù)。該方法還可以包括通過個性化視頻生成模塊將一個以上的廣告視頻的幀分割為第一部分和第二部分。第一部分可以包括目標(biāo)面部并且第二部分可以包括背景。該方法可以包括通過個性化視頻生成模塊并且基于源面部的參數(shù)修改幀的第一部分，以利用源面部替換目標(biāo)面部。該方法還可以包括通過個性化視頻生成模塊將修改的第一部分和第二部分結(jié)合，以得到輸出廣告視頻的輸出幀。
19、示例的其它目的、優(yōu)點和新穎特征將在下面的描述中部分地闡述，并且部分將在審查下面的描述和附圖時對于本領(lǐng)域技術(shù)人員來說變得明顯，或者可以通過示例的生產(chǎn)或操作而得知。可以通過在附加的權(quán)利要求中特別指出的方法、手段和組合來實現(xiàn)和獲得概念的目的和優(yōu)點。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種用于面部再現(xiàn)的方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述參數(shù)化面部模型取決于面部表情、面部身份和面部紋理。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述參數(shù)化面部模型包括基于多個個體的面部的歷史圖像預(yù)生成的模板網(wǎng)格，所述模板網(wǎng)格包括預(yù)定數(shù)量的頂點。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述紋理模型包括與所述頂點相關(guān)聯(lián)的顏色集。
5.根據(jù)權(quán)利要求3所述的方法，其中，所述個體具有不同的年齡、性別和種族。
6.根據(jù)權(quán)利要求3所述的方法，其中，所述面部的歷史圖像包括屬于具有預(yù)定數(shù)量的面部表情的單個個體的至少一個照片集。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述面部表情包括中性表情、張開嘴表情、微笑表情和生氣表情中的至少一者。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述參數(shù)化面部模型包括混合形狀集，所述混合形狀表示所述面部表情。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述DNN的輸入至少包括與所述參數(shù)化面部模型相關(guān)聯(lián)的參數(shù)。
10.根據(jù)權(quán)利要求1所述的方法，其中，
11.根據(jù)權(quán)利要求1所述的方法，其中，使用多個個體的面部的歷史圖像訓(xùn)練所述DNN。
12.一種用于面部再現(xiàn)的系統(tǒng)，所述系統(tǒng)包括：至少一個處理器、存儲處理器可執(zhí)行代碼的存儲器，其中，所述至少一個處理器被配置為在執(zhí)行所述處理器可執(zhí)行代碼時實施下面的操作：
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述參數(shù)化面部模型取決于面部表情、面部身份和面部紋理。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述參數(shù)化面部模型包括基于多個個體的面部的歷史圖像預(yù)生成的模板網(wǎng)格，所述模板網(wǎng)格包括預(yù)定數(shù)量的頂點，所述個體具有不同的年齡、性別和種族。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述紋理模型包括與所述頂點相關(guān)聯(lián)的顏色集。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述面部的歷史圖像包括屬于具有預(yù)定數(shù)量的面部表情的單個個體的至少一個照片集。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述面部表情包括：
18.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，所述DNN的輸入包括以下至少一者：
19.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，使用多個個體的面部的歷史圖像訓(xùn)練所述DNN。
20.一種具有存儲在其上的指令的非易失性處理器可讀介質(zhì)，所述指令當(dāng)由一個以上的處理器執(zhí)行時，使所述一個以上的處理器實施用于面部再現(xiàn)的方法，所述方法包括：
21.一種用于提供個性化廣告的系統(tǒng)，所述系統(tǒng)包括：
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述數(shù)據(jù)庫被配置為存儲預(yù)處理的廣告視頻，所述預(yù)處理的廣告視頻包括被分割為包括所述目標(biāo)面部的所述第一部分和包括所述背景的所述第二部分的幀。
23.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中：
24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述數(shù)據(jù)庫被配置為存儲預(yù)處理的廣告視頻，其中所述預(yù)處理的廣告視頻的幀包括所述目標(biāo)面部的參數(shù)，所述目標(biāo)面部的參數(shù)包括所述目標(biāo)面部表情、所述目標(biāo)面部身份以及所述目標(biāo)面部紋理。
25.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述用戶信息收集模塊被配置為：
26.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述用戶信息收集模塊被配置為：
27.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述個性化視頻生成模塊進一步被配置為將所述輸出廣告視頻發(fā)布于所述用戶的在一個或多個社交媒體平臺中的一個或多個賬戶中。
28.一種用于提供個性化廣告的方法，所述方法包括：
29.根據(jù)權(quán)利要求28所述的方法，進一步包括：將預(yù)處理的廣告視頻存儲在所述數(shù)據(jù)庫中，所述預(yù)處理的廣告視頻包括被分割成包括所述目標(biāo)面部的所述第一部分和包括所述背景的所述第二部分的幀。
30.根據(jù)權(quán)利要求28所述的方法，其中：
31.根據(jù)權(quán)利要求30所述的方法，還包括將預(yù)處理的廣告視頻存儲在所述數(shù)據(jù)庫中，其中，所述預(yù)處理的廣告視頻的幀包括所述目標(biāo)面部的參數(shù)，所述目標(biāo)面部的參數(shù)包括所述目標(biāo)面部表情、所述目標(biāo)面部身份和所述目標(biāo)面部紋理。
32.根據(jù)權(quán)利要求28所述的方法，進一步包括：
33.根據(jù)權(quán)利要求28所述的方法，進一步包括：
34.根據(jù)權(quán)利要求28所述的方法，其中，所述個性化視頻生成模塊進一步被配置為將所述輸出廣告視頻發(fā)布于...
【技術(shù)特征摘要】
1.一種用于面部再現(xiàn)的方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述參數(shù)化面部模型取決于面部表情、面部身份和面部紋理。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述參數(shù)化面部模型包括基于多個個體的面部的歷史圖像預(yù)生成的模板網(wǎng)格，所述模板網(wǎng)格包括預(yù)定數(shù)量的頂點。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述紋理模型包括與所述頂點相關(guān)聯(lián)的顏色集。
5.根據(jù)權(quán)利要求3所述的方法，其中，所述個體具有不同的年齡、性別和種族。
6.根據(jù)權(quán)利要求3所述的方法，其中，所述面部的歷史圖像包括屬于具有預(yù)定數(shù)量的面部表情的單個個體的至少一個照片集。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述面部表情包括中性表情、張開嘴表情、微笑表情和生氣表情中的至少一者。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述參數(shù)化面部模型包括混合形狀集，所述混合形狀表示所述面部表情。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述dnn的輸入至少包括與所述參數(shù)化面部模型相關(guān)聯(lián)的參數(shù)。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述dnn的輸入包括先前的嘴部區(qū)域和先前的眼部區(qū)域，所述先前的嘴部區(qū)域和所述先前的眼部區(qū)域與所述目標(biāo)視頻的所述至少一個先前幀相關(guān)聯(lián)。
11.根據(jù)權(quán)利要求1所述的方法，其中，使用多個個體的面部的歷史圖像訓(xùn)練所述dnn。
12.一種用于面部再現(xiàn)的系統(tǒng)，所述系統(tǒng)包括：至少一個處理器、存儲處理器可執(zhí)行代碼的存儲器，其中，所述至少一個處理器被配置為在執(zhí)行所述處理器可執(zhí)行代碼時實施下面的操作：
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述參數(shù)化面部模型取決于面部表情、面部身份和面部紋理。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述參數(shù)化面部模型包括基于多個個體的面部的歷史圖像預(yù)生成的模板網(wǎng)格，所述模板網(wǎng)格包括預(yù)定數(shù)量的頂點，所述個體具有不同的年齡、性別和種族。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述紋理模型包括與所述頂點相關(guān)聯(lián)的顏色集。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述面部的歷史圖像包括屬于具有預(yù)定數(shù)量的面部表情的單個個體的至少一個照片集。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述面部表情包括：
18.根據(jù)權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：帕維爾·薩夫琴科夫，德米特里·馬托夫，亞歷山大·馬什拉博夫，阿列克謝·普切尼科夫，
申請(專利權(quán))人：斯納普公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。