【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)字人物智能生成領(lǐng)域，且更為具體地，涉及一種自動(dòng)生成數(shù)字人物方法及系統(tǒng)。
技術(shù)介紹
1、數(shù)字人物是指通過計(jì)算機(jī)技術(shù)和軟件工具創(chuàng)建出來的虛擬人物，這些虛擬人物可以是完全虛構(gòu)的角色，也可以是根據(jù)真實(shí)人物的外貌、動(dòng)作和行為模擬出來的形象。數(shù)字人物的應(yīng)用領(lǐng)域非常廣泛，從娛樂到教育，再到商業(yè)和社會(huì)服務(wù)，數(shù)字人物都在發(fā)揮著重要作用。
2、然而，傳統(tǒng)數(shù)字人物生成方法依賴于設(shè)計(jì)師的手動(dòng)建模，這一過程往往需要深厚的藝術(shù)功底和對(duì)軟件工具的熟練掌握。這不僅意味著從概念設(shè)計(jì)到最終渲染的每個(gè)步驟都需要大量的時(shí)間和精力，而且對(duì)于細(xì)節(jié)的精細(xì)調(diào)整也極為耗時(shí)，這種手工制作的方式導(dǎo)致生產(chǎn)周期長(zhǎng)，成本高，難以大規(guī)模應(yīng)用。
3、此外，傳統(tǒng)方法傾向于使用模板化的設(shè)計(jì)，難以滿足用戶的個(gè)性化需求。具體地，模板化設(shè)計(jì)意味著設(shè)計(jì)師通常會(huì)使用預(yù)先設(shè)定的模型和樣式，這些模型雖然可以快速生成，但缺乏靈活性和多樣性。當(dāng)用戶提出具體的個(gè)性化要求時(shí)，傳統(tǒng)的模板化設(shè)計(jì)往往無法充分滿足這些需求，從而降低用戶的滿意度。
4、因此，需要一種自動(dòng)生成數(shù)字人物方案來解決上述技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述技術(shù)問題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種自動(dòng)生成數(shù)字人物方法及系統(tǒng)，其通過獲取待建模對(duì)象人臉圖像，且獲取由用戶輸入的數(shù)字人期待風(fēng)格文本描述，并采用基于人工智能的圖像處理和文本分析技術(shù)來進(jìn)行所述待建模對(duì)象人臉圖像的多尺度特征分析，所述數(shù)字人期待風(fēng)格文本描述的語義編碼,以此根據(jù)待建模對(duì)象圖像的淺
2、根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種自動(dòng)生成數(shù)字人物方法，其包括：
3、獲取待建模對(duì)象人臉圖像；
4、獲取由用戶輸入的數(shù)字人期待風(fēng)格文本描述；
5、將所述待建模對(duì)象人臉圖像進(jìn)行人臉多尺度特征掃描以得到待建模對(duì)象人臉淺層特征圖和待建模對(duì)象人臉深層特征圖；
6、將所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖進(jìn)行待建模對(duì)象人臉淺層-深層細(xì)粒度全域特征聯(lián)合以得到待建模對(duì)象人臉淺層-深層融合特征；
7、對(duì)所述數(shù)字人期待風(fēng)格文本描述和所述待建模對(duì)象人臉淺層-深層融合特征進(jìn)行跨模態(tài)語義聯(lián)合編碼以得到風(fēng)格語義約束待建模對(duì)象人臉特征；
8、基于所述風(fēng)格語義約束待建模對(duì)象人臉特征，得到數(shù)字人對(duì)象的三維模型。
9、根據(jù)本申請(qǐng)的另一個(gè)方面，提供了一種自動(dòng)生成數(shù)字人物系統(tǒng)，其包括：
10、圖像獲取模塊，用于獲取待建模對(duì)象人臉圖像；
11、文本描述獲取模塊，用于獲取由用戶輸入的數(shù)字人期待風(fēng)格文本描述；
12、人臉多尺度特征掃描模塊，用于將所述待建模對(duì)象人臉圖像進(jìn)行人臉多尺度特征掃描以得到待建模對(duì)象人臉淺層特征圖和待建模對(duì)象人臉深層特征圖；
13、細(xì)粒度全域特征聯(lián)合模塊，用于將所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖進(jìn)行待建模對(duì)象人臉淺層-深層細(xì)粒度全域特征聯(lián)合以得到待建模對(duì)象人臉淺層-深層融合特征；
14、跨模態(tài)語義聯(lián)合編碼模塊，用于對(duì)所述數(shù)字人期待風(fēng)格文本描述和所述待建模對(duì)象人臉淺層-深層融合特征進(jìn)行跨模態(tài)語義聯(lián)合編碼以得到風(fēng)格語義約束待建模對(duì)象人臉特征；
15、三維模型生成模塊，用于基于所述風(fēng)格語義約束待建模對(duì)象人臉特征，得到數(shù)字人對(duì)象的三維模型。
16、本申請(qǐng)至少具有如下技術(shù)效果：與現(xiàn)有技術(shù)相比，本申請(qǐng)?zhí)峁┑囊环N自動(dòng)生成數(shù)字人物方法及系統(tǒng)，其通過獲取待建模對(duì)象人臉圖像，且獲取由用戶輸入的數(shù)字人期待風(fēng)格文本描述，并采用基于人工智能的圖像處理和文本分析技術(shù)來進(jìn)行所述待建模對(duì)象人臉圖像的多尺度特征分析，所述數(shù)字人期待風(fēng)格文本描述的語義編碼,以此根據(jù)待建模對(duì)象圖像的淺層和深層的融合特征和數(shù)字人期待語義特征之間進(jìn)行跨模態(tài)聯(lián)合得到的信息來智能地生成數(shù)字人對(duì)象的三維模型，能夠通過用戶輸入的文本描述來指導(dǎo)數(shù)字人物的生成，使得每個(gè)數(shù)字人物都能更好地反映用戶的個(gè)性化需求和風(fēng)格偏好。同時(shí)減少對(duì)專業(yè)藝術(shù)家和設(shè)計(jì)師的依賴，打破傳統(tǒng)模板化設(shè)計(jì)的局限，以提供更靈活的設(shè)計(jì)選項(xiàng)，實(shí)現(xiàn)數(shù)字人物的智能化生成。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.自動(dòng)生成數(shù)字人物方法，其特征在于，包括:
2.根據(jù)權(quán)利要求1所述的自動(dòng)生成數(shù)字人物方法，其特征在于，將所述待建模對(duì)象人臉圖像進(jìn)行人臉多尺度特征掃描以得到待建模對(duì)象人臉淺層特征圖和待建模對(duì)象人臉深層特征圖，包括：將所述待建模對(duì)象人臉圖像輸入基于空洞金字塔網(wǎng)絡(luò)模型的人臉多尺度特征掃描器以得到所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖。
3.根據(jù)權(quán)利要求2所述的自動(dòng)生成數(shù)字人物方法，其特征在于，對(duì)所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖進(jìn)行特征細(xì)粒度分解以得到待建模對(duì)象人臉淺層通道維度局部特征和待建模對(duì)象人臉深層通道維度局部特征，包括：
4.根據(jù)權(quán)利要求3所述的自動(dòng)生成數(shù)字人物方法，其特征在于，對(duì)所述待建模對(duì)象人臉淺層通道維度局部特征和所述待建模對(duì)象人臉深層通道維度局部特征進(jìn)行雙向注意力融合以得到所述待建模對(duì)象人臉淺層-深層融合特征，包括：
5.根據(jù)權(quán)利要求4所述的自動(dòng)生成數(shù)字人物方法，其特征在于，分別以所述待建模對(duì)象人臉淺層通道維度局部特征矩陣的集合中的各個(gè)待建模對(duì)象人臉淺層通道維度局部特征矩陣作為
6.根據(jù)權(quán)利要求5所述的自動(dòng)生成數(shù)字人物方法，其特征在于，分別以所述待建模對(duì)象人臉深層通道維度局部特征矩陣的集合中的各個(gè)待建模對(duì)象人臉深層通道維度局部特征矩陣作為查詢特征矩陣，以所述待建模對(duì)象人臉淺層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第二轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化待建模對(duì)象人臉深層通道維度局部特征矩陣的集合，包括：
7.根據(jù)權(quán)利要求6所述的自動(dòng)生成數(shù)字人物方法，其特征在于，計(jì)算所述單向全域交互優(yōu)化待建模對(duì)象人臉淺層特征圖和所述單向全域交互優(yōu)化待建模對(duì)象人臉深層特征圖之間的按位置加權(quán)和以得到待建模對(duì)象人臉淺層-深層細(xì)粒度融合特征圖，包括：將所述單向全域交互優(yōu)化待建模對(duì)象人臉淺層特征圖和所述單向全域交互優(yōu)化待建模對(duì)象人臉深層特征圖分別與第一加權(quán)超參數(shù)和第二加權(quán)超參數(shù)進(jìn)行按位置相乘后，將得到的單向全域交互優(yōu)化待建模對(duì)象人臉淺層加權(quán)特征圖和所述單向全域交互優(yōu)化待建模對(duì)象人臉深層加權(quán)特征圖進(jìn)行按位置相加以得到所述待建模對(duì)象人臉淺層-深層細(xì)粒度融合特征圖。
8.根據(jù)權(quán)利要求7所述的自動(dòng)生成數(shù)字人物方法，其特征在于，對(duì)所述數(shù)字人期待風(fēng)格文本描述和所述待建模對(duì)象人臉淺層-深層融合特征進(jìn)行跨模態(tài)語義聯(lián)合編碼以得到風(fēng)格語義約束待建模對(duì)象人臉特征，包括：
9.根據(jù)權(quán)利要求8所述的自動(dòng)生成數(shù)字人物方法，其特征在于，基于所述風(fēng)格語義約束待建模對(duì)象人臉特征，得到數(shù)字人對(duì)象的三維模型，包括：將所述風(fēng)格語義約束待建模對(duì)象人臉特征圖輸入基于擴(kuò)散模型的數(shù)字人生成器以得到所述數(shù)字人對(duì)象的三維模型。
10.自動(dòng)生成數(shù)字人物系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.自動(dòng)生成數(shù)字人物方法，其特征在于，包括:
2.根據(jù)權(quán)利要求1所述的自動(dòng)生成數(shù)字人物方法，其特征在于，將所述待建模對(duì)象人臉圖像進(jìn)行人臉多尺度特征掃描以得到待建模對(duì)象人臉淺層特征圖和待建模對(duì)象人臉深層特征圖，包括：將所述待建模對(duì)象人臉圖像輸入基于空洞金字塔網(wǎng)絡(luò)模型的人臉多尺度特征掃描器以得到所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖。
3.根據(jù)權(quán)利要求2所述的自動(dòng)生成數(shù)字人物方法，其特征在于，對(duì)所述待建模對(duì)象人臉淺層特征圖和所述待建模對(duì)象人臉深層特征圖進(jìn)行特征細(xì)粒度分解以得到待建模對(duì)象人臉淺層通道維度局部特征和待建模對(duì)象人臉深層通道維度局部特征，包括：
4.根據(jù)權(quán)利要求3所述的自動(dòng)生成數(shù)字人物方法，其特征在于，對(duì)所述待建模對(duì)象人臉淺層通道維度局部特征和所述待建模對(duì)象人臉深層通道維度局部特征進(jìn)行雙向注意力融合以得到所述待建模對(duì)象人臉淺層-深層融合特征，包括：
5.根據(jù)權(quán)利要求4所述的自動(dòng)生成數(shù)字人物方法，其特征在于，分別以所述待建模對(duì)象人臉淺層通道維度局部特征矩陣的集合中的各個(gè)待建模對(duì)象人臉淺層通道維度局部特征矩陣作為查詢特征矩陣，以所述待建模對(duì)象人臉深層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第一轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化待建模對(duì)象人臉淺層通道維度局部特征矩陣的集合，包括：
6.根據(jù)權(quán)利要求5所述的自動(dòng)生成數(shù)字人物方法，其特征在于，分別以所述待建模對(duì)象人臉深層通道維度局部特征矩陣的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭群威，李帥，金智拓，鄭百惠，羅玉海，
申請(qǐng)(專利權(quán))人：溫州專幫信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。