【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及計算機圖像數據處理，具體涉及多模態人體三維成像方法。
技術介紹
1、三維數字人生成技術是指利用計算機技術和算法創建出虛擬的人類形象(即三維數字人或虛擬人)的過程。這一技術通常涉及以下幾個步驟：
2、數據采集：通過各種方式獲取人類形象的數據，包括2d圖像、視頻、深度圖像、激光掃描等。利用計算機圖形學和機器學習算法，將采集到的數據轉化為三維模型。這個過程可能包括面部特征、身體結構、紋理貼圖等的生成。在得到三維模型后，通過動畫技術賦予其動態表現，使其能夠展示各種表情、動作和交互。結合不同模態的數據，優化生成的三維數字人，使其在視覺上更加真實和自然。
3、三維數字人生成技術的應用范圍廣泛，可以在多個領域發揮重要作用：例如虛擬角色：在視頻游戲、動畫電影和虛擬現實體驗中，生成高質量的虛擬角色，提升用戶體驗。用戶可以根據自己的喜好創建個性化的虛擬形象。用戶能夠在社交平臺上使用虛擬人形象作為自己的代表，與他人互動，同時，在社交應用中使用虛擬人形象進行面部替換和特效增強。在醫療與教育方面可以利用三維數字人模型進行解剖學教學和模擬手術練習等等。
4、現有技術中，已經可以通過單張或多張2d圖像生成3d模型，常用的方法包括深度學習、卷積神經網絡(cnn)等，當然，亦有采用視頻序列提取運動信息和表情變化，生成更為動態的3d模型，這主要應用于動畫制作、虛擬現實(vr)和增強現實(ar)。雖然現有技術中能夠通過2d圖像和視頻生成3d數字人模型，但是基于不同的數據生成的數字人或多或少都存在一些
技術實現思路
1、為了解決現有技術三維數字人生成的精度不夠高問題，本申請提供多模態人體三維成像方法，通過不同模態的數據共同作用于數字人的生成，至少能夠克服下述技術問題之一：
2、1、克服單一模態數據片面，導致模型的真實感，精準度不夠高的問題。
3、2、克服基于位圖圖像構建的數字人模型缺乏深度信息，導致與實際人體對象貼合度不夠的問題。
4、3、克服采用單一模型生成的三維數字人存在偏標準化，缺乏個性化占比的問題。
5、為了達到上述目的，本申請所采用的技術方案為：
6、多模態人體三維成像方法，基于多視角下多模態人體影像數據輸入，生成三維數字人體，包括如下步驟：
7、步驟stp100，圖像數據采集與預處理，收集的圖像數據包括rgb圖像、深度圖像、紅外圖像、x光透視影像數據中的任意一種或者多種；將收集到的圖像數據進行編碼并進行特征提取，將編碼后的rgb圖像、深度圖像、紅外圖像提取的顏色特征，深度特征和紅外特征分別記為frgb，fdepth，finfrared；
8、步驟stp200，圖像特征的融合，將任一組對齊的顏色特征frgb，深度特征fdepth和紅外特征finfrared分別輸入獨立的卷積神經網絡進行特征處理，再利用sigmoid函數得出深度注意力掩碼m1和紅外注意力掩碼m2，通過獲得的注意力掩碼m1，m2分別作為主/次要特征與顏色特征frgb進行融合，獲得融合特征ffused,分別利用獲得的融合特征ffused進行相機參數估計和人體參數估計，
9、步驟stp300，相機參數估計，將步驟stp200中獲得的融合特征ffused輸入mlp網絡中獲得相機姿態矩陣，其中相機姿態矩陣獲取的公式如下：
10、
11、其中，ffused-i代表第i個視角下的融合特征，代表相機的姿態矩陣，旋轉矩陣ri，平移矩陣ti，n屬于正整數，fc代表mlp網絡；
12、步驟stp400，人體參數估計，將步驟stp200中獲得的融合特征ffused輸入transformer解碼器中，生成形狀參數人體2.5d關節點j，以及關節扭轉角φ；最后將人體2.5d關節點j，以及關節扭轉角φ送入到逆運動學模塊ik中，獲得人體參數化模型的姿態參數
13、步驟stp500，生成人體三維成像，將形態參數和姿態參數送入到標準smpl模型或者skel模型中獲得經過融合特征ffused優化的人體三維成像。
14、優選地，步驟stp100中對圖像數據進行編碼和特征提取的方式采用cnn，resnet和vit為基本結構的卷積神經網絡，采用獨立的編碼器分別對rgb圖像、深度圖像、紅外圖像進行編碼和特征提取，獨立編碼的表達方式為：
15、frgb＝encrgb(irgb)
16、fdepth＝encdepth(idepth)
17、finfrared＝encinfrared(iinfrared)
18、其中，encrgb為rgb編碼器，encdepth為深度編碼器、encinfrared為紅外編碼器。
19、優選地，步驟stp200中通過注意力掩碼m1，m2分別作為主/次要特征與顏色特征frgb進行融合的步驟根據獲取的注意力掩碼數量分別按照下述步驟進行融合：
20、當只有深度特征fdepth得出的深度注意力掩碼m1時，融合步驟如下：
21、步驟stp211，獲取注意力掩碼m1，通過sigmoid函數得出深度注意力掩碼m1，即m1＝sigmod(cnn(fdepth))；
22、步驟stp212，以深度特征fdepth為主要的特征與顏色特征frgb融合時獲得的融合特征fp1通過下述表達式獲得：
23、
24、步驟stp213，以顏色特征frgb為主要的特征與深度特征fdepth融合時獲得的融合特征fs1通過下述表達式獲得：
25、
26、步驟stp214，通過步驟stp212和步驟stp213獲得的融合特征fp1和fs1獲得融合特征ffused的表達式如下：
27、
28、其中，符號代表相乘運算；
29、當只有紅外特征finfrared得出的紅外注意力掩碼m2時，融合步驟如下：
30、步驟stp221，獲取注意力掩碼m2，通過sigmoid函數得出深度注意力掩碼m1，即m2＝sigmod(cnn(finfrared))；
31、步驟stp222，以紅外特征finfrared為主要的特征與顏色特征frgb融合時獲得的融合特征fp2通過下述表達式獲得：
32、
33、步驟stp223，以顏色特征frgb為主要的特征與紅外特征finfrared融合時獲得的融合特征fs2通過下述表達式獲得：
34、
35、步驟stp224，通過步驟stp222和步驟stp223獲得的融合特征fp2和fs2獲得融合特征ffused的表達式如下：
36、
37、其中，符號代表相乘運算；
38、當同時有深度特征fdepth和紅外特征finfrared得出的本文檔來自技高網...
【技術保護點】
1.多模態人體三維成像方法，基于多視角下多模態人體影像數據輸入，生成三維數字人體，其特征在于，包括如下步驟：
2.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟STP100中對圖像數據進行編碼和特征提取的方式采用CNN，ResNet和ViT為基本結構的卷積神經網絡，采用獨立的編碼器分別對RGB圖像、深度圖像、紅外圖像進行編碼和特征提取，獨立編碼的表達方式為：
3.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟STP200中通過注意力掩碼M1，M2分別作為主/次要特征與顏色特征Frgb進行融合的步驟根據獲取的注意力掩碼數量分別按照下述步驟進行融合：
4.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟STP400中通過人體2.5D關節點J，以及關節扭轉角Φ送入到逆運動學模塊IK中，獲得人體參數化模型的姿態參數的過程采用以下步驟實現：
5.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟STP500中將步驟STP400獲得的形狀參數和姿態參數送入標準SMPL模型生成人體三維成像的過程采
6.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟STP500中將形狀參數和姿態參數輸入SKEL模型前利用MLP網絡進行學習到的映射進行數據對構建并生成人體三維成像的步驟，具體包括：
7.多模態人體三維成像裝置，其特征在于，包括
8.多模態人體三維成像電子設備，其特征在于，包括至少一個處理器，與處理器電性或者通信連接的存儲器，所述存儲器中存在至少一個存儲單元用于存儲權利要求1-7任一項所述方法的計算機程序，所述存儲單元通過所述處理器執行所述計算機程序實現人體三維成像方法。
9.存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，所述計算機指令用于通過計算機執行權利要求1-7任一項所述的方法。
10.計算機程序，其特征在于，包括計算機程序，所述計算機程序在被處理器執行時實現權利要求1-7任一項所述的方法。
...【技術特征摘要】
1.多模態人體三維成像方法，基于多視角下多模態人體影像數據輸入，生成三維數字人體，其特征在于，包括如下步驟：
2.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟stp100中對圖像數據進行編碼和特征提取的方式采用cnn，resnet和vit為基本結構的卷積神經網絡，采用獨立的編碼器分別對rgb圖像、深度圖像、紅外圖像進行編碼和特征提取，獨立編碼的表達方式為：
3.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟stp200中通過注意力掩碼m1，m2分別作為主/次要特征與顏色特征frgb進行融合的步驟根據獲取的注意力掩碼數量分別按照下述步驟進行融合：
4.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟stp400中通過人體2.5d關節點j，以及關節扭轉角φ送入到逆運動學模塊ik中，獲得人體參數化模型的姿態參數的過程采用以下步驟實現：
5.根據權利要求1所述的多模態人體三維成像方法，其特征在于：步驟stp5...
【專利技術屬性】
技術研發人員：李少青，馬川，侯雨舟，
申請(專利權)人：曉智未來成都科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。