【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像處理、計算機視覺領(lǐng)域，具體涉及一種基于隱式表征的單目圖像人體重建方法與系統(tǒng)。
技術(shù)介紹
1、相比于文本、圖像等數(shù)據(jù)，三維數(shù)據(jù)有著更豐富、立體的呈現(xiàn)，與現(xiàn)實世界更為貼合，因此人們對三維技術(shù)的使用需求與日俱增，三維技術(shù)行業(yè)蓬勃發(fā)展，三維重建成為計算機視覺領(lǐng)域中重要的研究課題之一。其中，從單目圖像中重建三維人體隨著各行各業(yè)，如醫(yī)療、影視、游戲等行業(yè)，的應(yīng)用，已經(jīng)成為該課題的研究熱點之一，受到廣泛關(guān)注。
2、目前已有一些模型被提出用于實現(xiàn)著裝人體的重建。這些模型中有基于顯式表征的模型，也有基于隱式表征的模型?；陲@式表征的方法又可以進一步分為基于參數(shù)化模型的著裝人體重建方法和基于非參數(shù)化模型的著裝人體重建方法。但是這些方法存在著較難處理復雜形變、對內(nèi)存需求過大等缺點?；陔[式表征的方法將人體表面定義為一個隱函數(shù)，但是現(xiàn)階段要找到一個準確描述人體的隱函數(shù)仍存在困難，現(xiàn)有的重建效果仍不理想。
3、目前的現(xiàn)有技術(shù)之一是論文“l(fā)earning?to?reconstruct?people?in?clothingfrom?a?single?rgb?camera”提出的一種基于smpl+d的著裝人體重建方法。該方法利用一個比較成熟的參數(shù)化人體三維模型--smpl模型，在它的基礎(chǔ)上加上表征衣服和頭發(fā)的偏移量。其步驟為：對輸入的圖像進行語義分割和人體關(guān)節(jié)點檢測；估計smpl參數(shù)和偏移量；三維人體的預測和重建。該方法的缺點在于，雖然參數(shù)化人體模型可以一定程度上刻畫人體的三維形貌，但是這種方法存在著過度依賴掃描2d人
4、目前的現(xiàn)有技術(shù)之二是論文“pixel-aligned?implicit?function?for?highresolution?clothed?human?digitization”中提出的一種基于像素對齊隱含函數(shù)的著裝人體重建方法。該方法將2d圖像中的像素和該像素對應(yīng)的人體3d信息進行關(guān)聯(lián)，并基于此提出一種端到端的基于深度學習的方法，從單張2d圖像中得到人體的三維模型以及三維模型對應(yīng)的紋理信息。其步驟為：二維特征圖的編碼；深度信息的獲??；著裝三維人體的重建和生成。該方法的缺點在于，雖然該方法能夠重建人體的大致三維模型，但是很難重建出圖片中所展示的豐富細節(jié)。該方法的限制主要來源于準確預測人體三維模型所需要的大范圍空間信息和精細表面細節(jié)所需要的更高維度特征之間存在沖突。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的是克服現(xiàn)有方法的不足，提出了基于隱式表征的單目圖像人體重建方法與系統(tǒng)。本專利技術(shù)解決的主要問題是，如何綜合利用基于統(tǒng)計的人體模型的正則化特征和隱式函數(shù)擬合任意拓撲結(jié)構(gòu)的優(yōu)勢，并且提高特征圖分辨率和訓練效率，減少時間開銷。
2、為了解決上述問題，本專利技術(shù)提出了基于隱式表征的單目圖像人體重建方法，所述方法包括：
3、從thuman數(shù)據(jù)集中獲取真實的人體三維模型，對其進行處理，渲染得到不同角度下的人體二維圖像，并隨機生成索引值；
4、對所述不同角度下的人體二維圖像，使用multi-view?smplify方法，生成對應(yīng)的粗糙的裸體人體三維smpl模型；
5、對所述粗糙的裸體人體三維smpl模型，使用基于射線對采樣方法，得到表征三維特征的二維特征圖；
6、根據(jù)隨機選取的所述索引值，找到對應(yīng)的角度下的人體二維圖像，并將其傳入編碼器中進行編碼，得到像素對齊的二維特征圖；
7、對所述表征三維特征的二維特征圖和所述像素對齊的二維特征圖進行拼接，傳入全連接神經(jīng)網(wǎng)絡(luò)，用深度歧義感知重建損失來訓練表征人體曲面的隱函數(shù)，輸出重建的三維人體模型。
8、優(yōu)選地，從thuman數(shù)據(jù)集中獲取真實的人體三維模型，對其進行處理，渲染得到不同角度下的人體二維圖像，并隨機生成索引值，具體為：
9、所述thuman數(shù)據(jù)集中的每個數(shù)據(jù)項包含一個人體紋理表面網(wǎng)格；
10、對所述真實的人體三維模型，使用球諧全局光照模型，記視角總數(shù)為n，在隨機光照條件下，渲染均勻分布的n個視角，得到n個視角下的二維圖像；
11、對每個所述數(shù)據(jù)項在1到n的范圍內(nèi)隨機生成一個索引值，選取索引值對應(yīng)的視角的所述二維圖像作為訓練數(shù)據(jù)，即所述不同角度下的人體二維圖像。
12、優(yōu)選地，對所述不同角度下的人體二維圖像，使用multi-view?smplify方法，生成對應(yīng)的粗糙的裸體人體三維smpl模型，具體為：
13、將所述不同角度下的人體二維圖像輸入multi-view?smplify方法中的卷積神經(jīng)網(wǎng)絡(luò)，得到smpl模型的形狀參數(shù)和姿態(tài)參數(shù)，并對smpl模型進行初始化；
14、在smplify方法中，基于所述不同角度下的人體二維圖像對所述smpl模型進行優(yōu)化，得到優(yōu)化后的形狀參數(shù)和姿態(tài)參數(shù)，并用優(yōu)化后的形狀參數(shù)和姿態(tài)參數(shù)監(jiān)督smplify方法中的cnn模型對所述smpl模型進行訓練，形成一個自監(jiān)督框架，得到所述粗糙的裸體人體三維smpl模型。
15、優(yōu)選地，對所述粗糙的裸體人體三維smpl模型，使用基于射線對采樣方法，得到表征三維特征的二維特征圖，具體為：
16、將所述粗糙的裸體人體三維smpl模型投影到一個圖像平面上，使所述粗糙的裸體人體三維smpl模型和所述不同角度下的人體二維圖像的像素對齊；
17、對每個所述像素，將它和一條射線關(guān)聯(lián)起來，每條射線記錄其穿過的所述圖像平面的索引值，通過該索引值，得到對應(yīng)的所述圖像平面的三個頂點的三維坐標，并取均值，得到該圖像平面的坐標；
18、根據(jù)所述圖像平面的坐標計算所述表征三維特征的二維特征圖并使用稀疏矩陣儲存。
19、優(yōu)選地，根據(jù)隨機選取的所述索引值，找到對應(yīng)的角度下的人體二維圖像，并將其傳入編碼器中進行編碼，得到像素對齊的二維特征圖，具體為：
20、編碼器采用下采樣-上采樣結(jié)構(gòu)的沙漏網(wǎng)絡(luò)，包含卷積層、歸一化層、殘差層、池化層和上采樣層；
21、所述對應(yīng)的角度下的人體二維圖像經(jīng)過卷積層進行分解和特征提取，然后在歸一化層進行歸一化，接著經(jīng)過池化層降低分辨率得到初步降低分辨率的圖像，再通過殘差層將初步降低分辨率的圖像向后傳遞使得圖像的分辨率進一步降低，然后再經(jīng)過上采樣層，將圖像的分辨率放大直到和原所述不同角度下的人體二維圖像的分辨率一致，得到像素對齊的二維特征圖。
22、優(yōu)選地，對所述表征三維特征的二維特征圖和所述像素對齊的二維特征圖進行拼接，傳入全連接神經(jīng)網(wǎng)絡(luò)，用深度歧義感知重建損失來訓練表征人體曲面的隱函數(shù)，輸出重建的三維人體模型，具體為：
23、使用占有概率函數(shù)f*表示人體曲面，訓練的目標是得到隱函數(shù)使其盡可能擬合f*；
24、使用多個串聯(lián)的全連接神經(jīng)網(wǎng)絡(luò)對所述隱函數(shù)進行訓練，訓練使用的損失函數(shù)使用的是一種深度起義感知重建損失，損失函數(shù)公式如下：
25、
26、本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于隱式表征的單目圖像人體重建方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述從THuman數(shù)據(jù)集中獲取真實的人體三維模型，對其進行處理，渲染得到不同角度下的人體二維圖像，并隨機生成索引值，具體為：
3.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述不同角度下的人體二維圖像，使用Multi-view?SMPLify方法，生成對應(yīng)的粗糙的裸體人體三維SMPL模型，具體為：
4.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述粗糙的裸體人體三維SMPL模型，使用基于射線對采樣方法，得到表征三維特征的二維特征圖，具體為：
5.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述根據(jù)隨機選取的所述索引值，找到對應(yīng)的角度下的人體二維圖像，并將其傳入編碼器中進行編碼，得到像素對齊的二維特征圖，具體為：
6.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述表征三維特
7.一種基于隱式表征的單目圖像人體重建系統(tǒng)，其特征在于，所述系統(tǒng)包括：
8.如權(quán)利要求7所述的基于隱式表征的單目圖像人體重建系統(tǒng)，其特征在于，所述預處理單元，用于從THuman數(shù)據(jù)集中獲取真實的人體三維模型，對其進行處理，渲染得到不同角度下的人體二維圖像，并隨機生成索引值，對所述不同角度下的人體二維圖像，使用Multi-view?SMPLify方法，生成對應(yīng)的粗糙的裸體人體三維SMPL模型，具體為：
9.如權(quán)利要求7所述的基于隱式表征的單目圖像人體重建系統(tǒng)，其特征在于，所述特征提取單元，用于對所述粗糙的裸體人體三維SMPL模型，使用基于射線對采樣方法，得到表征三維特征的二維特征圖，根據(jù)隨機選取的所述索引值，找到對應(yīng)的角度下的人體二維圖像，并將其傳入編碼器中進行編碼，得到像素對齊的二維特征圖，具體為：
10.如權(quán)利要求7所述的基于隱式表征的單目圖像人體重建系統(tǒng)，其特征在于，所述人體模型重建單元，用于對所述表征三維特征的二維特征圖和所述像素對齊的二維特征圖進行拼接，傳入全連接神經(jīng)網(wǎng)絡(luò)，用深度歧義感知重建損失來訓練表征人體曲面的隱函數(shù)，輸出重建的三維人體模型，具體為：
...【技術(shù)特征摘要】
1.一種基于隱式表征的單目圖像人體重建方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述從thuman數(shù)據(jù)集中獲取真實的人體三維模型，對其進行處理，渲染得到不同角度下的人體二維圖像，并隨機生成索引值，具體為：
3.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述不同角度下的人體二維圖像，使用multi-view?smplify方法，生成對應(yīng)的粗糙的裸體人體三維smpl模型，具體為：
4.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述粗糙的裸體人體三維smpl模型，使用基于射線對采樣方法，得到表征三維特征的二維特征圖，具體為：
5.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述根據(jù)隨機選取的所述索引值，找到對應(yīng)的角度下的人體二維圖像，并將其傳入編碼器中進行編碼，得到像素對齊的二維特征圖，具體為：
6.如權(quán)利要求1所述的基于隱式表征的單目圖像人體重建方法，其特征在于，所述對所述表征三維特征的二維特征圖和所述像素對齊的二維特征圖進行拼接，傳入全連接神經(jīng)網(wǎng)絡(luò)，用深度歧義感知重建損失...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周凡，蘇卓，劉宇，鄭澤丹，
申請(專利權(quán))人：中山大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。