【技術實現步驟摘要】
本專利技術涉及計算機圖像處理和三維重建領域，尤其是涉及一種結合權重掩碼隱式表面的模型，利用計算機視覺技術和深度學習算法以生成人體的高精度三維模型的方法。
技術介紹
1、近年來，神經隱式表示在三維建模和圖像合成中的快速發展。與網格、點云和體素等經典離散對應物相比，神經隱式表示使用神經網絡對場景進行建模，神經網絡在空間上是連續的，并顯示出更高的保真度和靈活性。作為神經渲染中最流行的隱式表示，神經輻射場(neural?radiance?fields，nerf)自第一次介紹以來，在各種任務中表現出驚人的結果。原始nerf通過設計在一個靜態場景上過擬合，因此無法對時變內容進行建模。
2、nerf中的體渲染技術是一種通過積分光線路徑上所有采樣點的顏色和不透明度來生成圖像的技術。然而，當應用于人體模型時，由于人體表面細節的復雜性和多樣性，僅依靠體渲染的方法難以精確捕捉到每一個細微的表面特征，因為體渲染過程中，光線在穿過物體時會累積大量的信息，而這些信息的累積可能會導致表面細節的模糊化。
3、隱式表面模型(implicit?surface?model)是一種在計算機圖形學、計算機視覺以及機器學習領域中廣泛應用的技術。它通過定義一個標量場來表示三維空間中的形狀或物體，其中標量場的值可以用來區分物體內外的空間。具體來說，對于給定的三維點，如果該點位于物體內部，則標量場在此處的值為負；如果位于物體外部，則值為正；而當值為零時，該點正好位于物體的表面上。這種表示方法不僅能夠精確地捕捉復雜的幾何結構，還便于進行各種幾何操作和變換。
技術實現思路
1、針對現有技術中的不足，本專利技術提供一種基于權重掩碼策略的隱式表面人體建模方法。為了解決表面細節模糊化的問題，本專利技術采取權重掩碼策略來表達隱式表面模型，它通過定義一個連續的標量場來描述物體的形狀，其中場值的變化指示了物體內外的空間轉換，能夠提供一個明確的表面定義——即零水平集(zero-level?set)，這是一組使得場函數值為零的點集合，恰好對應于物體的表面。一個物體的表面s由其sdf的零水平集可以表示為：
2、
3、在渲染過程中，可以通過求解這個零水平集來精確地確定光線與物體表面的交點，從而避免了由于采樣不準確導致的表面模糊問題。
4、一種基于權重掩碼策略的隱式表面人體建模方法，包括步驟如下：
5、步驟一：基于2d人體照片生成隱式表達。
6、步驟二：將生成的空間點的隱式表達輸入到渲染器中，渲染人體預測圖像和預測掩碼。
7、步驟三：優化人體特殊部位的表面,根據損失函數監督并訓練模型；
8、步驟四：根據得到的模型進行人體表面的生成。
9、進一步的，步驟一具體方法如下：
10、給定n個人體圖像分辨率為(w，h)以及相應的相機內參(intrinsics)、外參(extrinsics)和人體對象掩碼目標是重建精細的人體表面。
11、對于給定輸入人體圖像上的采樣點t，首先將其投影到3d空間中，得到從像素發射的射線上的3d點為{p(t)＝o+tv|t≥0}，其中o為相機的中心，v為射線的單位方向向量。然后，通過三個全連接神經網絡(sdf-net、validity-net、color-net)分別預測空間點p(t)的符號距離值f(p(t))、有效性概率v(p(t))和rgb值c(p(t))，即得到空間點p(t)的隱式表達(包括三種值)。具體來說，所述的三個全連接神經網絡包括：
12、sdf-net：映射函數來表示符號距離場。
13、validity-net：映射函數來表示有效性概率。
14、color-net：映射函數來預測3d空間的每一個點的顏色。
15、進一步的，步驟二具體方法如下：
16、將空間點的三個的隱式表達傳遞到渲染器中，以從隱式表達中渲染人體預測圖像(ipred(o,v))和預測掩碼(mpred(o,v))。
17、預測掩碼mpred(o,v)從每個空間點的渲染權重w(p(t))中推斷得到，同時人體預測圖像ipred(o,v)基于rgb值c(p(t))和渲染權重w(p(t))計算得到：
18、
19、根據上述等式，渲染過程中的一個關鍵問題是找到合適的權重函數w(p(t))。將此任務分為兩個步驟：
20、1)構建一個概率密度函數基于符號距離值(f(p(t)))估計體積密度。
21、2)基于體積密度和有效性概率估計得到合適的權重函數w(p(t))。
22、構建概率密度函數具體如下：
23、通過在符號距離值沿相機光線增加的區域翻轉其符號來修改符號距離值。概率密度函數定義為：
24、
25、其中v為射線的單位方向向量，n為符號距離函數的梯度。表示邏輯密度分布函數，公式表示如下：
26、φs(x)＝se-sx/(1+e-sx)2
27、概率密度函數的定義確保了光線從任一方向進入表面時相同的渲染行為。
28、估計權重函數具體如下：
29、權重函數w(p(t))存在兩個屬性:無偏和遮擋感知。采用以下第一個公式定義無偏渲染權重函數w(p(t))，并根據以下第二個公式中的不透明密度ρ(t)定義遮擋感知權重函數。
30、
31、求解以上兩個方程，能夠獲得不透明度ρ(t)：
32、
33、為了獲得人體預測圖像，對不透明度和權重函數采用可微體繪制中的經典離散化方案。對于沿射線的一組空間點{pi＝o+tiv|i＝1,...m,ti<ti+1}，其渲染的人體預測圖像能夠表示為：
34、
35、其中ci即為c(p(ti))，是第i個采樣點的估計顏色；αi是符號距離值的隱式表達進行渲染時的離散不透明度值,能夠寫為：
36、
37、由此建立了一個無偏和遮擋感知的權重函數w(p(t))，該函數支持使用符號距離函數(sdf)表示渲染人體的表面模型。
38、進一步的，步驟三具體方法如下：
39、為了渲染人體模型表面的特殊表面，將3d采樣點的有效性概率(v(p(ti)))乘以它們在渲染過程中的不透明度值。則第i個采樣點的離散不透明度值為βi為：
40、βi＝αi·v(p(ti))
41、所以人體模型表面的最本文檔來自技高網...
【技術保護點】
1.一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，包括步驟如下：
2.根據權利要求1所述的一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，步驟一具體方法如下：
3.根據權利要求2所述的一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，步驟二具體方法如下：
4.根據權利要求3所述的一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，步驟三具體方法如下：
5.根據權利要求4所述的一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，步驟四具體方法如下：
【技術特征摘要】
1.一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，包括步驟如下：
2.根據權利要求1所述的一種基于權重掩碼策略的隱式表面人體建模方法，其特征在于，步驟一具體方法如下：
3.根據權利要求2所述的一種基于權重掩碼策略的隱式表面人體建模方...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。