一種基于稀疏關鍵點的參數化人體模型重建方法技術

本發明專利技術公開了一種基于稀疏關鍵點的參數化人體模型重建方法，該方法包括以下步驟：深度獲取、自動關鍵點尋找、關鍵點輔助重建。該方法的目的是從用戶輸入的人體深度數據上自動地提取出稀疏的關鍵點，并根據這些關鍵點的位置重建出參數化人體模型。本發明專利技術生成的參數化人體模型可以作為虛擬試衣、虛擬現實和游戲等重要應用的輸入。

【技術實現步驟摘要】

本專利技術屬于計算機視覺
，特別涉及到一種基于稀疏關鍵點的參數化人體 模型重建方法。
技術介紹
重建人體三維模型是計算機視覺中的重要問題之一，擁有很多潛在的應用。例如， 我們可以在重建得到的網格模型上進行自動的人體身材測量，設計相應的服裝。或將重建 的模型作為用戶的替身應用在電子游戲，遠程會議中。受到強烈的需求推動，近年來學術 界涌現出了很多關于人體重建的工作。這些工作根據是否用參數化模型表示重建出的結 果可以被分為兩類。非參數化的重建算法中代表性的如LiHao在2013年提出的"3D Self Portrait"算法，通過將不同視角下掃描得到的三維點云進行注冊，進而重建成水密的網 格。這類算法重建的模型能夠捕捉人體的幾何細節，但是受到生成模型的非參數化形式限 制，非參數化的重建算法不利于某些應用。例如在計算機動畫中，即使對非參數化模型使用 最先進的變形算法也不能準確地模擬肌肉產生的變形。再例如電子游戲中經常需要對模型 的身材進行調整，使用非參數化模型很難產生自然的身材變形。相對的，參數化模型不像前 者能夠精確重現用戶身體上如頭發、衣物的幾何細節，但其抗噪聲能力強，而且可以將模型 的外形與用戶的身材、姿態等參數聯系起來，從而非常容易滿足應用需要。最近，PengGuan 在2013年提出了直接用模型的參數進行高效高質量的衣物仿真的"DRAPE"算法，這使得快 速地自動重建出參數化模型的需求大大提升。 現存的參數化模型重建方法中，ShizheZhou在2010年提出了 "Parametric Reshaping of Human Bodies in Images"，一種從單幅圖像中重建出參數化模型的算法。該 算法可以為不同的對象重建出參數化模型。但需要比較繁重的人工交互以確定人體的姿態 并給出模型頂點與圖像上輪廓的對應關系。此外，雖然人體的圖像非常容易獲取，但同時也 丟失了人體的尺度信息。這意味著該方法輸出的模型不能正確地反映人體的身材。相對的， 深度數據提供了 3D信息，可以真實地反映人體的尺度信息。DragomirAnguelov在2005年 提出的"SCAPE"算法可以從高精度的三維人體掃描數據中恢復參數化模型。用戶需要手動 在深度數據上標記與模型之間的對應關系，之后使用一個基于優化的框架計算深度數據與 模型之間的稠密對應關系，并根據稠密對應關系重建參數模型。Alexander Weiss在2012 年提出的"Home 3D Body Scan from Noisy Image and Range data"借助非剛性注冊的方 法迭代地優化深度數據和網格之間的稠密對應關系，完成了全自動地從含有噪聲的深度數 據中重建參數化模型的目標。由于尋找稠密對應的過程比較耗時，需要計算接近一個小時 的時間得到目標參數化模型。 上述領域的一些最新成果為我們開發自動從深度數據重建參數化模型的方法提 供了堅實的技術基礎。這些方法也為開發一種高質量、低成本的參數化人體模型獲取方法 和系統提供了技術支撐。
技術實現思路
本專利技術所要解決的主要技術問題是針對現存的參數化模型重建算法的需要人工 交互和低效率的問題提出一種自動而且高效的解決方法和系統。該方法可以高效地在輸入 的深度數據上自動計算稀疏的關鍵點，并根據這些關鍵點的位置快速重建出參數化人體模 型。 為了實現本專利技術的目的，我們依賴以下技術方案，它包括以下步驟： (1)深度獲取：使用深度掃描設備（Kinect)掃描人體的正面，并剔除屬于背景和 地面的區域。得到孤立的人體深度數據。 (2)自動關鍵點尋找：使用基于隨機蕨（Random fern)的回歸算法自動計算深度 數據上的稀疏關鍵點。 (3)關鍵點輔助重建：將稀疏關鍵點與模型網格之間的對應關系作為約束，使用 優化算法重建出參數化人體模型。 采用以上技術方案的基礎上，本專利技術還可以采用以下進一步的方案： 在步驟（2)中，對每個輸入的深度數據，隨機初始P個關鍵點坐標，使用q個不同 方向光源將深度數據繪制成q個陰影圖。對每張陰影圖隨機采樣每個關鍵點周圍的M個像 素灰度，并對每張陰影圖計算所有像素之間的灰度差異。將得到的MPq個灰度差異作為隨 機蕨回歸算法的輸入特征。 在步驟⑵中，合成N個不同姿態和身材，注冊好的人體網格。并提取每個網格上 準確的P個關鍵點坐標，組成目標關鍵點位置向量。接著對每個網格，隨機生成初始關鍵點 位置向量S。。將差異向量AS = S-S。作為訓練隨機蕨回歸算法的回歸目標。 在步驟（2)中，訓練隨機蕨回歸模型，并使用Ensemble Learning方法將多個隨機 蕨回歸模型的結果進行綜合：將訓練過程重復T次，每次Random fern訓練結束，用訓練結 果更新每個訓練樣本的初始關鍵點位置向量：St+1= St| ASt。之后用新的初始關鍵點位置 重新訓練。測試時，從輸入深度數據提取特征，輸入訓練好的Random fern回歸模型，計算 關鍵點位置。 在步驟（3)中，如圖2所示，使用兩步優化算法交替迭代求解姿態參數t和身材參 數β。每次迭代過程包括4個模塊：(a)計算目標網格頂點Y與姿態參數t的線性關系： Y(t) = ct+d ; (b)使用步驟（2)計算得到的稀疏關鍵點約束關于姿態參數t的重建誤差能 量，優化姿態參數t。（c)計算目標網格頂點Y與身材參數β的線性關系：Y ( β )= f β +g。 (d)使用步驟（2)計算得到的稀疏關鍵點約束關于身材參數β的重建誤差能量，優化姿態 參數β。 在步驟（3)中的（a)、（c)兩個模塊，使用矩陣預分解加速目標網格頂點Y與姿態 參數t的線性關系Y (t) = ct+d以及目標網格頂點Y與身材參數β的線性關系Y ( β )= fP+g的系數求解。 本專利技術的有益效果為：本方法使用基于回歸的方法自動地在輸入深度數據上尋找 稀疏關鍵點，與傳統的使用基于優化的方法尋找深度圖與網格的稠密對應關系相比，我們 的方法不需要任何人工交互進行初始化。更重要的是本專利技術所述的基于回歸的方法不需要 求解大型優化問題，而只需要進行簡單的向量加法和查表就可以得到稀疏關鍵點，大大提 高了算法效率。另一方面，在進行參數化模型重建的過程中，使用了預分解技術解決了迭代 過程中需要重復進行大型矩陣分解的問題，進一步提高了算法效率。總的來說，本專利技術所述 算法平均消耗3. 5秒進行模型重建，與傳統方法接近一小時相比，效率得到了顯著的提升， 而重建準確度卻能夠與傳統方法持平。【附圖說明】 圖1為基于稀疏關鍵點的參數化人體模型重建方法流程圖。 圖2為關鍵點輔助重建方法流程圖。 圖3為人體區域劃分圖。【具體實施方式】 下面結合附圖和【具體實施方式】對本專利技術作進一步詳細的說明： 參照圖1，表示基于稀疏關鍵點的參數化人體模型重建方法流程圖，圖中表示的步 驟為： 1深度獲取：將kinect擺放在用戶正面，另kinect電動馬達旋轉54度，過程中拍 攝10張深度圖。使用KinectFusion流程將深度圖拼接成光滑網格。對該網格刪除屬于地 面的頂點，刪除距離kinect攝像頭距離超過I. 5m的頂點達到剔除背景的目的。 2自動關鍵點尋找：參照圖1，這個步驟分為兩步：(a)離線構造訓練樣本數本文檔來自技高網...

【技術保護點】
一種基于稀疏關鍵點的參數化人體模型重建方法，其特征在于它包括以下步驟：(1)深度獲取：使用深度掃描設備掃描人體的正面，并剔除屬于背景和地面的區域得到孤立的人體深度數據；(2)自動關鍵點尋找：在人體上定義P個關鍵點，使用基于隨機蕨的回歸算法自動計算對應輸入深度數據上的稀疏關鍵點；(3)關鍵點輔助重建：將稀疏關鍵點與模型網格頂點Y之間的對應關系作為約束，交替使用線性最小二乘優化算法重建出參數化人體模型的姿態參數t和與身材參數β，其中，在優化姿態參數t時，利用網格頂點Y與姿態參數t的線性關系Y(t)＝ct+d建立線性方程，c，d為線性方程系數，在優化身材參數β時，利用網格頂點Y與身材參數β的線性關系Y(β)＝fβ+g建立線性方程，f，g為線性方程系數。

【技術特征摘要】

【專利技術屬性】
技術研發人員：童若鋒，成可立，
申請(專利權)人：浙江大學，
類型：發明
國別省市：浙江;33