基于PYMAFX的人體3D重建模型、方法及應用技術

本申請涉及用于醫學檢測領域的三維數字人重建技術領域，公開了基于PYMAFX的人體3D重建模型、方法及應用，基于pymaf

【技術實現步驟摘要】
基于PYMAFX的人體3D重建模型、方法及應用


[0001]本專利技術涉及醫用檢測領域中的三維重建
，尤其涉及3D數字人重建技術及應用
，具體涉及基于PYMAFX的人體3D重建模型、方法及應用。

技術介紹

[0002]在普通放射檢查中，“擺位”是非常重要的環節，“擺位”是指操作人員在進行X射線攝影前，根據診斷需要，輔助受檢者擺出特定的姿勢，同時調整檢查設備，使設備與受檢部位保持特定的幾何關系。“擺位”決定下游診斷時可以看到的影像內容，質量差的“擺位”可能導致誤診漏診。
[0003]普通放射臨床應用中，“檢查項目”這種協議被用于上下游之間溝通檢查需要，通常由檢查發起方指定“檢查項目”，操作人員根據“檢查項目”的要求進行“擺位”并拍攝X射線影像。定義良好的“檢查項目”在一定程度上提升了上下游的溝通效率，但是面對不斷增多的各類疑難雜癥，檢查需要越來越多，“擺位”要求也越來越高，現有的“檢查項目”已經無法滿足診斷需要。許多設備制造商也做了努力，在較新的設備中，“檢查項目”的數目在不斷增加，從最早的幾十種，到后來的一百多種，再到如今有兩百多種，每次增加都可以在一定時間內一定程度上適應新的檢查需要，但是每次增加都是對檢查上下游的巨大負擔，檢查發起方和操作人員都需要不斷學習新的“檢查項目”的“擺位”細節，以使新的“檢查項目”可以被實際用起來，因此對上下游的經驗要求越來越高，在醫療資源本就匱乏的如今，這是不切實際的。
[0004]本申請提出一種在普通放射檢查中基于3D數字人技術的交互方式，用于上下游之間更加精準地溝通檢查需要，可以無限擴展，在一定程度上或完全取代“檢查項目”。
[0005]3D數字人技術是以單相機(或雙目相機)拍攝的含人體的RGB(或RGBD)圖像或視頻作為輸入，通過立體視覺、深度學習、計算機圖形學等后端算法處理，對RGB(或RGBD)圖像或視頻中的人體進行表面三維重建，并最終在交互終端上進行可視化展示的技術。
[0006]所述單相機(或雙目相機)放置在適當的位置實時采集RGB(或RGBD)圖像，滿足其畫面在工作期間始終包含目標人體；所述后端處理算法運行在高性能處理器上，處理相機采集到的包含人體的RGB(或RGBD)圖像，最終實時生成對應的人體表面三維重建結果和空間位置；所述高性能處理器帶有高性能GPU；所述交互終端可以有多個，放置在需要交互的位置，其上有交互軟件，實時獲取人體表面三維重建結果和空間位置，并進行可視化展示，還提供編輯工具，可以基于人體表面三維重建結果繼續修改；所述人體表面三維重建結果是包含人體全身網格的有序頂點集合。

技術實現思路

[0007]為了解決現有數字人建立，以及數字人在醫學檢測中的應用問題，本申請提供基于PYMAFX的人體3D重建模型、方法及應用，用于至少達到下述效果之一：
[0008]1、本專利技術提供了基于PYMAFX的人體3D重建模型的方法，能夠實現3D數字人的高效
建立，穩定交互，為數字人的后續廣泛應用提供可靠的技術支持和保證。
[0009]2、本專利技術提供了基于PYMAFX的人體3D重建模型，用于實現多場景交互應用，尤其是在醫學領域，結合《放射技術與相關解剖(第6版)》能夠實現包括DR、CT、MRI、超聲等諸多場景應用。
[0010]3、數字人能夠實現多場景的復現，為醫生診斷提供輔助參考，解決現有DR、CT、MRI的片子單一，無法復現拍攝場景，角度，方位信息等問題。
[0011]為了達到上述目的，本申請所采用的技術方案為：
[0012]基于PYMAFX的人體3D重建模型的方法，包括如下步驟：
[0013]step1：通過相機采集自然人體RGB圖像I0；
[0014]step2：通過關鍵點檢測算法KeyPoint_Detect(I0)，獲得RGB圖像上人體各部位關鍵點坐標
[0015]K
body
、K
face
、K
hand
＝KeyPoint_Detect(I0)
[0016]其中，K
body
為人體主體關鍵點二維坐標，K
face
為人體臉部關鍵點二維坐標，K
hand
為人體手部關鍵點二維坐標，KeyPoint_Detect為人體關鍵點檢測算法。
[0017]step3：通過K
body
、K
face
、K
hand
對人體進行劃分，獲得各部位對應的RGB子圖I
body
、I
face
、I
hand
，其中I
body
為人體主體RGB子圖，I
face
為人體臉部RGB子圖，I
hand
為人體手部RGB子圖；
[0018]step4：獲得各部位的二維特征圖：關于人體主體RGB子圖I
body
，通過圖像編碼器Encoder
body
，獲得人體主體金字塔特征圖
[0019][0020]以相同的方法獲得人體臉部金字塔特征圖人體手部金字塔特征圖
[0021]step5:對人體主體金字塔特征圖進行采樣，獲得不同尺度下人體主體金字塔特征圖的統一尺度信息表達
[0022][0023]以相同的方法獲得人體臉部金字塔特征圖的統一尺度信息表達以及人體手部金字塔特征圖的統一尺度信息表達
[0024]其中，DownSample為采樣器，對特征圖進行尺度放縮，P
i(i＝0,1,2)
為采樣間隔，規定不同金字塔特征圖的采樣規則，具有統一尺度；
[0025]step6：初始化現有smpl
?
x人體模型，并獲得smpl
?
x人體模型參數θ
i
；
[0026]step7：將人體模型參數θ
i
、輸入參數回歸器Regressor
_i
中獲得基于現有smpl
?
x的人體3D重建模型t
i+1
[0027][0028]其中，在i＝0時，則以初始化smpl
?
x人體參數θ0為參數進行迭代計算。
[0029]為了提升數字人可量化檢測模型的穩定性，優選地，還包括通過外觀路徑提高人體3D重建模型穩定性的步驟，具體包括：將相機拍攝的圖像中任一單幀外觀替換為加權外觀的步驟，所述加權外觀通過下述公式獲得：
[0030][0031]其中，
[0032]代表t時刻第i個人的單幀外觀，代表t時刻共i個人的加權外觀，Φ
A
是外觀聚合函數，α為預測系數，它采用前一個軌跡和新檢測的外觀表示的加權和；
[0033]單幀外觀在時間t時刻通過UV圖和可見性掩膜合成，具體表示為：
[0034][0035]其中，代表單幀外觀的UV圖，代表可見性掩膜。
[0036]為了提升數字人可量化檢測本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.基于PYMAFX的人體3D重建模型的方法，其特征在于，包括如下步驟：step1：通過相機采集自然人體RGB圖像I0；step2：通過關鍵點檢測算法KeyPoint_Detect(I0)，獲得RGB圖像上人體各部位關鍵點坐標K
body
、K
face
、K
hand
＝KeyPoint_Detect(I0)其中，K
body
為人體主體關鍵點二維坐標，K
face
為人體臉部關鍵點二維坐標，K
hand
為人體手部關鍵點二維坐標，KeyPoint_Detect為人體關鍵點檢測算法。step3：通過K
body
、K
face
、K
hand
對人體進行劃分，獲得各部位對應的RGB子圖I
body
、I
face
、I
hand
，其中I
body
為人體主體RGB子圖，I
face
為人體臉部RGB子圖，I
hand
為人體手部RGB子圖；step4：獲得各部位的二維特征圖：關于人體主體RGB子圖I
body
，通過圖像編碼器Encoder
body
，獲得人體主體金字塔特征圖，獲得人體主體金字塔特征圖以相同的方法獲得人體臉部金字塔特征圖人體手部金字塔特征圖step5:對人體主體金字塔特征圖進行采樣，獲得不同尺度下人體主體金字塔特征圖的統一尺度信息表達的統一尺度信息表達以相同的方法獲得人體臉部金字塔特征圖的統一尺度信息表達以及人體手部金字塔特征圖的統一尺度信息表達其中，DownSample為采樣器，對特征圖進行尺度放縮，P
i(i＝0,1,2)
為采樣間隔，規定不同金字塔特征圖的采樣規則，具有統一尺度；step6：初始化現有smpl
?
x人體模型，并獲得smpl
?
x人體模型參數θ
i
；step7：將人體模型參數θ
i
、輸入參數回歸器Regressor
_i
中獲得基于現有smpl
?
x的人體3D重建模型t
i+1
其中，在i＝0時，則以初始化smpl
?
x人體參數θ0為參數進行迭代計算。2.根據權利要求1所述的基于PYMAFX的人體3D重建模型的方法，其特征在于：還包括通過外觀路徑提高人體3D重建模型穩定性的步驟，具體包括：將相機拍攝的圖像中任一單幀外觀替換為加權外觀的步驟，所述加權外觀通過下述公式獲得：
其中，其中，代表t時刻第i個人的單幀外觀，代表t時刻共i個人的加權外觀，Φ
A
是外觀聚合函數，α為預測系數，它采用前一個軌跡和新檢測的外觀表示的加權和；單幀外觀在時間t時刻通過UV圖和可見性掩膜合成，具體表示為：其中，代表單幀外觀的UV圖，代表可見性掩膜。3.根據權利要求1所述的基于PYMAFX的人體3D重建模型的方法，其特征在于：還包括通過位置路徑提高人體3D重建模型穩定性的步驟，具體包括：將相機拍攝的含有受檢者圖像中受檢者人像i在時間t+1具有的3D位置替換為根據已有軌跡預測的3D位置的步驟，3D位置通過下式獲得：其中，Φ
L
是位置聚合函數；以相同的方式預測和Φ
L
采用最后的w觀測值通過最小二乘法擬合直線，并獨立回歸x、y和n的未來位置；根據線性回歸，x在時間步t
′
的預測區間由以下等式給出：其中，t(1
?
α/2)是標準概率論和統計學中的t分布，α為置信度，w

【專利技術屬性】
技術研發人員：鄒易峰，馬川，侯雨舟，
申請(專利權)人：曉智未來成都科技有限公司，
類型：發明
國別省市：