【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像數(shù)據(jù)處理，尤其涉及基于x射線圖像對三維數(shù)字人模型進行修訂的方法，具體涉及基于x光透視影像的人體網(wǎng)格非剛性配準方法。
技術(shù)介紹
1、三維數(shù)字人生成技術(shù)是指利用計算機技術(shù)和算法創(chuàng)建出虛擬的人類形象(即三維數(shù)字人或虛擬人)的過程。這一技術(shù)通常涉及以下幾個步驟：
2、數(shù)據(jù)采集：通過各種方式獲取人類形象的數(shù)據(jù)，包括2d圖像、視頻、深度圖像、激光掃描等。利用計算機圖形學和機器學習算法，將采集到的數(shù)據(jù)轉(zhuǎn)化為三維模型。這個過程可能包括面部特征、身體結(jié)構(gòu)、紋理貼圖等的生成。在得到三維模型后，通過動畫技術(shù)賦予其動態(tài)表現(xiàn)，使其能夠展示各種表情、動作和交互。結(jié)合不同模態(tài)的數(shù)據(jù)，優(yōu)化生成的三維數(shù)字人，使其在視覺上更加真實和自然。
3、三維數(shù)字人生成技術(shù)的應(yīng)用范圍廣泛，可以在多個領(lǐng)域發(fā)揮重要作用：例如虛擬角色：在視頻游戲、動畫電影和虛擬現(xiàn)實體驗中，生成高質(zhì)量的虛擬角色，提升用戶體驗。用戶可以根據(jù)自己的喜好創(chuàng)建個性化的虛擬形象。用戶能夠在社交平臺上使用虛擬人形象作為自己的代表，與他人互動，同時，在社交應(yīng)用中使用虛擬人形象進行面部替換和特效增強。在醫(yī)療與教育方面可以利用三維數(shù)字人模型進行解剖學教學和模擬手術(shù)練習等等。
4、現(xiàn)有技術(shù)中，已經(jīng)可以通過單張或多張2d圖像生成3d模型，常用的方法包括深度學習、卷積神經(jīng)網(wǎng)絡(luò)(cnn)等，當然，亦有采用視頻序列提取運動信息和表情變化，生成更為動態(tài)的3d模型，這主要應(yīng)用于動畫制作、虛擬現(xiàn)實(vr)和增強現(xiàn)實(ar)。雖然現(xiàn)有技術(shù)中能夠通過2d圖像和視頻生成3d數(shù)字人模型，
技術(shù)實現(xiàn)思路
1、為了解決現(xiàn)有技術(shù)三維數(shù)字人生成的精度不夠高問題，本申請?zhí)峁┝嘶趚光透視影像的人體網(wǎng)格非剛性配準方法，用于對已經(jīng)生成的三維數(shù)字人的人體網(wǎng)格通過客觀，真實的x光圖像數(shù)據(jù)進行配準修訂，從而獲得與實際人體盡可能貼合或者重合的三維數(shù)字人；根據(jù)實際配準修訂的x光圖像數(shù)據(jù)不同，非剛性配準包括體表網(wǎng)格和骨骼網(wǎng)格的修訂，使得整個三維數(shù)字人將由內(nèi)而外的與實際人體參數(shù)進行匹配，獲得高精度三維數(shù)字人體模型。
2、為了達到上述目的，本申請所采用的技術(shù)方案為：
3、基于x光透視影像的人體網(wǎng)格非剛性配準方法，用于將包括體表網(wǎng)格m和骨骼網(wǎng)格s的人體網(wǎng)格模型進行非剛性配準獲得精準人體網(wǎng)格模型，包括以下步驟：
4、步驟stp100，根據(jù)實際x光影像數(shù)據(jù)提取輪廓，采用輪廓檢測算法提取每張x光影像數(shù)據(jù)上的人體表面輪廓同時使用u-net或者mask-r-cnn算法分割出體內(nèi)骨骼輪廓
5、步驟stp200，當x光影像數(shù)據(jù)為ct或mri影像時，將步驟stp100中獲得的人體表面輪廓和體內(nèi)骨骼輪廓進行均勻降采樣獲得所有影像上的采樣點根據(jù)實際像素尺寸進行空間堆疊分別形成體表點云和骨骼點云其中，體表點云中n1代表體表點云的點數(shù)，是體表點云上齊次坐標中的第i個點，骨骼點云中n2代表骨骼點云的點數(shù)，是骨骼點云上齊次坐標中的第j個點；
6、步驟stp300，采用基于局部幾何相似性和不一致對應(yīng)物擴散剪枝方法計算待配準人體網(wǎng)格中的體表網(wǎng)格m的頂點與體表點云之間的映射f和待配準人體網(wǎng)格中的骨骼網(wǎng)格s的頂點與骨骼點云之間的映射g；
7、步驟stp400，建立在映射f和g的前提下，獲得體表網(wǎng)格m轉(zhuǎn)到目標體表網(wǎng)格m‘的非剛性配準am，為非剛性配準的集合或矩陣，表示點mi的轉(zhuǎn)換矩陣；獲得骨骼網(wǎng)格s轉(zhuǎn)到目標骨骼網(wǎng)格s’的非剛性配準as，為非剛性配準的集合或矩陣，表示點si的轉(zhuǎn)換矩陣；
8、步驟stp500，建立非剛性配準能量函數(shù)e，
9、e(am,as；f,g)
10、＝α.epoints(am,as；f,g)/+esmooth(am,as；f,g)
11、+eorth(am,as；f,g)
12、其中，α代表權(quán)重，當體表點云和骨骼點云存在時α＝1，否則α＝0；epoints、esmooth和eorth分別是點云損失、平滑度約束和正交性約束；獲得取值最小emin時的am，as即完成最佳非剛性配準。
13、優(yōu)選地，步驟stp200中當x光影像數(shù)據(jù)為ct、mri影像、單張或者連續(xù)dr或cbct時中任一一種或者多種時，還包括基于輪廓非剛性配準的步驟，具體包括：
14、步驟stp210，將體表網(wǎng)格m上的任一點mi從標準世界坐標系轉(zhuǎn)換到x光影像數(shù)據(jù)拍攝狀態(tài)的球管坐標系獲得對應(yīng)點
15、
16、其中，tn為世界坐標系到球管坐標系的轉(zhuǎn)換矩陣，n為拍攝的次數(shù)；
17、步驟stp220，根據(jù)探測器成像區(qū)域尺寸及球管與探測器的擺位獲取人體網(wǎng)格模型的所有點像素坐標ppn
18、
19、其中，calewidth、scaleheight分別代表橫向、縱向一個像素實際的長度，射線中心在探測器上成像點的像素坐標為(ppx,ppy)；
20、
21、其中，width、height分別為探測器成像區(qū)域?qū)捄透撸瑆和h分別為探測器成像像素寬和高；
22、步驟stp230，提取最外緣所有點的集合即獲得體表輪廓
23、步驟stp240，按照步驟stp210-步驟stp230對骨骼網(wǎng)格上任一點sj進行轉(zhuǎn)換獲得骨骼輪廓
24、步驟stp250，將步驟stp230獲得的體表輪廓與步驟stp100中提取的表面輪廓進行配準，將步驟stp240獲得的骨骼輪廓與步驟stp100中提取的骨骼輪廓進行配準，建立非剛性配準能量函數(shù)e，
25、e(am,as；f,g)
26、＝α.epoints(am,as；f,g)/+β(esil(am,as；f,g))+esmooth(am,as；f,g)+eorth(am,as；f,g)
27、其中，α，β代表權(quán)重，當體表點云和骨骼點云存在時α＝1，否則α＝0；當體表輪廓和骨骼輪廓存在時β＝1，否者β＝0，其中epoints、esil、esmooth和eorth分別是點云損失、輪廓損失、平滑度約束和正交性約束。
28、優(yōu)選地，所述點云損失epoints通過下述算法獲得
29、
30、其中，wi表示體表點誤差權(quán)重，wj代表骨骼點誤差權(quán)重，如果mi的目標形狀上有相應(yīng)的點，則權(quán)重wi為1，否則權(quán)重為0；如果sj的目標形狀上有相應(yīng)的點，則權(quán)重wj為1，否則權(quán)重為0。
31、優(yōu)選地，平滑度約束esmooth通過下述算法獲得
32、
33、其中，mi和mj為相鄰體表頂點，si和sj為相鄰骨骼頂點。
34、優(yōu)選地，正交性約束eorth通過下述算法獲得
35、
36、其中，是3×3旋轉(zhuǎn)矩陣，是提取的旋轉(zhuǎn)分量的常數(shù)3×4矩陣，和本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.基于X光透視影像的人體網(wǎng)格非剛性配準方法，用于將包括體表網(wǎng)格M和骨骼網(wǎng)格S的人體網(wǎng)格模型進行非剛性配準獲得精準人體網(wǎng)格模型，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于X光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，步驟STP200中當X光影像數(shù)據(jù)為CT、MRI影像、單張或者連續(xù)DR或CBCT時中任一一種或者多種時，還包括基于輪廓非剛性配準的步驟，具體包括：
3.根據(jù)權(quán)利要求1或2所述的基于X光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，所述點云損失Epoints通過下述算法獲得
4.根據(jù)權(quán)利要求1或2所述的基于X光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，平滑度約束Esmooth通過下述算法獲得
5.根據(jù)權(quán)利要求1或2所述的基于X光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，正交性約束Eorth通過下述算法獲得
6.根據(jù)權(quán)利要求2所述的基于X光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，輪廓損失Esil通過下述算法獲得
【技術(shù)特征摘要】
1.基于x光透視影像的人體網(wǎng)格非剛性配準方法，用于將包括體表網(wǎng)格m和骨骼網(wǎng)格s的人體網(wǎng)格模型進行非剛性配準獲得精準人體網(wǎng)格模型，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于x光透視影像的人體網(wǎng)格非剛性配準方法，其特征在于，步驟stp200中當x光影像數(shù)據(jù)為ct、mri影像、單張或者連續(xù)dr或cbct時中任一一種或者多種時，還包括基于輪廓非剛性配準的步驟，具體包括：
3.根據(jù)權(quán)利要求1或2所述的基于x光透視影像的人體網(wǎng)格非...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馬川，侯雨舟，李少青，
申請(專利權(quán))人：曉智未來成都科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。