【技術實現步驟摘要】
本專利技術涉及脊柱畸形輔助觀察，具體為脊柱畸形輔助觀察方法及系統。
技術介紹
1、脊柱側凸、脊柱前凸等脊柱形態異常目前主要是通過x射線照射得到靜態脊柱骨骼圖片，由專業醫生進行觀察評估可能存在的病態異常，由于x射線的放射性對人體健康存在一定影響，且不便于大規模篩查，近年來出現了一些通過拍攝或掃描靜態圖片的評估方法，如cn113951874b、cn109785297b等，能夠在不影響被評估者健康的情況下方便醫生進行篩查，但此類方法也只能基于靜態影像進行分析評估，其觀察角度和受試者動作的單一性可能影響醫生的全面評估和準確判斷，亟需一種能夠幫助醫生在被評估者走路、彎腰等動態過程中全方位觀察其背部及脊柱形態的方法和系統。
技術實現思路
1、針對現有技術的不足，本專利技術提供了脊柱畸形輔助觀察方法及系統，解決了
技術介紹
中提到的問題。
2、為實現以上目的，本專利技術通過以下技術方案予以實現：脊柱畸形輔助觀察方法，包括以下步驟：
3、s1、在評估場地固定架設多個相機，標定相機，并采集被評估者的多視角視頻影像；
4、s2、對多視角影像進行背景濾除處理，提取純凈人體影像；
5、s3、利用各個視角下的純凈人體影像生成3d人體外形模型；
6、s4、基于3d人體外形模型預測3d人體脊柱模型；
7、s5、對3d人體外形模型及3d人體脊柱模型進行渲染及展示。
8、優選的，所述步驟s1中，多個相機數量不低于4個，布置成環形或半環形
9、優選的，所述步驟s1進一步包括：標定相機涉及相機內參及外參的標定，內參包括焦距、主點坐標和像素尺寸，外參包括相機的位置和朝向，標定過程采用標準棋盤格，并結合優化算法對標定結果進行精細調整，其函數表達式為：
10、；
11、其中，是第步的參數向量，包括相機內參和外參；
12、是步長，控制在搜索方向上前進的距離；
13、是第步的梯度，表示目標函數在參數向量處的梯度；
14、是前一步的搜索方向；
15、是校正系數，確保搜索方向與前一個搜索方向共軛。
16、優選的，所述步驟s2中，背景濾除處理包括背景差算法：在無人情況下采集場地的背景影像，再與評估影像進行相減，并結合形態學濾波去除噪聲和填充孔洞，獲取背景之外的人體影像；其主要步驟為：在無人情況下采集場地的背景圖像；再與評估影像相減得到背景差圖像，；將背景差圖像的像素值與閾值比較，得到粗糙的人體掩膜；對人體掩膜進行形態學濾波得到精細的人體掩膜，從而獲取背景之外的人體影像。
17、優選的，所述步驟s2進一步包括：基于深度學習的語義分割算法：使用經過訓練的語義分割模型，對評估影像進行像素級的分割，將人體和背景分開，從而獲得純凈的人體影像，其函數表達式為：，其中是輸入的圖像數據，是表示深度學習模型的函數，參數為，是模型輸出的分割結果，是一個與輸入圖像大小相同的矩陣，每個像素點包含一個類別標簽，用于表示該像素點屬于的類別（人體、背景）。
18、優選的，所述步驟s3中，各個視角是指固定架設在評估場地的多個相機對位于評估場地中的評估對象進行拍攝的不同成像角度。
19、優選的，所述步驟s3獲取3d人體外形模型的方法中，包括以下一種或多種方式：
20、多視角立體匹配加稠密重建：
21、通過特征匹配和三角測量原理從不同視角的人體圖像中重建出3d點云；
22、利用如pmvs（patch-based?multi-view?stereo）或cpcr（colored?point?cloudregistration）算法，從稀疏點云重建出稠密的3d人體表面模型；
23、進一步的，上述過程表達為：
24、對于特征匹配和三角測量階段：；
25、其中，是計算得到的3d點云數據；
26、是不同視角下提取的特征點；
27、是三角測量函數，用于計算3d點云；
28、對于稠密重建階段：；
29、其中，是稠密的3d人體表面模型；
30、是前一階段得到的稀疏的3d點云數據；
31、是稠密重建函數，用于基于稀疏的3d點云數據重建出完整的3d人體表面模型；
32、深度學習類多視角3d重建算法：
33、包括pifu（pixel-aligned?implicit?function）、pifuhd、smpl（skinned?multi-person?linear?model）；
34、主要步驟包括數據采集、稀疏重建、深度圖估計、稠密重建、深度優化迭代。
35、優選的，所述步驟s4中，通過3d人體外形模型預測3d人體脊柱模型，包括以下步驟：
36、數據收集及預處理：
37、收集包含完整背部和脊柱區域的人體ct數據；
38、從ct數據中提取背部表皮體素和脊柱體素，或將解剖3d模型轉化為背部表皮體素和脊柱體素；
39、將背部表皮體素作為輸入數據，脊柱體素作為期望輸出數據，并劃分訓練集、驗證集和測試集；
40、網絡模型選擇及訓練：
41、選擇3d?cnn、3d?unet專門處理3d數據的網絡架構；
42、定義網絡層數、寬度，以iou和dice系數作為損失函數；
43、使用訓練集數據對神經網絡模型進行訓練；
44、以下是這些步驟的函數表達式：
45、數據預處理階段：；
46、其中，是人體ct數據；
47、是訓練集的背部表皮體素和脊柱體素數據；
48、是驗證集的背部表皮體素和脊柱體素數據；
49、是測試集的背部表皮體素和脊柱體素數據；
50、是數據預處理函數，用于從ct數據中提取背部表皮體素和脊柱體素，并劃分數據集；
51、網絡模型訓練階段：；
52、其中，是訓練好的神經網絡模型；
53、是訓練集的背部表皮體素和脊柱體素數據；
54、包括網絡層數、寬度參數；
55、是訓練函數，用于訓練神經網絡模型，以iou和dice系數作為損失函數。
56、優選的，所述步驟s4中，進一步地，3d人體脊柱模型訓練完成后，在推理階段，從輸入的3d人體外形模型中分離出背部表皮部分，經過marching?cube算法轉化為背部表皮體素，再將背部表皮體素輸入至所述3d人體脊柱模型，得到所述脊柱體素的輸出，最后通過等值面提取算法將所述脊柱體素轉化為所述3d人體脊柱模型，以下是marching?cube算法和等值面提取算法的表達式：
57、marching?cube算法：；
58、其中，是輸入的體素數據，表示背部表皮部分；
59、是等值面的數值；...
【技術保護點】
1.脊柱畸形輔助觀察方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S1中，多個相機數量不低于4個，布置成環形或半環形陣列，且每個相機的視野都覆蓋評估場地的中心。
3.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S1進一步包括：標定相機涉及相機內參及外參的標定，內參包括焦距、主點坐標和像素尺寸，外參包括相機的位置和朝向，標定過程采用標準棋盤格，并結合優化算法對標定結果進行精細調整，其函數表達式為：；
4.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S2中，背景濾除處理包括背景差算法：在無人情況下采集場地的背景影像，再與評估影像進行相減，并結合形態學濾波去除噪聲和填充孔洞，獲取背景之外的人體影像；其主要步驟為：在無人情況下采集場地的背景圖像；再與評估影像相減得到背景差圖像，；將背景差圖像的像素值與閾值比較，得到粗糙的人體掩膜；對人體掩膜進行形態學濾波得到精細的人體掩膜，從而獲取背景之外的人體影像。
5.根據權利要求1所述的脊柱畸形輔助觀察方法，其特
6.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S3中，各個視角是指固定架設在評估場地的多個相機對位于評估場地中的評估對象進行拍攝的不同成像角度。
7.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S3獲取3D人體外形模型的方法中，包括以下一種或多種方式：
8.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟S4中，通過3D人體外形模型預測3D人體脊柱模型，包括以下步驟：
9.根據權利要求1所述的脊柱畸形輔助觀察方法及系統，其特征在于，所述步驟S4中，進一步地，3D人體脊柱模型訓練完成后，在推理階段，從輸入的3D人體外形模型中分離出背部表皮部分，經過marching?cube算法轉化為背部表皮體素，再將背部表皮體素輸入至所述3D人體脊柱模型，得到所述脊柱體素的輸出，最后通過等值面提取算法將所述脊柱體素轉化為所述3D人體脊柱模型，以下是marching?cube算法和等值面提取算法的表達式：
10.脊柱畸形輔助觀察系統，依據權利要求1-10中任意一項所述的脊柱畸形輔助觀察方法，其特征在于，包括以下模塊：
...【技術特征摘要】
1.脊柱畸形輔助觀察方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟s1中，多個相機數量不低于4個，布置成環形或半環形陣列，且每個相機的視野都覆蓋評估場地的中心。
3.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟s1進一步包括：標定相機涉及相機內參及外參的標定，內參包括焦距、主點坐標和像素尺寸，外參包括相機的位置和朝向，標定過程采用標準棋盤格，并結合優化算法對標定結果進行精細調整，其函數表達式為：；
4.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟s2中，背景濾除處理包括背景差算法：在無人情況下采集場地的背景影像，再與評估影像進行相減，并結合形態學濾波去除噪聲和填充孔洞，獲取背景之外的人體影像；其主要步驟為：在無人情況下采集場地的背景圖像；再與評估影像相減得到背景差圖像，；將背景差圖像的像素值與閾值比較，得到粗糙的人體掩膜；對人體掩膜進行形態學濾波得到精細的人體掩膜，從而獲取背景之外的人體影像。
5.根據權利要求1所述的脊柱畸形輔助觀察方法，其特征在于，所述步驟s2進一步包括：基于深度學習的語義分割算法：使用經過訓練的語義分割模型，對評估影像進行像素級的分割，將人體和背景分開，從而獲得純凈的人體影像，其函數表達式為：，其中是輸入的圖像數...
【專利技術屬性】
技術研發人員：王寧華，王榮麗，孫浩林，陳曉青，程耿，付思超，周東，何麒，董博雅，
申請(專利權)人：北京大學第一醫院北京大學第一臨床醫學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。