【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及康復(fù)訓(xùn)練數(shù)據(jù)采集，特別是基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法及系統(tǒng)。
技術(shù)介紹
1、近年來(lái)，隨著人工智能和計(jì)算機(jī)視覺(jué)技術(shù)的迅速發(fā)展，基于視覺(jué)識(shí)別的醫(yī)學(xué)影像分析已逐漸成為康復(fù)醫(yī)學(xué)領(lǐng)域的重要研究方向。尤其是在患者康復(fù)訓(xùn)練過(guò)程中，利用深度學(xué)習(xí)模型進(jìn)行運(yùn)動(dòng)分析與評(píng)估，已成為提高康復(fù)效果的重要手段。視覺(jué)識(shí)別技術(shù)在康復(fù)訓(xùn)練中的應(yīng)用，能夠通過(guò)捕捉患者運(yùn)動(dòng)過(guò)程中的姿態(tài)變化、運(yùn)動(dòng)軌跡和動(dòng)作細(xì)節(jié)，精確評(píng)估患者的運(yùn)動(dòng)功能恢復(fù)情況。隨著深度學(xué)習(xí)和圖像處理技術(shù)的不斷進(jìn)步，基于視頻分析的運(yùn)動(dòng)評(píng)估已逐漸從傳統(tǒng)的基于傳感器的評(píng)估方法轉(zhuǎn)向非侵入式、無(wú)接觸的視覺(jué)評(píng)估方法，從而減少了患者的負(fù)擔(dān)，并提高了康復(fù)訓(xùn)練的便捷性和精準(zhǔn)性。
2、然而，現(xiàn)有技術(shù)在患者康復(fù)訓(xùn)練數(shù)據(jù)采集和評(píng)估過(guò)程中仍存在一些明顯不足。傳統(tǒng)的基于傳感器的數(shù)據(jù)采集方法，雖然能夠提供較為準(zhǔn)確的運(yùn)動(dòng)數(shù)據(jù)，但其依賴(lài)于昂貴的硬件設(shè)備，且對(duì)患者的活動(dòng)范圍和舒適度有較高要求。相對(duì)而言，基于視覺(jué)識(shí)別的技術(shù)雖然能夠避免這些問(wèn)題，但現(xiàn)有的視覺(jué)識(shí)別系統(tǒng)在運(yùn)動(dòng)特征提取、動(dòng)作分析和評(píng)分準(zhǔn)確度等方面仍存在挑戰(zhàn)。當(dāng)前大多數(shù)視覺(jué)識(shí)別技術(shù)主要依賴(lài)于二維圖像進(jìn)行姿態(tài)識(shí)別，難以有效獲取患者動(dòng)作的三維空間信息，從而限制了康復(fù)訓(xùn)練過(guò)程中的運(yùn)動(dòng)角度和位移等數(shù)據(jù)的精確計(jì)算。此外，現(xiàn)有的深度學(xué)習(xí)模型在復(fù)雜背景下的識(shí)別精度和實(shí)時(shí)性也較為欠缺，容易受到環(huán)境干擾或背景復(fù)雜性的影響，導(dǎo)致分析結(jié)果的不穩(wěn)定性和誤差。
技術(shù)實(shí)現(xiàn)思路
1、鑒于現(xiàn)有技術(shù)中存在的問(wèn)題，本專(zhuān)利技術(shù)提出了基于視覺(jué)
2、因此，本專(zhuān)利技術(shù)提供了基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，能夠解決
技術(shù)介紹
中提到的問(wèn)題。
3、為解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)提供如下技術(shù)方案：
4、第一方面，本專(zhuān)利技術(shù)提供了基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其包括，
5、采用深度學(xué)習(xí)模型對(duì)患者康復(fù)訓(xùn)練視頻進(jìn)行圖像分割，從所述患者康復(fù)訓(xùn)練視頻中分離出患者運(yùn)動(dòng)特征區(qū)域；
6、在所述患者運(yùn)動(dòng)特征區(qū)域中標(biāo)記關(guān)鍵骨骼節(jié)點(diǎn)，并建立所述關(guān)鍵骨骼節(jié)點(diǎn)的三維坐標(biāo)系；
7、根據(jù)所述關(guān)鍵骨骼節(jié)點(diǎn)的三維坐標(biāo)，計(jì)算相鄰骨骼節(jié)點(diǎn)間的運(yùn)動(dòng)角度和位移數(shù)據(jù)；
8、將所述運(yùn)動(dòng)角度和位移數(shù)據(jù)與預(yù)設(shè)康復(fù)標(biāo)準(zhǔn)進(jìn)行匹配度分析，生成康復(fù)訓(xùn)練評(píng)分。
9、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：所述患者運(yùn)動(dòng)特征區(qū)域包括空間特征和時(shí)序特征；
10、所述空間特征包括人體輪廓、肢體關(guān)節(jié)和運(yùn)動(dòng)姿態(tài)信息；
11、所述時(shí)序特征包括連續(xù)幀間的運(yùn)動(dòng)位移和速度信息；
12、分離所述患者運(yùn)動(dòng)特征區(qū)域包括：
13、對(duì)所述空間特征和時(shí)序特征進(jìn)行特征融合，得到融合特征；
14、根據(jù)所述融合特征計(jì)算分割掩膜的生成概率；
15、根據(jù)所述分割掩膜的生成概率，生成患者運(yùn)動(dòng)特征的分割掩膜；
16、根據(jù)所述分割掩膜從所述患者康復(fù)訓(xùn)練視頻分離出所述運(yùn)動(dòng)特征區(qū)域。
17、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：所述融合特征采用下式表示：
18、；
19、其中，、、、為可學(xué)習(xí)的權(quán)重矩陣，表示sigmoid函數(shù)，表示逐元素相乘，為空間特征，為時(shí)序特征；
20、所述分割掩膜的生成概率的計(jì)算采用下式表示：
21、；
22、其中，表示輸入像素，表示類(lèi)別標(biāo)簽，c表示所有可能的類(lèi)別集合。
23、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：所述關(guān)鍵骨骼節(jié)點(diǎn)包括頭部中心點(diǎn)、頸部中心點(diǎn)、左右肩關(guān)節(jié)點(diǎn)、左右肘關(guān)節(jié)點(diǎn)、左右腕關(guān)節(jié)點(diǎn)、軀干中心點(diǎn)、左右髖關(guān)節(jié)點(diǎn)、左右膝關(guān)節(jié)點(diǎn)以及左右踝關(guān)節(jié)點(diǎn)；
24、建立所述關(guān)鍵骨骼節(jié)點(diǎn)的三維坐標(biāo)系包括：
25、通過(guò)攝像機(jī)標(biāo)定獲取內(nèi)參矩陣和畸變系數(shù)；
26、計(jì)算左右視圖中對(duì)應(yīng)關(guān)鍵骨骼節(jié)點(diǎn)的視差圖；
27、基于視差圖和相機(jī)參數(shù)進(jìn)行三角測(cè)量，計(jì)算每個(gè)關(guān)鍵骨骼節(jié)點(diǎn)的三維空間坐標(biāo)(x,y,z)；
28、通過(guò)解析幾何方法建立以軀干中心點(diǎn)為原點(diǎn)，垂直方向?yàn)閥軸，前向?yàn)閦軸，右向?yàn)閤軸的人體局部坐標(biāo)系。
29、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：計(jì)算所述視差圖包括代價(jià)計(jì)算和代價(jià)聚合；
30、所述代價(jià)計(jì)算采用下式表示：
31、；
32、其中，互信息代價(jià)的計(jì)算為：
33、；
34、其中，零均值歸一化互相關(guān)代價(jià)的計(jì)算為：
35、；
36、其中，結(jié)構(gòu)相似性代價(jià)的計(jì)算為：
37、；
38、其中，為自適應(yīng)權(quán)重，根據(jù)梯度方向一致性計(jì)算：
39、；
40、其中，為總體代價(jià)函數(shù)，為當(dāng)前像素點(diǎn)的二維坐標(biāo)?，為視差值，表示左右圖像對(duì)應(yīng)點(diǎn)的水平位移，,?,?為三種代價(jià)項(xiàng)的權(quán)重系數(shù)，為左圖像p點(diǎn)處的灰度值，為右圖像對(duì)應(yīng)點(diǎn)處的灰度值，為左圖像灰度值的概率分布，為右圖像灰度值的概率分布，為聯(lián)合概率分布，為以為中心的局部窗口內(nèi)的像素點(diǎn)，為左圖像窗口內(nèi)的均值，為右圖像窗口內(nèi)的均值，為左圖像窗口內(nèi)的標(biāo)準(zhǔn)差，為右圖像窗口內(nèi)的標(biāo)準(zhǔn)差，為局部特征點(diǎn)數(shù)量，為第k個(gè)特征點(diǎn)的權(quán)重，為左圖像的梯度，為右圖像的梯度，為左圖像的梯度方向，為右圖像的梯度方向，為方向差異的標(biāo)準(zhǔn)差參數(shù)。
41、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：所述代價(jià)聚合采用下式表示：
42、；
43、其中，為整體能量函數(shù)，為整幅圖像的視差圖，包含所有像素點(diǎn)的視差值，為像素點(diǎn)處的視差值，為像素點(diǎn)的鄰域點(diǎn)處的視差值，為指示函數(shù)，用于根據(jù)相鄰像素點(diǎn)之間的視差差異施加適當(dāng)?shù)膽土P，為像素點(diǎn)p處的匹配代價(jià)值，為像素點(diǎn)p的鄰域集合，為相鄰像素視差值相差1時(shí)的懲罰系數(shù)，為相鄰像素視差值相差大于1時(shí)的懲罰系數(shù)。
44、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法的一種優(yōu)選方案，其中：所述相鄰骨骼節(jié)點(diǎn)間的運(yùn)動(dòng)角度和位移數(shù)據(jù)的計(jì)算包括：
45、根據(jù)相鄰骨骼節(jié)點(diǎn)的三維坐標(biāo)建立局部坐標(biāo)系；
46、計(jì)算關(guān)節(jié)的運(yùn)動(dòng)角度，所述運(yùn)動(dòng)角度包括屈伸角度、外展角度和旋轉(zhuǎn)角度；
47、根據(jù)計(jì)算得到的運(yùn)動(dòng)角度，構(gòu)建完整的運(yùn)動(dòng)鏈傳遞矩陣；
48、計(jì)算關(guān)節(jié)運(yùn)動(dòng)的角速度、角加速度、線(xiàn)速度和線(xiàn)加速度；
49、計(jì)算各個(gè)關(guān)節(jié)的活動(dòng)度，即運(yùn)動(dòng)過(guò)程中最大角度與最小角度的差值；
50、所述局部坐標(biāo)系的確定包括：
51、以遠(yuǎn)端骨骼點(diǎn)和近端骨骼點(diǎn)的連線(xiàn)作為z軸，選取合適的參考向量，通過(guò)叉乘運(yùn)算確定y軸，最后通過(guò)y軸和z軸的叉乘得到x軸，從而構(gòu)建出完整的局部坐標(biāo)系。
52、作為本專(zhuān)利技術(shù)所述基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：包括：
2.如權(quán)利要求1所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述融合特征采用下式表示：
3.如權(quán)利要求2所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述關(guān)鍵骨骼節(jié)點(diǎn)包括頭部中心點(diǎn)、頸部中心點(diǎn)、左右肩關(guān)節(jié)點(diǎn)、左右肘關(guān)節(jié)點(diǎn)、左右腕關(guān)節(jié)點(diǎn)、軀干中心點(diǎn)、左右髖關(guān)節(jié)點(diǎn)、左右膝關(guān)節(jié)點(diǎn)以及左右踝關(guān)節(jié)點(diǎn)；
4.如權(quán)利要求3所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：計(jì)算所述視差圖包括代價(jià)計(jì)算和代價(jià)聚合；
5.如權(quán)利要求4所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述代價(jià)聚合采用下式表示：
6.如權(quán)利要求5所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述相鄰骨骼節(jié)點(diǎn)間的運(yùn)動(dòng)角度和位移數(shù)據(jù)的計(jì)算包括：
7.如權(quán)利要求6所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述預(yù)設(shè)康復(fù)標(biāo)準(zhǔn)包括關(guān)節(jié)活動(dòng)度標(biāo)準(zhǔn)范圍、運(yùn)動(dòng)軌跡標(biāo)準(zhǔn)模板、運(yùn)動(dòng)速度標(biāo)準(zhǔn)區(qū)間、運(yùn)動(dòng)對(duì)稱(chēng)性要求和姿勢(shì)穩(wěn)定性指標(biāo)；
...
【技術(shù)特征摘要】
1.基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：包括：
2.如權(quán)利要求1所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述融合特征采用下式表示：
3.如權(quán)利要求2所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：所述關(guān)鍵骨骼節(jié)點(diǎn)包括頭部中心點(diǎn)、頸部中心點(diǎn)、左右肩關(guān)節(jié)點(diǎn)、左右肘關(guān)節(jié)點(diǎn)、左右腕關(guān)節(jié)點(diǎn)、軀干中心點(diǎn)、左右髖關(guān)節(jié)點(diǎn)、左右膝關(guān)節(jié)點(diǎn)以及左右踝關(guān)節(jié)點(diǎn)；
4.如權(quán)利要求3所述的基于視覺(jué)識(shí)別的患者康復(fù)訓(xùn)練數(shù)據(jù)采集方法，其特征在于：計(jì)算所述視差圖包括代價(jià)計(jì)算和代價(jià)聚合；
5.如權(quán)利要求4所...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：劉瑞雪，李陽(yáng)，
申請(qǐng)(專(zhuān)利權(quán))人：吉林大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。