【技術實現步驟摘要】
本專利技術涉及基于人工智能的運功功能康復狀態檢測領域，尤其是涉及一種基于多模態信息的運功功能康復狀態檢測方法。
技術介紹
1、康復評估是康復治療中的核心環節，通過系統性收集和分析患者在康復過程中產生的各類數據，幫助醫生、治療師和患者了解康復效果，判斷當前康復計劃是否有效，并為后續的治療計劃提供指導。但是傳統的康復評估方案通常依賴于量表和主觀評分，由治療師或患者自行填寫評估表格，通過觀察和自我報告來評定康復進度和效果。雖然量表評估在一定程度上簡化了評估流程，但這種方法也存在一些不可忽視的弊端：主觀性強，容易受偏差影響，對康復醫師的依賴性高；信息量有限，缺乏量化分析和長期追蹤。
2、隨著康復醫學的不斷發展，智能化康復設備逐漸成為臨床康復訓練的重要輔助工具。其中評估模塊是智能化康復設備提高康復效率的核心組成部分，相比于傳統的量表評估，智能化康復設備能夠收集康復訓練時檢測到的各類生理和運動數據，并將數據進行可視化處理，幫助醫生高效分析患者的運動功能提升情況，進一步優化和調整治療方案，并且能夠實現長期的數據對比和追蹤。
3、目前，主要的評估技術采用動力學數據分析，通過采集患者的運動學參數(如關節角度、力矩和位移速度)來描述康復訓練過程。但其弊端在于，無法反映神經-肌肉系統的功能狀態，難以捕捉患者內部神經-肌肉系統的真實狀態，不能識別運動意圖，因此難以評估患者是否具備自主控制能力或是否存在運動模式異常；并且，僅采集動力學數據難以捕捉微小的運動變化，對于手部、腕部的精細動作識別和協調性問題敏感性不足。
4、
5、還有的智能化設備會通過視覺數據進行康復評估，通過攝像頭或深度傳感器能夠實時捕捉患者的運動軌跡和肢體姿態，進行三維動作分析。這種方案對環境的依賴性強，受環境光線、攝像頭視角等因素影響；同樣也無法提供患者內部肌肉和神經活動的信息，評估維度有限。
6、以上三種方案都是通過單一數據模態的采集對康復情況進行分析，導致評估結果可信度低的弊端十分顯著，因此很多智能化康復設備的評估模塊未能達到設計的預期效果，在醫院的投放使用中難以有效提高醫療效率。
技術實現思路
1、本專利技術的目的就是為了提供一種基于多模態信息的運功功能康復狀態檢測方法，將表面肌電信號(semg)、視覺信號和動力學信息結合起來，形成了多模態的評估方法。這種創新突破了傳統單一模態評估的局限性，能夠全面反映患者外部動作表現與內部神經肌肉活動之間的關聯，從而實現了更精準的康復狀態檢測。。
2、本專利技術的目的可以通過以下技術方案來實現：
3、一種基于多模態信息的運功功能康復狀態檢測方法，包括：
4、采集目標人物執行動作時的腕部肌電信號，并對肌電信號進行預處理和降維處理后，提取得到肌電信號特征，其中，所述肌電信號特征包括波形長度、過零點數、肌電積分值、方差和均方根；
5、采集目標人物執行動作時的視頻，并基于采集的視頻預處理后識別得到動作分類結果作為動作識別特征；
6、采集目標人物執行動作時的佩戴于目標人物身上的可穿戴動力學傳感器的檢測數據，并提取得到運動學特征，其中，所述運動學特征包括加速度、角速度和力信息；
7、將同一時間窗口下的肌電信號特征、動作識別特征和運動學特征拼接后得到檢測特征向量，并基于目標人物的生理學特征和動作分類結果查找得到對應的標準特征向量，計算檢測特征向量和標準特征向量的歐氏距離，并基于檢測特征向量和標準特征向量的歐氏距離得到康復狀態檢測結果。
8、對肌電信號進行預處理過程包括歸一化處理、標簽處理和帶通濾波，對肌電信號的降維處理采用小波分析方法。
9、所述基于采集的視頻預處理后識別得到動作分類結果作為動作識別特征，包括：
10、視頻輸入預處理及補丁嵌入：將采集的視頻進行補丁分割，生成不重疊的3維補丁，然后利用線性層對圖像塊進行嵌入以及位置嵌入，通過卷積或線性層將每個3維補丁映射到一個高維嵌入向量，形成初步令牌表示，輸出為形狀n×d，其中，n為初步令牌的數量，d為嵌入維度；
11、局部注意力機制：對每個窗口中的初步令牌計算自注意力；
12、動作分類：通過全局池化或降維，基于每個窗口中的初步令牌計算自注意力獲取視頻全局特征，輸入到分類器得到動作分類結果作為動作識別特征。
13、所述初步令牌的數量為：
14、n＝(t×h×w)/(tp×hp×wp)
15、其中：t為采集的視頻的時長，h為采集的視頻幀的高度，w為采集的視頻幀的寬度，tp為3維補丁的時間維度，表示每個補丁包含的連續幀數，hp為3維補丁的高度，wp為3維補丁的寬度。
16、所述分類器為線性分類頭。
17、所述可穿戴動力學傳感器至少包括imu傳感裝置和力傳感器。
18、所述采集可穿戴動力學傳感器的檢測數據的過程中，包括：
19、使用統一的網絡時間協議時間為數據生成時附加時間戳ti；
20、使用網絡時間協議確保多設備間的時間同步，保證時間戳的相對一致性；
21、采用增量傳輸：發送端僅發送自上次同步以來新增的數據，使用隊列或緩沖區暫存尚未發送的數據，保證時序完整性，接收端按時間戳順序接收并存儲數據；
22、接收端利用時間戳將數據融合到統一的時間軸上，來自不同傳感器設備的數據通過時間戳對齊，進行同步或聯合分析。
23、所述生理學特征包括身高和體重，所述標準特征向量對應的身高和體重與目標人物的身高和體制近似。
24、一種基于多模態信息的運功功能康復狀態檢測裝置，包括存儲器、處理器，以及存儲于所述存儲器中的程序，所述處理器執行所述程序時實現如上述的方法。
25、一種存儲介質，其上存儲有程序，所述程序被執行時實現如上述的方法。
26、與現有技術相比，本專利技術具有以下有益效果：
27、1、將表面肌電信號(semg)、視覺信號和動力學信息結合起來，形成了多模態的評估方法。這種創新突破了傳統單一模態評估的局限性，能夠全面反映患者外部動作表現與內部神經肌肉活動之間的關聯，從而實現了更精準的康復狀態檢測。
28、2、通過肌電信號分析，不僅可以捕捉患者肌肉的激活程度和神經控制能力，還結合多特征提取技術實現了肌肉活動的高分辨率描述，而視覺信號的引入借助video?swintransformer技術，能夠提取患者運動軌跡的全局和局部特征，準確識別細微動作差異，同時，動力學信息的采集涵蓋了加速度、角速度和作用力，能夠全面量化患者運動的動力學特征。
29、3、在數據處理過程中實現了多模態信號的高效同步與融合，通過基于時間戳的增量同步機制，確保了不同模本文檔來自技高網...
【技術保護點】
1.一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，包括：
2.根據權利要求1所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，對肌電信號進行預處理過程包括歸一化處理、標簽處理和帶通濾波，對肌電信號的降維處理采用小波分析方法。
3.根據權利要求1所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述基于采集的視頻預處理后識別得到動作分類結果作為動作識別特征，包括：
4.根據權利要求3所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述初步令牌的數量為：
5.根據權利要求3所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述分類器為線性分類頭。
6.根據權利要求1所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述可穿戴動力學傳感器至少包括IMU傳感裝置和力傳感器。
7.根據權利要求6所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述采集可穿戴動力學傳感器的檢測數據的過程中，包括：
8.根據權利要
9.一種基于多模態信息的運功功能康復狀態檢測裝置，包括存儲器、處理器，以及存儲于所述存儲器中的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-8中任一所述的方法。
10.一種存儲介質，其上存儲有程序，其特征在于，所述程序被執行時實現如權利要求1-8中任一所述的方法。
...【技術特征摘要】
1.一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，包括：
2.根據權利要求1所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，對肌電信號進行預處理過程包括歸一化處理、標簽處理和帶通濾波，對肌電信號的降維處理采用小波分析方法。
3.根據權利要求1所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述基于采集的視頻預處理后識別得到動作分類結果作為動作識別特征，包括：
4.根據權利要求3所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述初步令牌的數量為：
5.根據權利要求3所述的一種基于多模態信息的運功功能康復狀態檢測方法，其特征在于，所述分類器為線性分類頭。
6.根據權利要求1所述的一種基于多模態信息的運功...
【專利技術屬性】
技術研發人員：蔣爍，卞楚原，葉超榮，程鈺淇，李欣晨，
申請(專利權)人：同濟大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。