基于多模態刺激和神經網絡的手部訓練評估方法和設備技術

本發明專利技術公開了一種基于多模態刺激和神經網絡的手部訓練評估方法和設備，其中方法包括：采集用戶的腦電信號；為用戶呈現多模態的康復訓練刺激；云端分析模塊進行分析得到用戶的控制意圖及大腦狀態指標；由手部外骨骼帶動用戶的手指進行康復訓練；通過神經網絡算法給出用戶運動能力的量化評價指標，從而實現用戶手指部位的康復訓練。本申請結合了腦機接口、多模態反饋和機器人技術等多種技術手段，通過多模態刺激和神經網絡模型解決了實際應用中存在的用戶交互體驗低、控制準確率低和控制延遲高的問題。遲高的問題。遲高的問題。

【技術實現步驟摘要】
基于多模態刺激和神經網絡的手部訓練評估方法和設備


[0001]本專利技術屬于數據處理
，特別是涉及基于多模態刺激和神經網絡的手部訓練評估方法和設備。

技術介紹

[0002]腦中風，學名是腦卒中，是一種特別普遍的老年人疾病。每年有數百萬因中風去世，并且這個數字還在逐年遞增。腦卒中患者的手指部位精細康復訓練，一直是康復行業的痛點和難點。老年人因為中風的感覺障礙癥狀，而導致他們的手部無法正常使用，給他們的生活帶來了特別大的不便。這些老年人生活無法自理，不僅消耗家人精力，自尊心也備受打擊。
[0003]腦卒中并非沒有康復訓練方案，當前醫院腦卒中大多采用人力輔助的方式進行康復訓練，國內外的同類產品也基本采用觸摸控制、語音控制、健側鏡像控制的方式，康復效率較低，康復效果并不理想。近些年來，隨著腦機接口方案的提出與發展，多項科學研究證明，腦卒中患者有望通過腦機接口技術輔助患者進行康復訓練，從而達到緩解癥狀的目的。
[0004]腦機接口是一種通過直接與人腦相連的計算機接口來實現人機交互的技術。腦機接口基于對人腦和神經系統的理解，通過記錄腦電圖、腦磁圖、功能磁共振成像和其他神經信號，將人腦活動轉換為可控制計算機或其他外部設備的指令。這些指令可以用于許多不同的應用程序，包括假肢控制、游戲、虛擬現實、心理療法和認知增強等領域。雖然腦機接口已經能夠用于簡單的外部設備控制，但是在實際應用中仍然存在著控制準確率低、控制延遲高、用戶交互體驗低的缺陷。

技術實現思路

[0005]本專利技術的目的在于解決手部腦機接口康復訓練中存在的控制準確率低、控制延遲高、用戶交互體驗低的缺陷，提供一種基于多模態刺激和神經網絡的手部訓練評估方法和設備。
[0006]為了實現上述專利技術目的，本專利技術實施例提供了以下技術方案：基于多模態刺激和神經網絡的手部訓練評估方法，包括：遵循國際標準10
?
20系統，為用戶佩戴腦電采集設備以確保能夠記錄到準確的腦電信號；多模態刺激模塊為用戶呈現多模態的康復訓練刺激，通過多模態的刺激誘發出用戶的特征性腦電信號，同時記錄下腦電信號；將記錄得到的腦電采集信號發送到云端分析模塊進行分析處理，分析得到用戶的控制意圖及大腦狀態指標；將所述用戶的控制意圖及大腦狀態指標發送給手部外骨骼模塊，由手部外骨骼執行運動指令，帶動用戶的手指進行康復訓練；在患者進行康復訓練的同時，使用高清雙目攝像頭采集手部畫面，將畫面回傳到
云端分析模塊進行分析處理；使用部署在云端分析模塊的人工智能算法對整個訓練過程中采集到的手部畫面進行骨骼點標注，同時生成三維空間的手指骨骼點位置坐標，實現三維手指建模，從而給出用戶運動能力的量化評價指標；通過對多次訓練中的所述用戶運動能力的量化評價指標進行時域分析，從而得到用戶的康復效果曲線，判斷用戶是否滿足康復標準。
[0007]在上述方案中，所述多模態刺激包括：視覺刺激、聽覺刺激、觸覺刺激和混合刺激。所述多模態刺激可以在虛擬現實、增強現實、混合現實、真實場景中呈現給用戶。所述多模態刺激以一定的編碼方案進行呈現給用戶，用戶在感知到刺激之后，會誘發出特異性的腦電信號。所述編碼方案包括正弦編碼、高斯編碼、二進制編碼和其它編碼。所述多模態刺激可以為用戶提供個性化的手部康復訓練方案，適應了不同用戶的差異化需求，解決了實際應用中存在的用戶交互體驗低的缺陷。
[0008]在上述方案中，所述云端分析模塊有兩種分析算法。
[0009]第一種分析算法為時空相多源神經網絡，用于對特異性的腦電信號進行分析解碼，使用時空相多源神經網絡進行分析解碼得到用戶的控制意圖及大腦狀態指標。
[0010]更進一步地，所述時空相多源神經網絡的計算過程如下：（1）將所述特異性的腦電信號從時間域轉換到頻域，得到頻率參數，將頻率參數歸一化到0
?
1之間；（2）計算所述特異性的腦電信號的相干性參數，用于衡量不同通道腦電信號之間的線性關系的統計量，將相干性參數歸一化到0
?
1之間；（3）計算所述特異性的腦電信號的相位同步指數參數，用于衡量不同通道腦電信號之間的在相位上的同步程度，將相位同步指數參數歸一化到0
?
1之間；（4）計算所述特異性的腦電信號的時間頻率相干性參數，用于衡量用于評估不同頻率帶中兩個信號之間的相位同步度，之后將相干性計算擴展到不同時間和頻率窗口上，以獲得更全面的時間和頻率信息，最將時間頻率相干性參數歸一化到0
?
1之間；（5）計算所述特異性的腦電信號的相位延遲估計參數，用于衡量不同通道腦電信號之間的相位關系的非線性特性，將相位延遲估計參數歸一化到0
?
1之間；（6）將（1）
?
（5）中涉及到的所述頻率參數、所述相干性參數、所述相位同步指數參數、所述時間頻率相干性參數和所述相位延遲估計參數組合得到時空相多源參數；（7）將所述時空相多源參數輸入到所述時空相多源神經網絡中進行訓練，得到所述用戶的控制意圖及大腦狀態指標；更進一步地，所述時空相多源神經網絡共分為六層，分別為：卷積層，輸入數據通過一層卷積層進行特征提取和降維，這個卷積層包含多個卷積核，每個卷積核的大小和步長可以不同。這一層的輸出數據可以看作是特征映射；膠囊層，使用膠囊網絡提取特征并計算特征的相似度，將特征映射轉換為膠囊向量，每個膠囊向量可以表示不同的特征，并使用動態路由算法計算不同特征的相似度；注意力層，通過引入注意力機制，加強膠囊層的特征提取能力，在這一層中，每個膠囊向量都被賦予不同的權重，以使其能夠集中關注對任務最有用的特征；LSTM層，輸入經過前面的特征提取和注意力機制后，通過LSTM層進行時間序列建模，LSTM層包含多個LSTM單元，每個LSTM單元用于處理一個時間步長的輸入數據，以獲得
更好的時間序列建模效果；全連接層，使用全連接層將LSTM層的輸出映射到最終的輸出空間，以進行分類、回歸等任務。
[0011]所述時空相多源神經網絡中用到了多種參數，這些參數可以用來從多個維度評價不同腦區之間的功能連接性，以及腦網絡結構和功能組織的時空特性，多種參數的聯合使用，有效地保證了分析結果的準確性，解決了實際應用中存在的控制準確率低和控制延遲高的缺陷。
[0012]第二種分析算法為手部運動能力預測神經網絡，用于對雙目攝像頭采集得到的用戶手部攝像頭畫面進行分析處理，使用手部運動能力預測神經網絡得到用戶運動能力的量化評價指標。
[0013]所述手部運動能力預測神經網絡計算過程如下：（1）首先，需要收集用戶手部骨骼點的標注數據，以便進行監督學習。同時，還需要對手部運動能力進行量化評價，例如使用手部功能評定表等評估工具，以獲取手部運動能力的量化指標作為目標標簽；（2）輸入數據是一系列手部姿勢圖像，每個圖像都包含手部骨骼點的位置信息；（3）卷積神經網絡，輸入數據通過一系列卷積層和池化層進行特征提取和降維，以獲取輸入圖像的低層次特征和高層次特征；（4）LSTM神經網絡，卷積神經網絡的輸出將作為LSTM網絡的輸入，用于考慮輸入數據的本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.基于多模態刺激和神經網絡的手部訓練評估方法，其特征在于，包括以下步驟：遵循國際標準10
?
20系統，為用戶佩戴腦電采集設備以確保能夠記錄到準確的腦電信號；多模態刺激模塊為用戶呈現多模態的康復訓練刺激，通過多模態的刺激誘發出用戶的特征性腦電信號，同時記錄下腦電信號；將記錄得到的腦電采集信號發送到云端分析模塊進行分析處理，分析得到用戶的控制意圖及大腦狀態指標；將所述用戶的控制意圖及大腦狀態指標發送給手部外骨骼模塊，由手部外骨骼執行運動指令，帶動用戶的手指進行康復訓練；在患者進行康復訓練的同時，使用高清雙目攝像頭采集手部畫面，將畫面回傳到云端分析模塊進行分析處理；使用部署在云端分析模塊的人工智能算法對整個訓練過程中采集到的手部畫面進行骨骼點標注，同時生成三維空間的手指骨骼點位置坐標，實現三維手指建模，從而給出用戶運動能力的量化評價指標；通過對多次訓練中的所述用戶運動能力的量化評價指標進行時域分析，從而得到用戶的康復效果曲線，判斷用戶是否滿足康復標準。2.根據權利要求1所述的多模態刺激模塊所呈現的多模態刺激包括：視覺刺激、聽覺刺激、觸覺刺激和混合刺激。所述多模態刺激可以在虛擬現實、增強現實、混合現實、真實場景中呈現給用戶。所述多模態刺激以一定的編碼方案進行呈現給用戶，用戶在感知到刺激之后，會誘發出特異性的腦電信號。所述編碼方案包括正弦編碼、高斯編碼、二進制編碼和其它編碼。3.根據權利要求1所述的云端分析模塊有兩種分析算法。第一種分析算法用于對特異性的腦電信號進行分析解碼，使用時空相多源神經網絡進行分析解碼得到用戶的控制意圖及大腦狀態指標。所述時空相多源神經網絡的計算過程如下：（1）將所述特異性的腦電信號從時間域轉換到頻域，得到頻率參數，將頻率參數歸一化到0
?
1之間；（2）計算所述特異性的腦電信號的相干性參數，用于衡量不同通道腦電信號之間的線性關系的統計量，將相干性參數歸一化到0
?
1之間；（3）計算所述特異性的腦電信號的相位同步指數參數，用于衡量不同通道腦電信號之間的在相位上的同步程度，將相位同步指數參數歸一化到0
?
1之間；（4）計算所述特異性的腦電信號的時間頻率相干性參數，用于衡量用于評估不同頻率帶中兩個信號之間的相位同步度，之后將相干性計算擴展到不同時間和頻率窗口上，以獲得更全面的時間和頻率信息，最將時間頻率相干性參數歸一化到0
?
1之間；（5）計算所述特異性的腦電信號的相位延遲估計參數，用于衡量不同通道腦電信號之間的相位關系的非線性特性，將相位延遲估計參數歸一化到0
?
1之間；（6）將（1）
?
（5）中涉及到的所述頻率參數、所述相干性參數、所述相位同步指數參數、所述時間頻率相干性參數和所述相位延遲估計參數組合得到時空相多源參數；（7）將所述時空相多源參數輸入到所述時空相多源神經網絡中進行訓練，得到所述用戶的控制意圖及大腦狀態指標。所述時空相多源神經網絡共分為六層，分別為：卷積層，輸入數據通過一層卷積層進行特征提取和降維，這個卷積層包含多個卷積核，每個卷積核的大小和步長可以不同。這一層的輸出數據可以看作是特征映射；膠囊層，使用膠囊網絡提取特征并計算特征的相似度，將特征映射轉換為膠囊向量，每個膠囊向量
可以表示不同的特征，并使用動態路由算法計算不同特征的相似度；注意力層，通過引入注意力機制，加強膠囊層的特征提取能力，在這一層中，每個膠囊向量都被賦予不同的權重，以使其能夠集中關注對任務最有用的特征；LSTM層，輸入經過前面的特征提取和注意力機制后，通過LSTM層進行時間序列建模，LSTM層包含多個LSTM單元，每個LSTM單元用于處理一個時間步長的輸入數據，以獲得更好的時間序列建模效果；全連接層，使用全連接層將LSTM層的輸出映射到最終的輸出空間，以進行分類、回歸等任務。第二種分析算法...

【專利技術屬性】
技術研發人員：劉思宇，馬凌飛，張德雨，劉夢真，
申請(專利權)人：劉思宇，
類型：發明
國別省市：