【技術實現步驟摘要】
本專利技術屬于腦機交互，尤其涉及一種基于聽覺的雙向腦機接口系統。
技術介紹
1、世界衛生組織在2021年估計，神經系統疾病可能影響全球多達25％的患者，并導致包括意識模糊、意識水平改變和溝通障礙在內的癥狀。以腦卒中為例，腦卒中帶來的經濟、心理和社會影響不斷增加，使患者無法與外界溝通，這種疾病切斷了人們與他人的聯系，嚴重降低了他們的生活質量。如今，人們普遍認為腦卒中后的恢復依賴于神經機制，該機制允許未受影響的大腦區域接管受損組織的功能。腦機接口技術應運而生。腦機接口是人類或動物大腦與計算機或其他電子設備之間的一種新型通信控制技術，它不依賴于傳統的大腦信息輸出電路，為患者提供了與外界交流的機會。
2、根據信號的傳輸方向可以將腦機接口分為單向腦機接口(大腦到計算機或計算機到大腦)和雙向腦機接口。而雙向腦機接口是指能夠在大腦和計算機之間雙向通信的系統。換句話說，就是可以從大腦讀取和寫入數據的腦機接口。相較于單向腦機接口，雙向腦機接口能夠提供實時的反饋機制，使用戶能夠感知和調整他們的腦活動。這對于神經反饋訓練和康復過程非常有幫助，用戶可以通過腦機接口獲得實時的信息，有助于他們改進控制和調節大腦活動；同時，使得交互更加自然和直觀。用戶不僅可以通過腦機接口將命令發送到外部設備，而且外部設備也可以通過腦機接口向用戶發送信息。這種雙向交互模式更接近日常生活中的自然人機交互方式，提高了用戶體驗和交互效率。
技術實現思路
1、為解決上述技術問題，本專利技術提出了一種基于聽覺的雙向腦機接口系統
2、為實現上述目的，本專利技術提供了一種基于聽覺的雙向腦機接口系統，包括：
3、采集用戶經運動想象發出聲音后產生的腦電信號，對所述腦電信號進行預處理并構建腦電信號數據集；
4、構建匹配長短期記憶網絡模型，通過所述腦電信號數據集對所述匹配長短期記憶網絡模型進行訓練，獲取訓練好的匹配長短期記憶網絡模型，并利用所述訓練好的匹配長短期記憶網絡模型將所述腦電信號數據集轉換為對應的文本數據；
5、構建聲碼器模型，將所述文本數據輸入聲碼器模型中生成對應的語音信號，并構建語音信號數據集；
6、將所述語音信號數據集和所述腦電信號數據集進行預處理，并構建腦電-語音數據集；
7、對所述腦電-語音數據集進行分類識別，構建語音數據集、腦電-語音數據集和腦電數據集；
8、構建雙邊對偶生成網絡模型，通過所述語音數據集、所述腦電-語音數據集和所述腦電數據集對所述雙邊對偶生成網絡模型進行訓練，獲取訓練好的雙邊對偶生成網絡模型；
9、利用所述訓練好的雙邊對偶生成網絡模型，將所述語音信號進行轉換，獲取對應的腦電信號。
10、可選的，采集用戶經運動想象發出聲音后產生的腦電信號的過程包括：
11、要求用戶自發想象發出聲音或要求用戶主動想象聽到聲音，通過想象引起用戶的中樞神經系統發生生物電反應，產生電信號進而獲得用戶的腦電信號。
12、可選的，對所述腦電信號進行預處理并構建腦電信號數據集包括：
13、對所述腦電信號進行濾波和去噪處理，并按照時間順序將預處理后的腦電信號劃分為若干段，按照分段-重組法對分段后的腦電信號進行分類與設置標簽，構建腦電信號數據集。
14、可選的，匹配長短期記憶網絡模型包括輸入門、遺忘門和輸出門；
15、所述輸入門與所述遺忘門共同決定了更新細胞狀態c；
16、所述輸入門控制輸入腦電信號的關鍵特征進入細胞狀態c的過程；
17、所述遺忘門決定保留或丟棄細胞狀態中的腦電信號的關鍵特征；
18、所述輸出門決定基于當前輸入和細胞狀態c的隱藏狀態的腦電信號的關鍵特征將被輸出到下一時刻。
19、可選的，匹配長短期記憶網絡模型的輸出門包括損失函數，所述損失函數設有懲罰項，通過所述懲罰項對所述輸出門的權重進行懲罰。
20、可選的，將所述文本數據輸入聲碼器模型中生成對應的語音信號的過程包括：
21、將所述文本數據輸入到聲碼器模型與權重參數的高保真對抗生成網絡，獲取對應的語音信號。
22、可選的，利用所述訓練好的匹配長短期記憶網絡模型將所述腦電信號數據集轉換為對應的文本數據包括：
23、將所述腦電信號數據集輸入所述訓練好的匹配長短期記憶網絡模型中，通過參數調整至最優狀態保存模型權重參數，匹配模塊定義分段數據的標簽并計算輸出的序列與原字符的相似度，獲取相似度最高的結果，并將所述相似度最高的結果保存為對應的文本數據。
24、可選的，對所述腦電-語音數據集進行分類識別，構建語音數據集、腦電-語音數據集和腦電數據集包括：將所述腦電信號數據集和所述語音信號數據集進行混合，組成多維混合矩陣，作為所述腦電-語音數據集；將預處理后的腦電信號作為腦電數據集；將預處理后的語音信號作為語音數據集。
25、本專利技術技術效果：本專利技術公開了一種基于聽覺的雙向腦機接口系統，通過結合深度學習，聽覺誘發，運動想象以及腦機接口等技術，實現“人腦-計算機-人腦”雙向腦機接口系統設計，能夠實現腦電信號與語音信號之間的雙向轉換，即本專利技術既可以將腦電信號生成為對應的語音信號，也能夠將語音信號重構為對應的腦電信號。生成的語音信號與真實語音信號相比準確率可以達到0.96，生成的語音信號在語音質量指標平均意見得分可以達到4.36，重構腦電信號與真實腦電信號相似度可達到0.95。結果表明，基于聽覺的雙向腦機接口系統最后實現的效果就是能夠根據用戶經運動想象發出聲音產生的腦電信號，得到對應的語音信號是什么，也就是說能夠通知腦電得知用戶想說什么，同時，也能夠通過這個語音信號重構出用戶在想這句話時產生的腦電信號。
本文檔來自技高網...【技術保護點】
1.一種基于聽覺的雙向腦機接口系統，其特征在于，包括：
2.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
3.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
4.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
5.如權利要求3所述的基于聽覺的雙向腦機接口系統，其特征在于，
6.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
7.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
8.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
【技術特征摘要】
1.一種基于聽覺的雙向腦機接口系統，其特征在于，包括：
2.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
3.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
4.如權利要求1所述的基于聽覺的雙向腦機接口系統，其特征在于，
【專利技術屬性】
技術研發人員：郭一娜，賈欣雨，張萌，田文艷，武迎春，楊江濤，孫曉普，
申請(專利權)人：太原科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。