一種腦機交互穿戴系統技術方案

本實用新型專利技術提供了一種腦機交互穿戴系統，包括腦電肌電采集裝置，其能夠采集使用者的腦電和肌電信號數據；界面顯示應用裝置，其能夠向使用者輸出增強現實的顯示；和數據處理裝置，其能夠對所述腦電和肌電信號數據進行聚合，基于所述信號數據確定使用者的操作輸入，并基于所述操作輸入確定向使用者顯示的內容；所述腦電肌電采集裝置、所述界面顯示應用裝置分別與所述數據處理裝置相連。所述界面顯示應用裝置可以是增強現實應用裝置。

【技術實現步驟摘要】
一種腦機交互穿戴系統
本技術涉及一種腦機接口穿戴系統，特別是用于增強現實的腦機接口穿戴系統。
技術介紹
腦機接口（brain-computer/machineinterface,BCI/BMI）是人腦和計算機或其他外部設備之間建立一條全新的非生物性的信息傳輸通道（不依賴于常規的脊髓/外周神經肌肉系統），并通過它對外進行信息交流或環境控制。它提供了一種有別于傳統的視覺、聽覺等通道的交互手段，大大擴展人們與外界交流信息、控制系統的能力。BCI的研究在全球范圍內已取得階段性突破進展，若干類型的BCI實驗的準確率已經相當高（如P300、SSVEP、Mu波等）；設備方面各種可穿戴式的EEG設備已進入市場，如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此，BCI的實用化已經提上了日程。一些著名的研究機構如Wadsworth中心、Graz技術大學等正努力推進BCI在醫療康復、娛樂和教育等領域的應用。增強現實（AugmentedReality，簡稱AR），是一種實時地計算攝影機影像的位置及角度并加上相應圖像的技術，這種技術的目標是在屏幕上把虛擬世界套在現實世界并進行互動。這種技術最早于1990年提出。隨著隨身電子產品運算能力的提升，增強現實可廣泛應用到軍事、醫療、建筑、教育、工程、影視、娛樂等領域。在視覺化的增強現實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著它。交互操作是增強現實的核心應用和終極目標?，F有的可用于增強現實的交互方法主要有以下幾種。（1）手勢交互，例如微軟公司的HoloLens。該方式的主要思想是用戶通過手勢來對虛擬項目進行交互操作。其優點在于手勢是最直接、最本能的操作方法，是用戶與目標進行互動的本能自然行為，可完成對目標的各種預期操作。缺點是當前設備存在可識別的手勢有限、無法準確定位擬操作的目標等問題。同時，在一些特殊的應用場景中，如手功能缺失的殘疾人、無法騰出手來的作戰士兵等都難以自如地對興趣目標進行操作。（2）語音交互，例如索尼公司的公開號為CN103918284A、專利技術名稱為“語音控制裝置、語音控制方法和程序”的專利技術專利申請。該方式的主要思想是針對增強現實中的交互項目，通過用戶的語音識別來進行選擇和確認。其優點在于可解放雙手，便捷交互；缺點是語音在嘈雜環境的識別率低下；公共場所人多而雜，使用語音交互可能涉及到個人隱私問題；語音命令識別率等。（3）眼動交互，例如英特爾公司的公開號為CN104395857A、專利技術名稱為“顯示器的部分的基于眼球追蹤的選擇性強調”的專利技術專利申請。該方式的主要思想是利用眼球的轉動、眨眼等動作，對目標進行選擇和確認。其優點在于解放雙手，具有隱秘性。缺點是難以區分實際操作指令與無目的性的眼動，頻繁操作會對用戶的用眼習慣造成影響。
技術實現思路
本技術的目的在于提供應用于增強現實的腦機接口穿戴系統，可通過視覺相關腦電和頭皮肌電進行系統控制，解決增強現實中交互方式存在的問題，具有較好的控制準確性、隱秘性和便捷性。本技術通過如下技術方案實現。一種腦機交互穿戴系統，包括腦電肌電采集裝置，其能夠采集使用者的腦電和肌電信號數據；界面顯示應用裝置，其能夠向使用者輸出用戶界面的顯示；和數據處理裝置，其能夠對所述腦電和肌電信號數據進行聚合，基于所述信號數據確定使用者的操作輸入，并基于所述操作輸入確定向使用者顯示的內容；所述腦電肌電采集裝置、所述界面顯示應用裝置分別與所述數據處理裝置相連。優選地，該系統為可穿戴式頭箍眼鏡式設計，所述腦電肌電采集裝置包括分布于頭箍上的電極和直流耦合式模擬前端。優選地，所述的電極為體表電極或絕緣干電極；所述的直流耦合式模擬前端包括低增益直流放大模塊和模數轉換模塊。優選地，所述界面顯示應用裝置是增強現實應用裝置，所述增強現實應用裝置包括透視式鏡片顯示器、攝像頭。優選地，透視式鏡片顯示器和攝像頭分別與所述數據處理裝置連接。優選地，所述數據處理裝置包括腦電肌電信號處理模塊、交互動態控制模塊、增強信息知識庫和視頻融合模塊。優選地，所述基于所述信號數據確定使用者的操作輸入包括關注目標的識別，以及目標菜單選項的選擇。優選地，所述的關注目標的識別通過SSVEP范式來完成，所述系統以不同頻率和刺激方式呈現視野范圍內的對象和元素，通過腦電信號識別出用戶關注的目標。優選地，所述SSVEP范式的刺激方式包括輪廓閃爍、標識閃爍和/或動態圓環標識；所述SSVEP范式的刺激方式均以不同的頻率進行編碼。優選地，所述的目標菜單選項的選擇通過舌動和咬齒產生的肌電來完成，系統根據不同模式的肌電信號將識別的菜單選擇選擇結果突出顯示。通過以上技術方案，本技術能夠取得如下技術效果。（1）利用成熟的視覺腦電信號進行關注目標的識別，頭皮肌電信號進行菜單選項的選擇操作，為增強現實提供了有效可靠的交互方式，具有準確性、隱秘性和便捷性。（2）一體化穿戴式設計，系統佩戴方便，更易為用戶所接受。（3）上述交互方式的優點和穿戴式設計可使系統應用于多種特殊的應用場景，如殘疾人用戶、軍事、工程、娛樂等領域，具有巨大的市場價值。附圖說明圖1是本技術的結構示意圖。圖2是本技術的系統框架圖。圖3是交互動態控制模塊的處理任務。圖4是用戶對實物對象和虛擬元素的交互。圖5是SSVEP范式的建立和實現要點。圖6是視覺刺激方式。圖7是肌電信號編碼模式。圖8是本技術腦機接口穿戴系統的交互流程圖。具體實施方式如圖1所示，本技術的腦機交互穿戴系統為可穿戴式頭箍眼鏡式設計，它包括腦電肌電采集模塊、增強現實應用模塊和數據處理芯片；其中，腦電肌電采集模塊、增強現實應用模塊分別與數據處理芯片相連。如圖2所示，系統各部分包含的模塊和相應功能如下：腦電肌電采集模塊由電極和直流耦合式模擬前端組成。其中電極可選用常規的體表電極（需導電膏）或絕緣干電極，位置覆蓋頭皮視覺區域、前額及兩側區域。直流耦合式模擬前端包括低增益直流放大模塊和模數轉換模塊。低增益直流放大模塊能夠對原始電信號進行直流放大，模數轉換模塊能夠將放大的模擬信號轉換為數字信號。增強現實應用模塊包括透視式鏡片顯示器、兩個攝像頭。其中，透視式鏡片顯示器用于顯示虛擬場景和現實場景的融合信息，兩個攝像頭用于采集現實場景的視頻信息，二者分別與數據處理芯片連接。數據處理芯片包含腦電肌電信號處理模塊、交互動態控制模塊、增強信息知識庫和視頻融合模塊。腦電肌電信號處理模塊先對腦電肌電采集模塊傳輸來的數字信號進行濾波等信號處理，再對處理后的腦電信號進行SSVEP分析處理，結果反饋至交互動態控制模塊；交互動態控制模塊進行三組處理任務：一是接收來自攝像頭的視頻信息，對視頻數據進行識別，從增強信息知識庫中查詢并取出與視頻數據對應的知識信息和菜單選項，將數據結果發送至視頻融合模塊；二是建立虛擬元素和現實對象的SSVEP范式場景刺激；三是接收來自腦電肌電信號處理模塊的數據結果，進行用戶對關注目標的識別和菜單選項的選擇，輸出的結果用于增強信息知識庫的信息再調取和視頻融合模塊的再顯示。交互動態控制模塊的處理任務如圖3所示。增強信息知識庫包含與現實對象相關的在實物對象上添加的可以進行選擇的有本文檔來自技高網...

【技術保護點】
一種腦機交互穿戴系統，包括腦電肌電采集裝置，其能夠采集使用者的腦電和肌電信號數據；界面顯示應用裝置，其能夠向使用者輸出用戶界面的顯示；和數據處理裝置，其能夠對所述腦電和肌電信號數據進行聚合，基于所述信號數據確定使用者的操作輸入，并基于所述操作輸入確定向使用者顯示的內容；所述腦電肌電采集裝置、所述界面顯示應用裝置分別與所述數據處理裝置相連。

【技術特征摘要】
1.一種腦機交互穿戴系統，包括腦電肌電采集裝置，其能夠采集使用者的腦電和肌電信號數據；界面顯示應用裝置，其能夠向使用者輸出用戶界面的顯示；和數據處理裝置，其能夠對所述腦電和肌電信號數據進行聚合，基于所述信號數據確定使用者的操作輸入，并基于所述操作輸入確定向使用者顯示的內容；所述腦電肌電采集裝置、所述界面顯示應用裝置分別與所述數據處理裝置相連。2.根據權利要求1所述的腦機交互穿戴系統，其特征在于，該系統為可穿戴式頭箍眼鏡式設計，所述腦電肌電采集裝置包括分布于頭箍上的電極和直流耦合式模擬前端。3.根據權利要求2所述的腦機交互穿戴系統，其特征在于，所述的電極為體表電極或絕緣干電極；所述的直流耦合式模擬前端包括低增益直流放大模塊和模數轉換模塊。4.根據權利要求1所述的腦機交互穿戴系統，其特征在于，所述界面顯示應用裝置是增強現實應用裝置，所述增強現實應用裝置包括透視式鏡片顯示器、攝像頭。5.根據權利要求4所述的腦機交互穿戴系統，其特征在于，透視式鏡片顯示...

【專利技術屬性】
技術研發人員：黃肖山，胥紅來，廖廣姍，
申請(專利權)人：博?？悼萍汲Ｖ莨煞萦邢薰?/a>，
類型：新型
國別省市：江蘇,32