System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內(nèi)的位置。 參數(shù)名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現(xiàn)步驟摘要】
本專利技術涉及生物識別,特別涉及一種多模態(tài)融合特征情感識別方法。
技術介紹
1、隨著互聯(lián)網(wǎng)、虛擬現(xiàn)實、移動計算等飛速發(fā)展,對人機交互技術提出了新的挑戰(zhàn)和更高的要求,同時也提供了很多新的機遇。目前,“以人為中心”的交互設計原則是發(fā)展新一代人機交互的主要目標,因此,若能對人在作業(yè)過程中的情緒狀態(tài)進行有效識別,并及時預警,可有效減少人機交互過程中的人因失誤,保證作業(yè)的安全性,具有重要的現(xiàn)實意義。
2、情緒識別研究長期以來一直受到各個領域研究者們的關注,在各類相關領域開展了大量的研究工作,主要研究方法有兩類:非生理信號和生理信號情緒識別。非生理信號識別主要包括面部表情、語音語調、文本以及肢體動作等相關識別的特征,雖然目前這幾種方法在情緒識別領域已經(jīng)取得了很大進步和突破,但仍存在一些問題:(1)這幾種最常用的情緒識別方式都是基于個體的表象特征,而這些表象特征可以通過個體的主觀意愿進行偽裝,有時并不能真正反映個體當下的情緒狀態(tài);(2)每個個體特性存在差異,如面部結構特征、音色特征、文字運用習慣等,這些特性增加了情緒識別工作的難度,導致識別模型泛化能力較差;(3)對數(shù)據(jù)的要求高,但是數(shù)據(jù)的提取工作很容易受到外界環(huán)境的干擾,如圖像很容易受到光線和遮擋等影響,語音很容易受到周圍環(huán)境噪音的影響等。
3、根據(jù)canon的理論,生理信號是中樞神經(jīng)系統(tǒng)和周圍神經(jīng)系統(tǒng)活動而產(chǎn)生的結果,神經(jīng)系統(tǒng)在人無意識狀態(tài)下對生理活動進行著控制和調控,即生理信號難以被人的主觀意識支配,因此基于生理信號的情緒識別具有最大的客觀性。在國外內(nèi),一些學者也
技術實現(xiàn)思路
1、本專利技術意在提供一種多模態(tài)融合特征情感識別方法,解決了現(xiàn)有的情緒識別存在識別率低、情感識別模型的魯棒性較差的問題。
2、為了達到上述目的,本專利技術的技術方案如下:一種多模態(tài)融合特征情感識別方法,包括如下步驟:
3、s1、通過篩選或設計vr場景任務來搭建情緒誘發(fā)實驗任務平臺;
4、s2、基于情緒誘發(fā)實驗任務平臺來采集被試者在不同情緒下的生理信號并對生理信號進行預處理;
5、s3、將預處理后的生理信號進行特征提取及降維處理;
6、s4、將降維處理后的特征通過循環(huán)神經(jīng)網(wǎng)絡建立情緒分類和預測模型。
7、進一步的,步驟s1的搭建方法如下:
8、s1.1、確定目標情緒模型:通過選取不同的效價和喚醒度水平選取六種情緒狀態(tài):消極(選取沮喪、壓力、恐懼),積極(選取困倦、放松、興奮);
9、s1.2、情緒誘發(fā)手段及素材篩選:統(tǒng)計不同vr素材誘發(fā)目標情緒的適應性和有效性數(shù)值,通過設定一定的閾值,來篩選有效的情緒誘發(fā)材料;
10、s1.3、認知實驗任務設計:選取2-back實驗范式;
11、s1.4、實驗范式設計:實驗范式程序由多段vr片段組成,被試者在體驗每段vr視頻之后需根據(jù)剛才觀看視頻的感受迅速作自我評估,然后執(zhí)行認知實驗任務來檢驗其操作績效的變化。
12、進一步的,步驟s1.4中,在新的vr視頻開始之前對被試者進行放松處理,同時采集被試者在放松狀態(tài)的數(shù)據(jù)以及在放松狀態(tài)下的認知操作績效。
13、進一步的,步驟s2中生理信號的預處理方法如下:
14、s2.1、對腦電信號進行去噪處理;
15、s2.2、對心電信號去噪;
16、s2.3、使用平滑濾波器來去除皮電信號中的高頻毛刺;
17、s2.4、基線信號去除。
18、進一步的,步驟s2.1的去噪方法如下:
19、s2.1.1、基于正常eeg信號的頻率范圍,使用濾波器對eeg進行0.5-40hz帶通濾波和50hz陷波處理;
20、s2.1.2、采用獨立成分分析法對眼電偽跡進行剔除。
21、進一步的,步驟s2.2的去噪方法如下:
22、s2.2.1、通過設計50hz和100hz工頻陷波器進行濾除;
23、s2.2.2、采用小波變換降噪法去除毛刺;
24、s2.2.3、利用中值濾波法提取基線漂移的形狀,再將原信號減去提取出來的基線。
25、進一步的,步驟s2.4的具體方法如下:采集每個被試者在放松狀態(tài)下的基線生理信號,然后用不同情緒狀態(tài)下的生理信號分別減去每個人的基線生理信號,獲得被試者真正在情緒誘發(fā)后的生理變化值。
26、進一步的,步驟s3的特征提取方法如下:
27、腦電信號的情緒識別特征提取:采用小波包變換的方法對腦電信號的情緒識別特征進行提取;
28、心電信號的情緒識別特征提取:利用qrs波群對心電信號的情緒識別特征進行提取;
29、皮電信號的情緒識別特征提取:提取皮電信號序列:皮膚電導、皮膚電導的一階差分和二階差分,在此基礎上求與情緒相關的時域特征參數(shù)。
30、進一步的,步驟s3的特征降維方法如下:
31、s3.1、通過單因素方差分析算法分析每個屬性與最終數(shù)據(jù)點的類別進行相關度的分析,將不相關或者相關度低的屬性特征剔除,在屬性選擇上實現(xiàn)特征降維;
32、s3.2、運用主成分分析算法在線性變換上,通過均值比較和方差分析將原始數(shù)據(jù)投影到能夠較好區(qū)分這些屬性特征和類別的低維度上,實現(xiàn)特征降維。
33、進一步的,步驟s4的具體方法如下:將lstm預測模型根據(jù)預測結果百分比從高到低排序,選擇準確率前幾名的模型,每一模型各自的預測準確率作為預測結果類別的權重,通過對應每一條記錄相應類別權重的統(tǒng)計,決定出該記錄的最終判定結果。
34、與現(xiàn)有技術相比,本方案的有益效果:
35、1、本方案將反映中樞神經(jīng)系統(tǒng)變化的腦電信號、自主神經(jīng)系統(tǒng)變化的外周生理信號(心電、皮電)進行多模態(tài)生理信號融合作為情緒識別的研究線索,利用更具沉浸感、交互感的vr場景任務作為情緒誘發(fā)手段,建立有效的情緒模型,在此基礎上收集多樣本、高質量的生理數(shù)據(jù)用于分析,通過探討多模態(tài)生理信號與情緒加工和表達之間的內(nèi)在聯(lián)系、情緒與認知的交互關系,并提取有效的特征子集,在此基礎上利用深度學習的方法建立基于多源生理信號的情緒識別模型。
36、2、本方案借助高質量的生理數(shù)據(jù)是情緒識別和分析的基礎,因此,如何獲取高質量的生理數(shù)據(jù)是非常關鍵的。相比圖片、音樂、視頻等傳統(tǒng)的情緒誘發(fā)方法,本方案引入了vr技術,它不僅僅是將被試的視覺、聽覺等感覺與認知納入到虛擬情境中,而且能夠解決被試與環(huán)境的本文檔來自技高網(wǎng)...
【技術保護點】
1.一種多模態(tài)融合特征情感識別方法,其特征在于:包括如下步驟:
2.根據(jù)權利要求1所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S1的搭建方法如下:
3.根據(jù)權利要求2所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S1.4中,在新的VR視頻開始之前對被試者進行放松處理,同時采集被試者在放松狀態(tài)的數(shù)據(jù)以及在放松狀態(tài)下的認知操作績效。
4.根據(jù)權利要求3所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S2中生理信號的預處理方法如下:
5.根據(jù)權利要求4所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S2.1的去噪方法如下:
6.根據(jù)權利要求4所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S2.2的去噪方法如下:
7.根據(jù)權利要求4所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S2.4的具體方法如下:采集每個被試者在放松狀態(tài)下的基線生理信號,然后用不同情緒狀態(tài)下的生理信號分別減去每個人的基線生理信號,獲得被試者真正在情緒誘發(fā)后的生理變化值。
8.根據(jù)權利要求1
9.根據(jù)權利要求8所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S3的特征降維方法如下:
10.根據(jù)權利要求1所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟S4的具體方法如下:將LSTM預測模型根據(jù)預測結果百分比從高到低排序,選擇準確率前幾名的模型,每一模型各自的預測準確率作為預測結果類別的權重,通過對應每一條記錄相應類別權重的統(tǒng)計,決定出該記錄的最終判定結果。
...【技術特征摘要】
1.一種多模態(tài)融合特征情感識別方法,其特征在于:包括如下步驟:
2.根據(jù)權利要求1所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟s1的搭建方法如下:
3.根據(jù)權利要求2所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟s1.4中,在新的vr視頻開始之前對被試者進行放松處理,同時采集被試者在放松狀態(tài)的數(shù)據(jù)以及在放松狀態(tài)下的認知操作績效。
4.根據(jù)權利要求3所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟s2中生理信號的預處理方法如下:
5.根據(jù)權利要求4所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟s2.1的去噪方法如下:
6.根據(jù)權利要求4所述的一種多模態(tài)融合特征情感識別方法,其特征在于:步驟s2.2的去噪方法如下:
7.根據(jù)權利要求...
【專利技術屬性】
技術研發(fā)人員:范曉麗,田甄,吳峰,郭華,崔婷婷,趙安東,葛華,李晅,李建輝,桑源,高如陽,
申請(專利權)人:中國人民解放軍空軍特色醫(yī)學中心,
類型:發(fā)明
國別省市:
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。