【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于人工智能領(lǐng)域，涉及情感計算和信號處理等技術(shù)，具體地說是一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法。
技術(shù)介紹
1、情感計算是人機交互和認知科學(xué)領(lǐng)域的重要研究方向。與傳統(tǒng)的離散情感狀態(tài)建模(如高興和傷心等標(biāo)簽)方法相比，維度情感建模提供了更加細粒度的情感分析。最常用的維度情感空間是喚醒-效價空間，其中喚醒反映情感狀態(tài)的強度，效價體現(xiàn)情感狀態(tài)的類型。
2、然而，隨著單個領(lǐng)域的不斷發(fā)展，以及面臨復(fù)雜的現(xiàn)實場景挑戰(zhàn)，僅僅依靠單個模態(tài)的數(shù)據(jù)進行情感分析已經(jīng)無法滿足情感分析領(lǐng)域的需求。視覺模態(tài)能夠捕捉用戶情感的外在表現(xiàn)，直觀且易獲取，但存在一定局限性。生理模態(tài)數(shù)據(jù)則填補了這一不足，因其神經(jīng)細胞活動不受主觀因素干擾，具有較高的可靠性和精度。通過生理模態(tài)和視覺模態(tài)數(shù)據(jù)的特征表示及模態(tài)融合，可以彌補單模態(tài)的缺陷并解決復(fù)雜現(xiàn)實場景下的情感分析問題，被廣泛應(yīng)用于抑郁癥診斷、醫(yī)療監(jiān)護等諸多領(lǐng)域。
3、多模態(tài)情感分析的核心在于數(shù)據(jù)質(zhì)量和融合表征，高質(zhì)量的情感數(shù)據(jù)對于系統(tǒng)性能至關(guān)重要。然而，現(xiàn)有情感數(shù)據(jù)采集過程中通常對同一刺激期間記錄的數(shù)據(jù)賦予相同的標(biāo)簽，但實際上情感是連續(xù)變化的。例如，在觀看視頻刺激的過程中，用戶的情感狀態(tài)不會一直保持一致，可能隨劇情變化而波動。忽略這種情感的連續(xù)變化可能會降低數(shù)據(jù)質(zhì)量，進而影響識別效果。因此，獲取高質(zhì)量的情感數(shù)據(jù)是情感識別的首要任務(wù)。2023年，gu等人在論文“tagging?continuous?labels?for?eeg-based?emotion?classificati
4、在單一模態(tài)數(shù)據(jù)缺失或被噪聲干擾的情況下，依賴于單模態(tài)的情感識別系統(tǒng)容易出現(xiàn)誤判。通過融合多模態(tài)數(shù)據(jù)，可以有效地利用其他模態(tài)的數(shù)據(jù)來補充缺失或被干擾的模態(tài)信息，從而提高識別的準(zhǔn)確性和魯棒性。然而，多模態(tài)融合也面臨一些挑戰(zhàn)，如模態(tài)之間的異構(gòu)性和數(shù)據(jù)維度的不一致性。如何有效地提取各個模態(tài)特征并捕捉不同模態(tài)之間的共通性和互補性將其融合，仍然存在著較大的研究提升空間。zhao等人在論文“expressioneeg?multimodal?emotion?recognition?method?based?on?the?bidirectional?lstm?andattention?mechanism”中提出了一種基于雙向長短期記憶網(wǎng)絡(luò)和注意力機制的表情腦電多模態(tài)情緒識別方法。他們使用神經(jīng)網(wǎng)絡(luò)分別提取表情和腦電情緒特征，利用具有注意力機制的長短期記憶網(wǎng)絡(luò)進行時序建模，并通過雙向長短期記憶網(wǎng)絡(luò)進行融合。但這種方法忽略了情感數(shù)據(jù)質(zhì)量對情感識別任務(wù)的影響，并且僅從單向進行模態(tài)融合，未能全面捕捉多模態(tài)特征的多模態(tài)特征的互補性和共通性。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法，旨在能夠緩解情感數(shù)據(jù)采集過程中忽視情感連續(xù)變化導(dǎo)致的數(shù)據(jù)質(zhì)量下降問題，以及提取不同模態(tài)間的相關(guān)性并獲取深層多模態(tài)融合表征，從而提高情緒識別準(zhǔn)確性和可靠性。
2、本專利技術(shù)采取的技術(shù)方案是，包括下列步驟：
3、步驟1、經(jīng)數(shù)據(jù)清洗，生成經(jīng)過數(shù)據(jù)清洗后的訓(xùn)練集trainupdate；
4、步驟2、單模態(tài)特征提取；
5、步驟3、構(gòu)建模態(tài)獨立編碼器；
6、步驟4、構(gòu)建多角度融合網(wǎng)絡(luò)；
7、步驟5、情感分析網(wǎng)絡(luò)的優(yōu)化與情感識別。
8、本專利技術(shù)所述步驟1中包括：
9、獲取多模態(tài)情感數(shù)據(jù)庫，按照一定比例劃分為訓(xùn)練集trainoriginal和測試集test，將腦電信號、皮膚電反應(yīng)、面部模態(tài)數(shù)據(jù)和標(biāo)簽數(shù)據(jù)按照數(shù)據(jù)庫對應(yīng)關(guān)系進行關(guān)聯(lián)，從訓(xùn)練集trainoriginal中獲取腦電信號，提取額葉位置腦電信號的腦不對稱特征di，通過腦不對稱特征評估情感數(shù)據(jù)質(zhì)量，采用了迭代噪聲過濾算法對訓(xùn)練集進行數(shù)據(jù)清洗，生成經(jīng)過數(shù)據(jù)清洗后的訓(xùn)練集trainupdate。
10、本專利技術(shù)所述提取額葉位置腦電信號的腦不對稱特征di包括：
11、先將其切分成若干不重疊的時間片段，提取f3、f4、af3和af4通道信號并計算其在θ(4-8hz)，α(8-14hz)，β(14-30hz)，γ(30-45hz)頻段的差分熵de；
12、差分熵(de)定義為：
13、de＝-∫xf(x)log(f(x))dx?(1)
14、其中f(x)是腦電信號x的概率密度函數(shù)；
15、根據(jù)腦電導(dǎo)分布10-20系統(tǒng)，通道下標(biāo)偶數(shù)表示大腦右側(cè)的電極，奇數(shù)表示放置在大腦左側(cè)的電極，f3和f4、af3和af4為兩對左右對側(cè)電極，分別計算兩對對側(cè)電極的腦不對稱性特征di；
16、
17、當(dāng)計算f3和f4的腦不對稱特征di時，deleft代表f3通道的差分熵而deright代表f4通道的差分熵；當(dāng)計算af3和af4的腦不對稱特征di時，deleft代表af3通道的差分熵而deright代表af4通道的差分熵；
18、所述采用迭代噪聲過濾算法對訓(xùn)練集進行數(shù)據(jù)清洗的方法是：
19、將提取到的腦不對稱特征di輸入到四個常用的分類器：c4.5、邏輯回歸模型、隨機森林模型和貝葉斯模型，構(gòu)成的集成分類器，并利用軟投票機制合并這些分類器的預(yù)測輸出；在每次迭代中，移除已識別的錯誤分類樣本及其關(guān)聯(lián)的皮膚電反應(yīng)和面部模態(tài)數(shù)據(jù)，如果檢測到的噪聲超過預(yù)定義的閾值，還將從子集中移除一定比例的好樣本，然后，使用更新后的訓(xùn)練數(shù)據(jù)開始新的迭代，重新輸入到集成分類器中，該過程將不斷迭代，直到滿足判定條件，獲得經(jīng)過數(shù)據(jù)清洗后的訓(xùn)練集trainupdate。
20、本專利技術(shù)所述步驟2中包括：
21、從訓(xùn)練集trainupdate和測試集test中提取腦電信號、皮膚電反應(yīng)和面部模態(tài)數(shù)據(jù)，將其切分成若干不重疊的時間片段，并對信號進行特征提取；對腦電信號提取頻段能量、小波特征及其統(tǒng)計特征、hjorth參數(shù)得到相應(yīng)的腦電信號特征序列對皮膚電信號提取頻段能量及其統(tǒng)計特征、小波特征及其統(tǒng)計特征、hjorth參數(shù)得到相應(yīng)的皮膚電反應(yīng)特征序列其中l(wèi)表示特征序列的長度，de表示腦電特征序列的維度，dg表示皮膚電模態(tài)特征序列的維度，將面部模態(tài)輸入預(yù)訓(xùn)練的視頻解碼器timesformer中進行處理，得到面部模態(tài)表征l表示特征序列的長度，dv表示面部特征序列的維度；
22、所述腦電信號提取頻段能量、小波特征的統(tǒng)計特征包括平均值、標(biāo)準(zhǔn)偏差；
23、所述皮膚電信號提取頻段能量的統(tǒng)計特征包括平均值、功率譜、所述小波特征的統(tǒng)計特征包括平均值、標(biāo)準(zhǔn)偏差。
24、本專利技術(shù)所述步驟3所述模態(tài)獨立編碼器由腦電信號編碼器和皮膚電反應(yīng)編碼器構(gòu)成，腦電信號編碼器由2d卷積網(wǎng)絡(luò)構(gòu)成，對腦電信號特征fe進行編碼提取其深度的時域和空域信本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，包括下列步驟：
2.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述步驟1中包括：
3.根據(jù)權(quán)利要求2所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述提取額葉位置腦電信號的腦不對稱特征DI包括：
4.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述步驟2中包括：
5.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述步驟3所述模態(tài)獨立編碼器由腦電信號編碼器和皮膚電反應(yīng)編碼器構(gòu)成，腦電信號編碼器由2D卷積網(wǎng)絡(luò)構(gòu)成，對腦電信號特征FE進行編碼提取其深度的時域和空域信息；皮膚電反應(yīng)編碼器由長短期記憶網(wǎng)絡(luò)構(gòu)成，對皮膚電信號FG進行編碼提取深度情感信息，并將他們投影到和面部特征FV相同的維度，從而獲得具有相同特征維度的單模態(tài)表征其中Xm代表m模態(tài)的模態(tài)表征，E代表腦電信號、G代表皮膚電反應(yīng)、V代表面部模態(tài)，l是特征序列長度，dV是統(tǒng)一的特征序列維度。p>
6.根據(jù)權(quán)利要求5所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述腦電信號編碼器包括以下部分：
7.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述步驟4所述多角度融合網(wǎng)絡(luò)由跨模態(tài)注意力模塊和反向編碼層組成，實現(xiàn)了模態(tài)互補特征和共通特征的高效提取，引入雙向融合約束，從單模態(tài)特征到多模態(tài)表征的生成以及從多模態(tài)表征到單模態(tài)特征的生成，首先，對模態(tài)表征Xm進行兩兩跨模態(tài)注意力交互，生成聯(lián)合特征，這些聯(lián)合特征通過拼接形成融合表征Xf，隨后，通過反向編碼層分別計算融合表征Xf和單模態(tài)表征Xm的對比學(xué)習(xí)損失多角度的融合確保準(zhǔn)確反映各模態(tài)特征的互補信息和共通特征。
8.根據(jù)權(quán)利要求7所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述跨模態(tài)注意力模塊包括：視覺-皮膚電跨模態(tài)注意力模塊、腦電-皮膚電跨模態(tài)注意力模塊、皮膚電-視覺跨模態(tài)注意力模塊、腦電-視覺跨模態(tài)注意力模塊、視覺-腦電跨模態(tài)注意力模塊、皮膚電-腦電跨模態(tài)注意力模塊，其中：
9.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述步驟5中利用多層感知機網(wǎng)絡(luò)實現(xiàn)情感預(yù)測，將融合表征Xf輸入多層感知機網(wǎng)絡(luò)獲得預(yù)測結(jié)果聯(lián)合任務(wù)損失與對比學(xué)習(xí)損失對模態(tài)獨立編碼器、多角度融合網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)和多層感知機網(wǎng)絡(luò)組成的情感分析網(wǎng)絡(luò)進行訓(xùn)練，對測試集Test中的數(shù)據(jù)，重復(fù)步驟2，提取出相應(yīng)的腦電信號特征序列FE、皮膚電反應(yīng)特征序列FG和面部模態(tài)表征XV，將這些特征和模態(tài)表征送入訓(xùn)練好的情感分析網(wǎng)絡(luò)，獲得情感識別結(jié)果。
10.根據(jù)權(quán)利要求9所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述情感識別任務(wù)的損失函數(shù)如下：
...【技術(shù)特征摘要】
1.一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，包括下列步驟：
2.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述步驟1中包括：
3.根據(jù)權(quán)利要求2所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述提取額葉位置腦電信號的腦不對稱特征di包括：
4.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于，所述步驟2中包括：
5.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述步驟3所述模態(tài)獨立編碼器由腦電信號編碼器和皮膚電反應(yīng)編碼器構(gòu)成，腦電信號編碼器由2d卷積網(wǎng)絡(luò)構(gòu)成，對腦電信號特征fe進行編碼提取其深度的時域和空域信息；皮膚電反應(yīng)編碼器由長短期記憶網(wǎng)絡(luò)構(gòu)成，對皮膚電信號fg進行編碼提取深度情感信息，并將他們投影到和面部特征fv相同的維度，從而獲得具有相同特征維度的單模態(tài)表征其中xm代表m模態(tài)的模態(tài)表征，e代表腦電信號、g代表皮膚電反應(yīng)、v代表面部模態(tài)，l是特征序列長度，dv是統(tǒng)一的特征序列維度。
6.根據(jù)權(quán)利要求5所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述腦電信號編碼器包括以下部分：
7.根據(jù)權(quán)利要求1所述的一種基于腦不對稱和多角度融合網(wǎng)絡(luò)的情感識別方法,其特征在于：所述步驟4所述多角度融合網(wǎng)絡(luò)由跨模態(tài)注意力模塊和反向編...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳建，周北茗，林琳，孫曉穎，燕學(xué)智，劉思宇，王梓琪，丁亞軍，
申請(專利權(quán))人：吉林大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。