【技術實現步驟摘要】
本專利技術涉及生物技術與醫藥，尤其涉及一種基于心沖擊信號的多任務自監督情緒識別方法。
技術介紹
1、隨著人機交互研究熱潮的興起，情緒識別已經吸引了越來越多的科研人員的加入。基于不同生理信號，不同情緒誘發方式，不同特征提取方式，以及不同分類方式的情緒識別層出不窮，為情緒分析和人機交互的進一步發展奠定了堅實的基礎。目前，常見的用于情緒識別研究的生理信號包括腦電(electroencephalogram，eeg)、心電(electrocardiogram，ecg)、脈搏波(photoplethysmography，ppg)、肌電(electromyogram，emg)、皮膚電反應(galvanic?skin?response，gsr)、呼吸(respiration，resp)、皮膚溫度(skin?temperature，skt)、眼電(electrooculogram，eog)、皮膚電阻抗(skin-electrodeimpedance，sei)和血壓(blood?pressure，bp)等。
2、心沖擊信號(ballistocardiogram，bcg)檢測理念早在1950年由starr提出，該信號是由心臟搏動與大動脈血液循環所導致的與心跳同步的身體振動，是一種非直接接觸式的心臟功能實時檢測方法。bcg在心率提取和心率變異等方面已取得較為顯著的研究成果。cao等人應用hilbert-huang變換來增強和檢測bcg信號中人體運動引起的偽影，以輔助提取心率。liu等人提出了一種從健康受試者的bcg中檢測單次心跳間隔的方法，
3、傳統基于心電圖、腦電圖、眼電圖和皮膚電反應等進行情緒識別時，數據采集較為困難、測試環境容易讓被測者產生心理負擔。而且bcg信號的復雜性和多樣性會導致缺乏大量標注數據的情況以及特征提取和模型訓練都面臨不小的挑戰。另外，大多數基于情緒識別的機器學習或深度學習解決方案所使用的完全監督的學習方法的魯棒性較差。
技術實現思路
1、針對上述現有技術的不足，本專利技術通過將心沖擊信號(ballistocardiogram，bcg)引入情緒計算領域來取代傳統的ecg信號，提出了一種基于心沖擊信號的多任務自監督情緒識別方法，旨在實現更準確的情緒識別。
2、本專利技術提出的一種基于心沖擊信號的多任務自監督情緒識別方法，該方法包括如下步驟：
3、步驟1：利用非接觸式的信號采集技術采集原始bcg信號，對原始bcg信號進行信號預處理，得到基礎bcg信號，同時對原始bcg信號進行人工標定，得到標簽bcg信號；
4、步驟2：對基礎bcg信號進行數據擴增，得到若干組bcg信號作為訓練信號；
5、步驟3：構建自監督多通道bcg表征學習網絡；
6、步驟4：利用訓練信號對自監督多通道bcg表征學習網絡進行預訓練，得到訓練好的自監督多通道bcg表征學習網絡；
7、步驟5：基于訓練好的自監督多通道bcg表征學習網絡構建bcg情緒識別網絡，利用標簽bcg信號對bcg情緒識別網絡進行網絡參數優化，得到優化后的bcg情情緒分類網絡；
8、步驟6：采集受試者的bcg信號并進行數據擴增，并將得到的信號輸入優化后的bcg情緒分類網絡，得到bcg信號的情緒識別分類結果；
9、步驟1中所述利用非接觸式的信號采集技術采集原始bcg信號的方法為：使用箔式荷重稱重傳感器作為心沖擊信號bcg的傳感器，并將箔式荷重稱重傳感器隱式部署在受試者所在的座位上，以受試者不與傳感器直接接觸的方式采集原始bcg信號；
10、步驟1中所述標簽bcg信號包括：標簽為心境的bcg信號、標簽為激情的bcg信號和標簽為應激的bcg信號；
11、步驟1中所述信號預處理的過程包括：使用高通iir濾波器去除原始bcg信號中的基線漂移，得到濾波后的bcg信號，采用z分數標準化對每個濾波后的bcg信號進行零均值和單位方差的標準化，并將標準化后的bcg信號按照預設的窗口大小進行分割，得到基礎bcg信號；
12、步驟2中所述對基礎bcg信號進行數據擴增的方法為：對基礎bcg信號分別采用噪聲添加、尺度變換、負性變換、時間反轉、時間扭曲和亂序變換的方法進行信號變換，再分別對變換后的信號進行過采樣變換，得到若干組bcg信號；
13、所述噪聲添加為：生成服從高斯分布的隨機噪聲并添加至原始bcg信號中，得到一組bcg信號；所述隨機噪聲的噪聲水平通過設定信噪比控制；
14、所述尺度變換為：通過設置縮放系數改變基礎bcg信號的振幅，得到一組bcg信號；
15、所述負性變換為：對基礎bcg信號中的每個采樣點取負值，得到一組bcg信號；
16、所述時間反轉為：對基礎bcg信號的時間軸進行反轉，得到一組bcg信號；
17、所述時間扭曲為：從基礎bcg信號中隨機選取若干個片段，并對選取的片段沿時間軸進行拉伸或壓縮，得到一組bcg信號；
18、所述亂序變換為：將基礎bcg信號分割成若干個長度不均的片段，并隨機打亂各段的時間序列后重新進行拼接，得到一組bcg信號；
19、所述過采樣變換為：定義一個用于表示信號過采樣倍數的過采樣因子，將變換后的信號中的采樣點按照疏密程度由低到高的順序進行排序，選擇排序結果中前20％的采樣點作為少數類樣本，從少數類樣本中隨機選擇一個樣本作為過采樣樣本，采用歐氏距離計算過采樣樣本與除過采樣樣本之外的其他少數類樣本之間的距離，并按照距離從小到大的順序對除過采樣樣本之外的其他少數類樣本進行排序，選擇排序結果中前k個少數類樣本作為過采樣樣本的k個最近鄰樣本，分別計算過采樣樣本與k個最近鄰樣本之間的差向量；生成一個[0,1]范圍內的隨機數r作為隨機比例因子，分別計算隨機比例因子與每一個最近鄰樣本對應的差向量的乘積，并通過將該乘積添加到過采樣樣本中來為該最近鄰樣本生成一個合成樣本，最終得到一組bcg信號；
20、步驟3中所述自監督多通道bcg表征學習網絡采用多尺度卷積神經網絡mscnn作為基本結構，包括依次連接的：第一卷積模塊、第一最大池化層、第二卷積模塊、第二最大池化層、第三卷積模塊、全局最大池化層、全連接層和n路并列的分類支路；
21、所述第一卷積模塊、第二卷積模塊和第三卷積模塊均包括依次串聯的：第一卷積層、第一relu層、第二卷積層、第二relu層；
22、所述分類支路包括串聯的致密層和sigmoid層；其中每一路分類支路對應訓練信號中的一組b本文檔來自技高網...
【技術保護點】
1.一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，該方法包括如下步驟：
2.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述利用非接觸式的信號采集技術采集原始BCG信號的方法為：使用箔式荷重稱重傳感器作為心沖擊信號BCG的傳感器，并將箔式荷重稱重傳感器隱式部署在受試者所在的座位上，以受試者不與傳感器直接接觸的方式采集原始BCG信號。
3.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述標簽BCG信號包括：標簽為心境的BCG信號、標簽為激情的BCG信號和標簽為應激的BCG信號。
4.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述信號預處理的過程包括：使用高通IIR濾波器去除原始BCG信號中的基線漂移，得到濾波后的BCG信號，采用z分數標準化對每個濾波后的BCG信號進行零均值和單位方差的標準化，并將標準化后的BCG信號按照預設的窗口大小進行分割，得到基礎BCG信號。
5.根據權利要求1所述一種基于心沖擊信
6.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟3中所述自監督多通道BCG表征學習網絡采用多尺度卷積神經網絡MSCNN作為基本結構，包括依次連接的：第一卷積模塊、第一最大池化層、第二卷積模塊、第二最大池化層、第三卷積模塊、全局最大池化層、全連接層和n路并列的分類支路；
7.根據權利要求6所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟4中所述預訓練的過程為：對于訓練信號中的任意一組BCG信號，將該BCG信號輸入自監督多通道BCG表征學習網絡，利用第一卷積模塊對輸入的BCG信號進行初始特征提取和激活，并利用第一最大池化層對得到的初始特征進行最大池化，以縮小初始特征的尺寸，再利用第二卷積模塊對縮小后的初始特征進行第二次特征提取和激活，并利用第二最大池化層對得到的特征進行最大池化，再利用第三卷積模塊對得到的特征進行第三次特征提取和激活，并對得到的特征進行全局池化，得到該BCG信號的特征，再將該BCG信號的特征輸入全連接層，通過初始化使所有分類支路的初始權重相等，為該BCG信號分配一路分類支路用于特征學習，并利用分配到的分類支路為該BCG信號生成一個信號變換形式標簽作為自監督學習的目標標簽，并為該分類支路生成新的權重，完成一次訓練；當訓練信號中的所有BCG信號都完成訓練后，得到訓練好的自監督多通道BCG表征學習網絡。
8.根據權利要求7所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟5中所述BCG情緒識別網絡采用與自監督多通道BCG表征學習網絡相同的網絡結構，并將自監督多通道BCG表征學習網絡中的n路并列的分類支路替換為輸出層，所述輸出層由串聯的致密層和Sigmoid層組成，用于對輸入的BCG信號進行情緒識別并生成標簽，以實現情緒的三分類。
9.根據權利要求8所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟5中所述利用標簽BCG信號對BCG情緒識別網絡進行網絡參數優化的方法為：凍結訓練好的自監督多通道BCG表征學習網絡中網絡參數并作為BCG情緒識別網絡中的初始網絡參數，同時初始化全連接層的權重，設置學習率、正則化參數和dropout比例；將標簽BCG信號輸入BCG情緒識別網絡中進行情緒分類的預測，采用情緒分類任務的交叉熵損失計算標簽BCG信號的標簽與預測值的誤差，采用反向傳播算法更新全連接層的權重以最小化該誤差，得到優化后的BCG情緒分類網絡。
10.根據權利要求9所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，所述情緒分類任務的交叉熵損失為：
...【技術特征摘要】
1.一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，該方法包括如下步驟：
2.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述利用非接觸式的信號采集技術采集原始bcg信號的方法為：使用箔式荷重稱重傳感器作為心沖擊信號bcg的傳感器，并將箔式荷重稱重傳感器隱式部署在受試者所在的座位上，以受試者不與傳感器直接接觸的方式采集原始bcg信號。
3.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述標簽bcg信號包括：標簽為心境的bcg信號、標簽為激情的bcg信號和標簽為應激的bcg信號。
4.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟1中所述信號預處理的過程包括：使用高通iir濾波器去除原始bcg信號中的基線漂移，得到濾波后的bcg信號，采用z分數標準化對每個濾波后的bcg信號進行零均值和單位方差的標準化，并將標準化后的bcg信號按照預設的窗口大小進行分割，得到基礎bcg信號。
5.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟2中所述對基礎bcg信號進行數據擴增的方法為：對基礎bcg信號分別采用噪聲添加、尺度變換、負性變換、時間反轉、時間扭曲和亂序變換的方法進行信號變換，再分別對變換后的信號進行過采樣變換，得到若干組bcg信號；
6.根據權利要求1所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟3中所述自監督多通道bcg表征學習網絡采用多尺度卷積神經網絡mscnn作為基本結構，包括依次連接的：第一卷積模塊、第一最大池化層、第二卷積模塊、第二最大池化層、第三卷積模塊、全局最大池化層、全連接層和n路并列的分類支路；
7.根據權利要求6所述一種基于心沖擊信號的多任務自監督情緒識別方法，其特征在于，步驟4中所述預訓練的過程為：對于訓練信號中的任意一組bcg信號，將該bcg信號輸入自...
【專利技術屬性】
技術研發人員：蔣芳芳，柴昊辰，程天慶，劉子寧，張文韜，
申請(專利權)人：東北大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。