【技術實現步驟摘要】
本申請涉及研發設計及人工智能，應用于根據腦電信號進行情緒識別場景中，尤其涉及一種情緒識別方法、裝置、設備及其存儲介質。
技術介紹
1、現代人機交互技術已經發展到能夠根據生理信號識別人的情緒狀態。人類的情緒狀態可以通過面部表情、動作手勢等識別，但這些識別方式很多時候并不能給出準確的結果。例如，悲傷的表情還包含沮喪、憤怒等情緒，如果直接通過面部表情來檢測情緒，又無法準確地從中提取完全準確的結果，近年來，由于在情緒分析方面的巨大應用潛力，利用腦電信號進行情緒識別受到了廣泛的關注。
2、目前，基于腦電信號的情緒識別應用一直受到數據采集困難、缺少可用數據或可用的數據集數據量較小等因素的影響，以往的單分類器或并行的多分類器模型也不能較好地組合情緒識別的各個子任務，使得模型受到大量冗余的不相關的特征的干擾，不能有效地提取高層語義。如何結合腦電信號數據設計出高可用性的情緒分類模型，成為了亟需解決的問題。
技術實現思路
1、本申請實施例的目的在于提出一種情緒識別方法、裝置、設備及其存儲介質，以結合腦電信號數據設計出高可用性的情緒分類模型。
2、為了解決上述技術問題，本申請實施例提供情緒識別方法，采用了如下所述的技術方案：
3、一種情緒識別方法，包括下述步驟：
4、獲取待進行情緒識別的腦電波形信號；
5、將所述腦電波形信號輸入到預訓練完成的特征向量提取模型，輸出所述腦電波形信號的表征向量，其中，所述特征向量提取模型包括基于改進型wav2vec
6、將所述腦電波形信號的表征向量輸入到下游預訓練完成的情緒分類識別模型中，獲取所述情緒分類識別模型輸出的情緒分類結果。
7、進一步的，在執行所述將所述腦電波形信號輸入到預訓練完成的特征向量提取模型，輸出所述腦電波形信號的表征向量的步驟之前，所述方法還包括：
8、獲取訓練數據集，其中，所述訓練數據集中包括了第一類訓練數據和第二類訓練數據，所述第一類訓練數據為未標注情緒類別的腦電波形信號數據，所述第二類訓練數據為已標注了情緒類別的腦電波形信號數據；
9、將所述訓練數據集輸入到待訓練的基于改進型wav2vec2.0結構的波形信號特征向量提取模型中，并采用自監督學習方式對所述波形信號特征向量提取模型進行學習訓練，獲得所述預訓練完成的特征向量提取模型。
10、進一步的，所述將所述訓練數據集輸入到待訓練的基于改進型wav2vec2.0結構的波形信號特征向量提取模型中，并采用自監督學習方式對所述波形信號特征向量提取模型進行學習訓練，獲得所述預訓練完成的特征向量提取模型的步驟，具體包括：
11、將所述第一類訓練數據輸入到所述待訓練的基于改進型wav2vec2.0結構的波形信號特征向量提取模型中，進行模型初步訓練；
12、獲取所有未標注情緒類別的腦電波形信號數據分別所對應的表征向量提取結果，作為表征向量第一提取結果，以及
13、獲取初步訓練的波形信號特征向量提取模型的特征向量提取參數；
14、將所述第二類訓練數據輸入到初步訓練的波形信號特征向量提取模型中，進行表征向量提取；
15、獲取所有已標注情緒類別的腦電波形信號數據分別所對應的表征向量提取結果，作為表征向量第二提取結果；
16、根據所述表征向量第二提取結果和所述第二類訓練數據中所有腦電波形信號數據對應的情緒類別標注結果，對所述特征向量提取參數進行調整優化，獲得調整優化后的波形信號特征向量提取模型；
17、將所述調整優化后的波形信號特征向量提取模型作為所述預訓練完成的特征向量提取模型。
18、進一步的，所述根據所述表征向量第二提取結果和所述第二類訓練數據中所有腦電波形信號數據對應的情緒類別標注結果，對所述特征向量提取參數進行調整優化，獲得調整優化后的波形信號特征向量提取模型的步驟，具體包括：
19、基于所述第二類訓練數據中所有腦電波形信號數據對應的情緒類別標注結果，對所述表征向量第二提取結果進行分類整理；
20、獲取所述表征向量第二提取結果在所有情緒類別上的分類整理結果，作為第一分類整理結果；
21、根據所述第一分類整理結果，識別出所有情緒類別分別所對應的重要表征維度和非重要表征維度；
22、基于所有情緒類別分別所對應的重要表征維度和非重要表征維度對所述特征向量提取參數進行調整優化，獲得調整優化后的波形信號特征向量提取模型。
23、進一步的，在執行所述將所述腦電波形信號的表征向量輸入到下游預訓練完成的情緒分類識別模型中，獲取所述情緒分類識別模型輸出的情緒分類結果的步驟之前，所述方法還包括：
24、采用所述調整優化后的波形信號特征向量提取模型，對所述第一類訓練數據再次進行表征向量提取，獲得更新后的表征向量第一提取結果；
25、將所述更新后的表征向量第一提取結果輸入到下游待訓練的情緒分類識別模型中，進行情緒分類識別模型初步訓練；
26、獲取所述下游待訓練的情緒分類識別模型對所述更新后的表征向量第一提取結果所輸出的分類結果，作為實際分類結果；
27、根據所述第一分類整理結果，結合預設的特征距離算法對所述更新后的表征向量第一提取結果進行分類整理，獲得第二分類整理結果；
28、基于所述第二分類整理結果和所述實際分類結果對所述初步訓練完成的情緒分類識別模型進行驗證；
29、獲得驗證完成的情緒分類識別模型作為所述預訓練完成的情緒分類識別模型。
30、進一步的，所述根據所述第一分類整理結果，結合預設的特征距離算法對所述更新后的表征向量第一提取結果進行分類整理，獲得第二分類整理結果的步驟，具體包括：
31、步驟701，識別所有已標注情緒類別的腦電波形信號數據分別所對應的表征向量提取結果；
32、步驟702，根據所述第一分類整理結果，識別所有已標注情緒類別的腦電波形信號數據所處的分類域；
33、步驟703，從所述更新后的表征向量第一提取結果，識別出所有未標注情緒類別的腦電波形信號數據分別所對應的表征向量提取結果；
34、步驟704，從所有已標注情緒類別的腦電波形信號數據中篩選任一腦電波形信號數據作為當前已標注情緒類別的腦電波形信號數據；
35、步驟705，從所有未標注情緒類別的腦電波形信號數據中篩選任一腦電波形信號數據作為當前未標注情緒類別的腦電波形信號數據；
36、步驟706，采用歐式距離算法，計算當前未標注情緒類別的腦電波形信號數據與當前已標注情緒類別的腦電波形信號數據在表征向量提取結果上的特征距離值；
37、步驟707，若所述特征距離值滿足預設的特征距離閾值，則將當前未標注情緒類別的腦電波形信號數據劃分到當前已標注情緒類別的腦電波形信號數據所處的分類域；
38、步驟708，重復執行步本文檔來自技高網...
【技術保護點】
1.一種情緒識別方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的情緒識別方法，其特征在于，在執行所述將所述腦電波形信號輸入到預訓練完成的特征向量提取模型，輸出所述腦電波形信號的表征向量的步驟之前，所述方法還包括：
3.根據權利要求2所述的情緒識別方法，其特征在于，所述將所述訓練數據集輸入到待訓練的基于改進型wav2vec2.0結構的波形信號特征向量提取模型中，并采用自監督學習方式對所述波形信號特征向量提取模型進行學習訓練，獲得所述預訓練完成的特征向量提取模型的步驟，具體包括：
4.根據權利要求3所述的情緒識別方法，其特征在于，所述根據所述表征向量第二提取結果和所述第二類訓練數據中所有腦電波形信號數據對應的情緒類別標注結果，對所述特征向量提取參數進行調整優化，獲得調整優化后的波形信號特征向量提取模型的步驟，具體包括：
5.根據權利要求4所述的情緒識別方法，其特征在于，在執行所述將所述腦電波形信號的表征向量輸入到下游預訓練完成的情緒分類識別模型中，獲取所述情緒分類識別模型輸出的情緒分類結果的步驟之前，所述方法還包括：
<...【技術特征摘要】
1.一種情緒識別方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的情緒識別方法，其特征在于，在執行所述將所述腦電波形信號輸入到預訓練完成的特征向量提取模型，輸出所述腦電波形信號的表征向量的步驟之前，所述方法還包括：
3.根據權利要求2所述的情緒識別方法，其特征在于，所述將所述訓練數據集輸入到待訓練的基于改進型wav2vec2.0結構的波形信號特征向量提取模型中，并采用自監督學習方式對所述波形信號特征向量提取模型進行學習訓練，獲得所述預訓練完成的特征向量提取模型的步驟，具體包括：
4.根據權利要求3所述的情緒識別方法，其特征在于，所述根據所述表征向量第二提取結果和所述第二類訓練數據中所有腦電波形信號數據對應的情緒類別標注結果，對所述特征向量提取參數進行調整優化，獲得調整優化后的波形信號特征向量提取模型的步驟，具體包括：
5.根據權利要求4所述的情緒識別方法，其特征在于，在執行所述將所述腦電波形信號的表征向量輸入到下游預訓練完成的...
【專利技術屬性】
技術研發人員：張旭龍，王健宗，
申請(專利權)人：平安科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。