【技術實現步驟摘要】
本專利技術涉及情緒識別，具體涉及一種基于情緒向量的復雜情緒表示和感知方法。
技術介紹
1、在真實場景中，語音中的情緒具備天然的復雜性，對其的感知也具有一定程度的模糊性。然而，現有的語音情緒識別(ser)方法僅對一段語音給出單一的情緒分類結果，無法精準表示語音的復雜情緒。為此，本專利技術提出了基于情緒向量的復雜情緒表示和感知方法，并基于此從情緒表示、數據處理、情緒感知3個方面展開研究和實驗。
2、在現有的情緒表示方法中，情緒分布標簽與情緒向量最為相似，都是以向量形式表示情緒類別和成分。但向量成分的含義不同。情緒分布標簽的向量成分表示情緒之間的相對差異，而情緒向量中的向量成分表示元情緒的強度或者程度。在情緒分布標簽中，∑y必須等于1，這忽略了對真實情緒成分的測量。例如，語音a同時包含弱憤怒和弱悲傷，語音b包含強烈的憤怒和強烈的悲傷，但它們的情緒分布標簽都表示為[0.5,0.5,0,0]。然而，情緒向量可以用諸如[0.3,0.3,0,0]和[0.8,0.8,0,0]來表示不同情緒的強度。
3、在人工智能中，迭代學習是一種通過反復利用學習過程中的反饋來逐步提高模型或算法性能的學習方法。具體地，在情緒識別任務中，由于人類情緒感知的主觀性差異，標注者很難準確標注語音/人臉中所有的情緒類別及其成分的多少。這些因素導致現有情緒數據集中的情緒標簽是粗糙的，例如硬標簽。迭代學習為““粗糙的情緒標簽的學習”提供了一種簡單有效的解決方案。
4、現有的迭代式自學習范式在ser任務中存在一定的缺陷：
5、缺陷
6、缺陷2、忽略了不可靠數據對迭代訓練的影響。在每次迭代中，模型誤判或人工標注錯誤的樣本會被重復用于訓練，阻礙模型收斂。
7、缺陷3、迭代停止機制存在缺陷。由于不同情緒類別的識別難度不同，采用多標簽分類器作為骨干網絡的迭代模型無法確保所有情緒類別的模型參數同時達到最優收斂狀態。
8、現有專利申請(cn104036776a)公開了一種用以提取語音情緒信息的方法，其特征在于通過數據采集或通信過程，由移動電話、計算機、錄音筆等設備采集或傳輸語音數據，并由說話人無關及說話人相關兩種方法識別說話人情緒。其中語音數據庫部分作為訓練情緒識別器的基準，包含至少一個情緒語音數據庫；語音情緒建模部分用以建立作為情緒識別器的語音情緒模型，通過統計學方式調整內部參數從而識別語音信號中的情緒。該方法能夠以描述基本情緒的一組特殊參數來識別其他復雜情緒。
技術實現思路
1、為了解決上述問題，本專利技術提供一種基于情緒向量的復雜情緒表示和感知方法，并從情緒表示、數據處理、情緒感知3個方面展開研究和實驗證明。對于情緒表示，針對現有情緒表示方法的不可靠性，提出了一種復雜情緒的精準表征方法——情緒向量。情緒向量通過多個元情緒元素(基礎情緒)來表示任意單一或復雜情緒。對于情緒感知，本文提出了一種基于迭代自學習的元情緒檢測算法，以提高情緒感知與實際情緒的逼進程度。對于數據處理，為了引導模型模擬人類的情緒感知能力，提出了一種基于人機共識和課程學習(hmcc)的數據選擇方法。
2、本專利技術提供一種基于情緒向量的復雜情緒表示和感知方法，包括以下步驟：
3、s1、錄制復雜情緒語音數據庫，并為語音標注包含所有情緒類別及其強度信息的情緒向量，將其作為復雜情緒感知的基準；
4、s2、通過所述復雜情緒語音數據庫為每種元情緒設計一個基于迭代自學習算法的元情緒檢測模型；
5、s3、獲取待測試語音樣本；
6、s4、將所述待測試語音樣本依次導入所述的基于迭代自學習算法的元情緒檢測模型；
7、s5、得出每種元情緒的強度，并將其組會成情緒向量表示。
8、本專利技術所述的一種基于情緒向量的復雜情緒表示和感知方法。該方法提出了一種基于迭代自學習的元情緒檢測算法(meta-emotion?detection?algorithm?based?oniterative?self-learning，isl-med)。isl-med包括一個訓練階段和一個驗證/測試階段。在訓練階段，isl-med由四個獨立的元情緒檢測器(ed)組成：憤怒、悲傷、激動和快樂。所有的元情緒檢測器采用相同的訓練過程和骨干網絡，唯一的區別是它們的訓練數據。每個元情緒檢測器由初始訓練模塊和多個迭代自學習模塊組成。在初始訓練模塊中，訓練集被分為兩部分：包含特定情緒樣本的正類集和不包含這些情緒樣本的負類集。初始訓練模塊使用手動硬標簽訓練元情緒檢測器。然后，使用多個迭代自學習模塊對先前的元情緒檢測器進行更新。迭代自學習模塊包括數據選擇、標簽更新和模型訓練。在驗證和測試階段，將檢測結果組合為一個情緒向量，以表示復雜情緒感知的結果。在測試集上，基于標注情緒向量與感知情緒向量之間的距離或損失度量，如余弦距離、kl散度，對情緒感知結果進行評估。在驗證集上，當連續兩個感知情緒向量之間的評價指標總體變化率低于停止閾值α時，迭代停止；否則，訓練過程繼續。
9、以憤怒檢測器為例來說明迭代自學習過程。在初始訓練模塊中，將訓練集s1(上標表示第1輪迭代所用的訓練數據)中包含“生氣”的樣本歸為正類，不包含“生氣”的樣本歸為負類。用人工標注的硬標簽作為監督信息訓練由于這是一個回歸任務，因此我們采用二元交叉熵作為損失函數：
10、
11、其中，yi是第i個樣本的真實標簽，yi'是模型預測第i個樣本為正類的置信度。n是當前輪次訓練樣本數。
12、從第t輪(t≥2)，迭代訓練模塊開始，利用對原始訓練集s1進行預測得到訓練數據中間態st′：
13、
14、st′＝{x1,yt-1},yt-1∈[0,1]
15、執行所述數據選擇操作，st′由數據選擇器ft處理，它選擇合適的訓練數據：
16、st″＝ft(st′)
17、st″＝{xt,yt-1},xt∈x1
18、執行所述標簽更新操作，直接使用前一輪迭代產生的預測結果，或者將人工硬標簽添與前一輪迭代產生的預測結果加權后作為前一輪迭代產生的預測：
19、st＝{xt,yt}
20、執行所述模型訓練操作，利用上述產生的st作為第t輪迭代的訓練數據，產生
21、本專利技術所述的一種基于情緒向量的復雜情緒表示和感知方法，作為優選方式，數據選擇包括基于人機共識的數據選擇方法和基于課程學習的數據選擇方法；基于人機共識的數據選擇方法選取人機情緒判斷一致的樣本進行迭代自學習；基于課程學習的數據選擇方法首先學習情緒顯著的簡單樣本，然后逐步學習情緒模糊的困難樣本，簡單樣本為能被模型預測正確且置信度高的樣本，困難樣本為能被預測正確但置信度本文檔來自技高網...
【技術保護點】
1.一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：情緒向量Y＝[Y1,Y2,…,YK]由K個維度的元情緒元素組成；每個元情緒元素對應著人類的基本情緒，例如生氣、悲傷和高興；緒向量能夠表示包含兩種或多種元情緒的復雜情緒；其中，Yj＝[0,1]表示元情緒的強度或者程度，
3.根據權利要求1所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：情緒向量通過控制不同元情緒元素的強度值表示任意單一或者復雜情緒；所述元情緒檢測模型包括生氣、悲傷、激動、高興四個獨立的元情緒檢測器；在訓練階段，所述元情緒檢測器都具有相同的訓練過程和網絡架構，所述元情緒檢測器均包含一個初始訓練模塊和多個迭代自學習模塊；在測試階段，所述待測試語音樣本依次通過所述四個元情緒檢測器，將來自所有所述元情緒檢測器的結果組合成感知的情緒向量，通過比較所述感知的向量與標注的情緒向量之間的距離來評估所述迭代式自學習多情緒檢測模型性能，當相鄰迭代模型感知的情緒向量之間的總體度量變化率低于停止閾值α時，
4.根據權利要求3所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：每個所述元情緒檢測器包含一個初始訓練模塊和多個迭代自學習模塊；所述初始化訓練模塊中，包含某種情緒的樣本定義為正類訓練集，不包含該情緒的樣本定義為負類訓練集，并以人工標注的硬標簽為監督信息；所述迭代自學習模塊以所述初始化訓練模塊的輸出作為監督信息。
5.根據專利要求4所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：所述迭代自學習模塊運行步驟包括三個步驟：數據選擇、標簽更新和模型訓練；在數據選擇中，基于人機共識和課程學習的數據選擇方法，該方法選擇人與機器情緒判斷一致的樣本參與一下輪迭代自學習模塊的運行；同時，按照樣本檢測難度由易到難的順序參與所述迭代自學習訓練過程。
6.根據權利要求5所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：憤怒情緒檢測器的訓練過程包括以下步驟：
7.根據權利要求5所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：所述數據選擇包括基于人機共識的數據選擇方法和基于課程學習的數據選擇方法；所述基于人機共識的數據選擇方法選取人機情緒判斷一致的樣本進行迭代自學習；所述基于課程學習的數據選擇方法首先學習情緒顯著的簡單樣本，然后逐步學習情緒模糊的困難樣本，所述簡單樣本為能被模型預測正確且置信度高的樣本，所述困難樣本為能被預測正確但置信度低的樣本，所述樣本難度通過樣本選擇閾值β來控制。
8.根據權利要求5所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：所述基于人機共識的數據選擇方法具體步驟如下：
9.根據權利要求5所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：所述基于課程學習的數據選擇方法通過控制樣本選擇閾值β，來控制樣本所選擇的樣本的難度；對于S1中的正樣本，當β越大，表示的熵值越低，該樣本更容易被正確預測；當β越低時，表示更難以被準確預測。對于S1中的負樣本，當1-β越低時，表示的預測熵值較低，該樣本更容易被正確預測。當1-β較高時，表示更難以被準確預測；
...【技術特征摘要】
1.一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：情緒向量y＝[y1,y2,…,yk]由k個維度的元情緒元素組成；每個元情緒元素對應著人類的基本情緒，例如生氣、悲傷和高興；緒向量能夠表示包含兩種或多種元情緒的復雜情緒；其中，yj＝[0,1]表示元情緒的強度或者程度，
3.根據權利要求1所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：情緒向量通過控制不同元情緒元素的強度值表示任意單一或者復雜情緒；所述元情緒檢測模型包括生氣、悲傷、激動、高興四個獨立的元情緒檢測器；在訓練階段，所述元情緒檢測器都具有相同的訓練過程和網絡架構，所述元情緒檢測器均包含一個初始訓練模塊和多個迭代自學習模塊；在測試階段，所述待測試語音樣本依次通過所述四個元情緒檢測器，將來自所有所述元情緒檢測器的結果組合成感知的情緒向量，通過比較所述感知的向量與標注的情緒向量之間的距離來評估所述迭代式自學習多情緒檢測模型性能，當相鄰迭代模型感知的情緒向量之間的總體度量變化率低于停止閾值α時，迭代過程終止；否則，繼續迭代。
4.根據權利要求3所述的一種基于情緒向量的復雜情緒表示和感知方法，其特征在于：每個所述元情緒檢測器包含一個初始訓練模塊和多個迭代自學習模塊；所述初始化訓練模塊中，包含某種情緒的樣本定義為正類訓練集，不包含該情緒的樣本定義為負類訓練集，并以人工標注的硬標簽為監督信息；所述迭代自學習模塊以所述初始化訓練模塊的輸出作為監督信息。
5.根據專利要求4所述的一種基于情緒向...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。