【技術實現步驟摘要】
本專利技術涉及多模態情感分析，更具體的說是涉及一種圖結構優化和表征分離的多模態情感分析方法及系統。
技術介紹
1、作為人工智能領域的關鍵技術，情感分析可以提高機器智能感知能力，改善人機交互質量，推動可穿戴智能設備、數字家庭智能終端設備、智能感知與控制設備的迭代升級，具有重要意義?，F如今，單模態數據所提供的信息已經不能滿足智能系統感知與理解世界的需求，旨在模擬人類認知對多模態輸入進行高效感知與綜合理解的多模態認知計算成為實現通用人工智能的關鍵，情感分析也從最初的單模態分析逐漸發展為多模態情感分析。
2、多模態情感分析其核心在于建立多模態數據與情感極性之間的可靠映射。該任務著眼于從文本、視覺、音頻等多模態序列中學習人的情感信息，挖掘模態間的情感關聯和復雜關系。相關技術已嘗試通過構建基于深度學習的復雜模型來融合異構數據的情感信息，促進多模態數據之間的信息交互。這些方法雖取得了一定的成效，但仍有諸多挑戰和技術瓶頸。
3、首先，如何學習有效的表征成為一大難點。眾多現有方法都利用注意力機制進行模態表征學習，這種方法并未明確對模態內部復雜性關系進行建模，導致模型無法充分利用各模態內的完整表征信息。其次，不同模態數據間存在異構性，導致情感信息的表示分布存在差異。這種差異直接影響了模態交互過程中情感信息的提取，進而影響了多模態融合結果。此外，另一大難題是如何充分挖掘情感相關信息同時抑制無關信息的干擾。現有方法在研究過程中更多考慮去除模態間噪聲信息，而忽略了經過交互后模態所蘊含的情感弱相關信息，這可能導致模型的精度和泛化能力
4、因此，如何提出一種圖結構優化和表征分離的多模態情感分析方法及系統，提高模態內和模態間關聯信息提取效果，挖掘模態交互后的情感相關信息，提升多模態情感分析的準確性和魯棒性是本領域技術人員亟需解決的問題。
技術實現思路
1、有鑒于此，本專利技術提供了一種圖結構優化和表征分離的多模態情感分析方法及系統，提高模態內和模態間關聯信息提取效果，挖掘模態交互后的情感相關信息，提升多模態情感分析的準確性和魯棒性，為了實現上述目的，本專利技術采用如下技術方案：
2、一種圖結構優化和表征分離的多模態情感分析方法，包括：
3、將原始視頻數據進行處理得到攜帶時間序列信息的多模態表征；
4、對多模態表征進行樣本間數據增強；
5、將樣本間數據增強后的多模態表征進行上下文交互處理，得到上下文交互增強多模態表征；
6、將上下文交互增強多模態表征進行情感表征解耦處理，得到蘊含情感信息的多模態表征；
7、根據蘊含情感信息的多模態表征進行情感預測，得到最終的情感預測結果。
8、可選的，所述多模態表征包括：文本模態表征、音頻模態表征和視覺模態表征。
9、可選的，所述得到攜帶時間序列信息的多模態表征包括：
10、將一段原始視頻數據劃分為多個短視頻片段；
11、從多個短視頻片段中提取文本模態的話語級表征、音頻模態的話語級表征和視覺模態的話語級表征；
12、利用量子長短期記憶網絡分析文本模態的話語級表征、音頻模態的話語級表征和視覺模態的話語級表征與其他視頻片段表征之間的時間序列關聯信息，將關聯信息與話語級表征融合獲得各個模態的表征。
13、可選的，所述對多模態表征進行樣本間數據增強包括：
14、將視覺模態表征輸入圖卷積網絡，通過節點之間的相關性計算出鄰接矩陣，再利用約束條件對圖鄰接矩陣進行優化，獲得樣本間數據增強后的視覺模態表征；
15、將文本模態表征、音頻模態表征輸入圖注意力網絡，通過相似度計算約束低相關性節點之間的特征表達，構建樣本間的關系網絡，獲得樣本間數據增強后的文本模態表征和樣本間數據增強后的音頻模態表征。
16、可選的，所述構建樣本間的關系網絡包括：
17、用兩個樣本的特征計算余弦相似度獲得樣本間的相關性；
18、用兩個樣本的真實標簽計算標簽的絕對差值獲得樣本間的情緒差值；
19、相似度閾值和情感閾值均為網絡參數；
20、通過比較樣本間的相關性與相似度閾值之間的差值以及樣本間的情緒差值與情感閾值之間的差值，建立樣本間的關系網絡。
21、可選的，所述得到上下文交互增強多模態表征包括：
22、將樣本間數據增強后的文本模態表征與樣本間數據增強后的音頻模態表征聯合輸入量子啟發的跨模態注意力網絡，獲得上下文交互增強音頻模態表征；
23、將樣本間數據增強后的文本模態表征與樣本間數據增強后的視覺模態表征聯合輸入量子啟發的跨模態注意力網絡，獲得上下文交互增強視覺模態表征；
24、將樣本間數據增強后的音頻模態表征與樣本間數據增強后的視覺模態表征拼接與樣本間數據增強后的文本表征輸入正負相關注意力網絡，獲得上下文交互增強文本模態表征。
25、可選的，所述得到蘊含情感信息的多模態表征包括：
26、將上下文交互增強文本模態表征與上下文交互增強音頻模態表征聯合輸入情感特征融合網絡獲得文本-音頻模態信息；
27、將上下文交互增強文本模態表征與上下文交互增強視覺模態表征聯合輸入情感特征融合網絡獲得文本-視覺模態信息；
28、將文本-音頻模態信息和文本-視覺模態信息合并獲得情感強相關信息；
29、將上下文交互增強文本模態表征、上下文交互增強音頻模態表征和上下文交互增強視覺模態表征分別與情感強相關信息輸入獨立編碼器，獲得文本情感弱相關信息、音頻情感弱相關信息和視覺情感弱相關信息；
30、將情感強相關信息分別與文本情感弱相關信息、音頻情感弱相關信息和視覺情感弱相關信息進行加權求和獲得蘊含情感信息的各個模態表征。
31、可選的，所述得到最終的情感預測結果包括：
32、將蘊含情感信息的文本模態表征、蘊含情感信息的音頻模態表征和蘊含情感信息的視覺模態表征拼接起來構成融合向量；
33、將融合向量輸入預測網絡的第一部分，通過神經網絡學習各個模態特征的權重，獲得權重融合向量；
34、將權重融合向量輸入預測網絡的第二部分，逐步對模態信息進行降維，最終獲得視頻數據的情感預測結果。
35、可選的，一種圖結構優化和表征分離的多模態情感分析系統，包括：
36、預處理模塊：用于將原始視頻數據進行處理得到攜帶時間序列信息的多模態表征；
37、樣本間數據增強模塊：用于對多模態表征進行樣本間數據增強；
38、上下文交互處理模塊：用于將樣本間數據增強后的多模態表征進行上下文交互處理，得到上下文交互增強多模態表征；
39、情感表征解耦處理模塊：用于將上下文交互增強多模態表征進行本文檔來自技高網...
【技術保護點】
1.一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，包括：
2.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述多模態表征包括：文本模態表征、音頻模態表征和視覺模態表征。
3.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述得到攜帶時間序列信息的多模態表征包括：
4.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述對多模態表征進行樣本間數據增強包括：
5.根據權利要求4所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述構建樣本間的關系網絡包括：
6.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述得到上下文交互增強多模態表征包括：
7.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述得到蘊含情感信息的多模態表征包括：
8.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述
9.一種圖結構優化和表征分離的多模態情感分析系統，其特征在于，包括：
...【技術特征摘要】
1.一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，包括：
2.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述多模態表征包括：文本模態表征、音頻模態表征和視覺模態表征。
3.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述得到攜帶時間序列信息的多模態表征包括：
4.根據權利要求1所述的一種圖結構優化和表征分離的多模態情感分析方法，其特征在于，所述對多模態表征進行樣本間數據增強包括：
5.根據權利要求4所述的一種圖結構優化...
【專利技術屬性】
技術研發人員：李祖賀，郭翔，王春秀，張永霞，吳懷廣，庾俊，陳浩然，高一凡，許志杰，潘昱杉，
申請(專利權)人：鄭州輕工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。