【技術實現步驟摘要】
基于文本和圖像門控融合機制的多模態方面級情感分析方法
[0001]本專利技術涉及多模態方面級情感分析
，尤其涉及一種基于文本和圖像門控融合機制的多模態方面級情感分析方法
。
技術介紹
[0002]隨著互聯網技術的飛速發展，人們逐漸開始參與網絡上的各類活動并在線分享自身的觀點和看法
。
目前，社交媒體和眾多服務平臺在人們日常生活中廣泛普及，同時用戶針對不同話題和事件逐漸傾向于發布文本和圖像等相結合的多模態信息來表達自身的情感，這一趨勢吸引了學術界對多模態情感分析研究的廣泛關注
。
近年來，多模態情感分析已成為情感計算領域的研究熱點
。
[0003]多模態方面級情感分析
(Multimodal Aspect
?
Based Sentiment Analysis
，
MABSA)
是多模態情感分析研究中一項重要的細粒度任務，其通過選定文本中的某些名詞作為方面實體并結合文本和圖像內容進一步推斷該方面實體的情感極性
。
圖1展示了一個具有代表性的示例，其中方面實體為文本中的“Klay Thompson”，我們可以通過文本外加圖像信息的輔助進而預測出方面實體消極的情感極性
。
相較于多模態全局情感分析，多模態方面級情感分析是一項更加精細
、
更具挑戰性的情感分析任務，其可以捕獲全局情感分析所無法獲取的文本內部實體的情感極性
。
[0004]鑒于該領域的重要性...
【技術保護點】
【技術特征摘要】
1.
一種基于文本和圖像門控融合機制的多模態方面級情感分析方法，其特征在于，包括：步驟1：通過采用語言和圖像兩類預訓練模型分別對單模態的文本和圖像特征進行提取，獲得方面實體表示和圖像的特征表示；步驟2：根據獲得的方面實體表示和圖像的特征表示，通過引入多模態交互層獲得方面實體感知的圖像表示；步驟3：引入
DeepSentiBank
對圖像所提取的形容詞
?
名詞對，從另一個層面生成圖像的語義表示，獲得方面實體的圖像輔助信息表示；步驟4：將獲得的方面實體表示
、
方面實體感知的圖像表示以及方面實體的圖像輔助信息表示通過進行融合獲得方面實體的最終表示，進而實現情感預測
。2.
根據權利要求1所述的基于文本和圖像門控融合機制的多模態方面級情感分析方法，其特征在于，所述步驟1中，對于文本編碼，采用預訓練語言模型
RoBERTa
作為文本編碼器，獲得上下文感知的方面實體表示
。3.
根據權利要求1所述的基于文本和圖像門控融合機制的多模態方面級情感分析方法，其特征在于，所述步驟1中，對于圖像編碼，采用殘差網絡作為圖像編碼器，獲得圖像的視覺表示，并通過線性變換將圖像的視覺表示轉換為與文本表示相同的維度，得到圖像的特征表示
。4.
根據權利要求1所述的基于文本和圖像門控融合機制的多模態方面級情感分析方法，其特征在于，所述步驟2包括：首先對方面實體和圖像做跨模態特征交互，將方面實體表示作為查詢向量，將圖像表示作為鍵向量和值向量；將
m
個頭部的多頭跨模態注意力機制輸出拼接并進行線性變換獲得多頭跨模態注意力機制的最終輸出；最后，將多頭跨模態注意力機制輸出經過兩個層歸一化和一個前饋網絡進而獲得方面實體感知的圖像表示
。5.
根據權利要求1所述的基于文本和圖像門控融合機制的多模態方面級情感分析方法，其特征在于，所述步驟3包括：從
DeepSentiBank
對圖像所提取的形容詞
?
名詞對中選擇置信度排名靠前的
k
個形容詞
?
名詞對；首先對上述所選擇的
k
個形容詞
?
名詞對中的形容詞和名詞分別進行拼接并送入文本編碼器獲得形容詞表示
H
A
以及名詞表示
H
N
，然后采用余弦相似度計算方面實體表示
H
T
和名詞表示
H
N
之間的語義相似程度，進而實現方面實體與形容詞
?
名詞對中名詞的對齊：其中
α
是
H
T
和
H
N
的相似度得分；對
H
A
中的每一個形容詞個體賦予其所對應的名詞和方面實體表示的相似度權重作為圖像輔助信息，進而通過文本編碼器獲得方面實體的圖像輔助信息表示：
H
T
→
A
＝
α
·
H
A
。6....
【專利技術屬性】
技術研發人員：張添植，周剛，劉洪波，劉鑠，陳靜，
申請(專利權)人：中國人民解放軍戰略支援部隊信息工程大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。