【技術實現步驟摘要】
本專利技術涉及多模態情感分析(multi-model?sentiment?analysis,msa)，尤其涉及一種基于圖文細粒度對齊的深度跳轉連接注意力多模態情感分析方法。
技術介紹
1、進入信息時代以來，社交媒體成為人們分享觀點、表達情感的重要工具，其中的多模態信息包含豐富的情緒信息，分析這些信息對理解用戶的情緒、態度、觀點具有重大意義。例如在商業和政治領域，情感分析能夠幫助企業理解消費者需求、定制產品和服務，幫助政府洞察公眾情緒、反映社會真實聲音。
2、不同模態的信息具有獨特特點和優勢，圖片能直觀呈現情緒表現，文字能通過情感詞匯反映更多情緒層次和細膩。多模態情感分析通過融合圖片、文字等不同模態的信息，能在更寬廣和深入的層次上理解情感表達，使情感分析結果更為準確客觀。
3、然而，在進行多模態情感分析時，將不同模態的特征直接拼接或融合的方法效果不佳且缺乏解釋性。在社交信息中，人們會關注圖片的局部明顯區域，再閱讀文本獲取情感描繪的詞語，綜合圖片和文本語句上下文，能感受到圖片區域和文本單詞的呼應關系，這種呼應關系蘊含情感。將不同模態之間的呼應部分對齊，挖掘并理解這種呼應關系，能提升多模態情感分析的準確性。但以往的研究工作在模態對齊上不夠精細，還需要進行額外的圖片物體檢測，且模型對文圖語義的關聯理解不夠充分。
4、因此，需要設計一種更加精細和有效的多模態情感分析方法，來實現模態間的精準對齊和深度融合，充分挖掘和理解圖文之間的呼應關系，提高情感分析的準確性和可解釋性。
技術
1、本專利技術的目的在于解決現有多模態情感分析方法在模態對齊上不夠精細、深度特征融合時易丟失重要信息以及對文圖語義關聯理解不充分的問題。
2、為實現上述目的，本專利技術提出了一種基于圖文細粒度對齊的深度跳轉連接注意力多模態情感分析方法。首先，將輸入圖文對轉化為相同維度的序列，接著再深度跨模態交互網絡中計算兩個序列的相似性，并進行模態信息的互補，使用跳轉連接注意力來傳遞重要的模態信息，避免再深度交互中丟失特征。交互完成的兩個序列在各自的自融合編碼器中，進行最后一輪的特征提取和內部表示的建構。
3、本專利技術提出的技術方案包括以下部分：
4、1多頭跳轉連接注意力機制：
5、1.1多頭跳轉連接注意力機制通過引入多頭機制來提高模型的細粒度特征捕捉能力。多頭注意力機制由多個獨立的注意力頭構成，每個注意力頭能夠并行地計算不同的注意力分布，從而在全局和局部信息捕捉上達到更好的平衡。通過這種方式，模型能夠更好地捕捉到不同層次的信息細節。
6、1.2此外，殘差連接的引入能夠有效緩解深層神經網絡在訓練中常遇到的梯度消失問題，通過直接將輸入信息與輸出信息進行相加操作，確保重要特征在向深層傳遞過程中不丟失，從而提升模型的表達能力與穩定性。
7、2跳轉連接注意力自適應控制門閥：
8、2.1跳轉連接注意力自適應控制門閥的設計在于優化注意力機制的選擇和分配，這一部分機制利用自適應的控制門閥來動態調整不同注意力頭的權重。具體而言，模型在處理過程中能夠根據輸入信息的不同，通過自適應調整門閥的開度，靈活自主地選擇并分配合適的注意力資源。這樣一來，不但提升了注意力機制的分配效率，并且在面對復雜多變的輸入情境時，模型能夠保持較高的適應性和泛化能力，從而保證了輸出結果的準確性和穩健性。
9、3深度交互網絡：
10、3.1深度交互網絡主要通過多層的非線性變換和特征交互實現，其作用在于充分融合不同模態的信息。在這種網絡結構中，每一層特征都可以與其他層的特征進行有效的交互與融合，以實現信息的深度結合。通過這種深層次的交互機制，模型能夠從多模態數據中抽取出更多有用的信息，實現更有效的信息整合，這種方法尤其在處理復雜的跨模態任務時表現出色。
11、4多模態情感預測：
12、4.1多模態情感預測是本專利技術的主要應用場景，其目的是利用上述技術方案，通過分析多個模態數據來準確預測情感狀態。具體來說，模型結合了文本、圖像、聲音等多模態信息，通過多模態數據的融合與交互分析，能夠提供更加準確和可靠的情感預測結果。多模態情感預測的優勢在于其能夠彌補單一模態信息不完整和不準確的缺陷，通過綜合考慮不同模態的信息，提供一個更加全面和立體的情感識別視角。
13、本專利技術通過基于跳轉連接注意力的跨模態深度交互模型實現細粒度的模態對齊，用于多模態情感分析，解決現有方法在模態對齊不精細、深度特征融合易丟失重要信息的問題。該模型摒棄使用圖像區域監督提取圖片特征的方式，將圖片劃分為細小區域序列與文本序列實現細粒度模態對齊，通過自適應門閥控制的跳轉連接注意力通道傳遞重要信息，深層特征融合提升模態間互補效果，提高了模型在多模態情感分析任務中的準確性和效率。
本文檔來自技高網...【技術保護點】
1.一種基于圖文細粒度對齊的深層跳轉連接注意力多模態情感分析方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于，所述圖文信息的特征提取步驟包括：
3.根據權利要求1所述的方法，其特征在于，所述定義深度跨語義表示空間交互步驟包括：
4.根據權利要求1所述的方法，其特征在于，所述自身內部模式融合構建器構建步驟包括：將像素塊圖示向量表征序列和文本語義向量表征序列作為輸入，首先最后一次計算各自序列內部元素的跳轉連接注意力，接著將特征使用正向傳播神經網絡進行非線性的特征變換，使模型學習到輸入特征的復雜非線性關系，正向傳播神經網絡由兩個全連接層組成，使用GELU作為神經元激活門閥，GELU函數的平滑非線性特性及生物學啟發等特點，使其在處理復雜任務時比傳統的函數有更出色的表現，同時進行層內參數歸一正則化，層內參數歸一正則化的加入進一步增強了對復雜情況的處理能力。
5.根據權利要求1所述的方法，其特征在于，所述多模態情感預測包括：
【技術特征摘要】
1.一種基于圖文細粒度對齊的深層跳轉連接注意力多模態情感分析方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于，所述圖文信息的特征提取步驟包括：
3.根據權利要求1所述的方法，其特征在于，所述定義深度跨語義表示空間交互步驟包括：
4.根據權利要求1所述的方法，其特征在于，所述自身內部模式融合構建器構建步驟包括：將像素塊圖示向量表征序列和文本語義向量表征序列作為輸入，首先最后一次計算各自序...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。