【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及自然語言處理，具體涉及一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法及分類方法。
技術(shù)介紹
1、社交媒體是用戶分享體驗(yàn)和意見的核心平臺(tái)，提供了豐富的多模態(tài)數(shù)據(jù)，包括文本、圖像和視頻，為情感分析提供了新機(jī)遇。多模態(tài)內(nèi)容的吸引力在于其直觀性，例如用戶在購(gòu)買產(chǎn)品之前會(huì)先瀏覽產(chǎn)品評(píng)論，圖像和視頻能更清晰地展示產(chǎn)品特性，對(duì)消費(fèi)者決策有顯著影響。
2、多模態(tài)情感分析通過綜合分析不同模態(tài)的數(shù)據(jù)，全面理解用戶情緒，對(duì)品牌監(jiān)控、輿論分析等有重要應(yīng)用價(jià)值。它幫助把握消費(fèi)者的需求和偏好，優(yōu)化產(chǎn)品和市場(chǎng)策略。多模態(tài)情感分析包含情感分類、反諷識(shí)別、時(shí)序分析等子任務(wù)。其中，情感分類是基礎(chǔ)，而多模態(tài)目標(biāo)級(jí)情感分類（tmsc）是情感分類的一項(xiàng)細(xì)粒度任務(wù)，專注于根據(jù)多模態(tài)內(nèi)容，對(duì)特定目標(biāo)的情感判斷。
3、現(xiàn)有的tmsc研究根據(jù)目標(biāo)類型，以分散的方式從方面級(jí)和實(shí)體級(jí)兩個(gè)任務(wù)開展。這是因?yàn)榉矫姹旧砭哂姓Z義，可以作為單獨(dú)的文本輸入，而實(shí)體類型的核心是如何借助實(shí)體的上下文更好地理解其語義信息。tmsc的研究進(jìn)展顯著，從長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)到基于bert的和bart的預(yù)訓(xùn)練模型，展現(xiàn)了深度學(xué)習(xí)和多模態(tài)技術(shù)的發(fā)展。
4、網(wǎng)絡(luò)語言的自由表達(dá)特性和邏輯約束弱的特點(diǎn)對(duì)情感分析模型的魯棒性提出了更高要求。與傳統(tǒng)書面語不同，網(wǎng)絡(luò)語言的靈活性和隨意性要求模型能夠適應(yīng)不斷變化的語言使用習(xí)慣。
5、傳統(tǒng)的評(píng)估nlp(?natural?language?processing,?自然語言處理)模型魯棒性的方法包括對(duì)抗性攻擊和數(shù)據(jù)分布偏移等方法
6、在多模態(tài)目標(biāo)級(jí)情感分類領(lǐng)域，研究者們致力于探索如何有效融合文本和圖像特征，以實(shí)現(xiàn)情感的準(zhǔn)確預(yù)測(cè)。盡管現(xiàn)有技術(shù)已取得進(jìn)展，但仍面臨如何集成處理不同目標(biāo)類型、如何提升模型對(duì)網(wǎng)絡(luò)語言的魯棒性等挑戰(zhàn)。
7、綜上，現(xiàn)有的多模態(tài)目標(biāo)級(jí)情感分類方法存在著無法有效地對(duì)模型的魯棒性進(jìn)行分析的問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，有必要提供一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法及分類方法，用以解決現(xiàn)有的多模態(tài)目標(biāo)級(jí)情感分類方法存在著無法有效地對(duì)模型的魯棒性進(jìn)行分析的技術(shù)問題。
2、為了解決上述問題，一方面，本專利技術(shù)提供了一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，包括：
3、獲取原始輸入集，基于所述原始輸入集以及目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集；所述原始輸入集中包括文本和圖像；
4、將所述原始輸入集和所述新輸入集分別輸入至初始的多模態(tài)生成式情感分析模型，得到情感標(biāo)簽；
5、基于所述情感標(biāo)簽從所述原始輸入集和所述新輸入集中選取符合預(yù)期的數(shù)據(jù)，構(gòu)建訓(xùn)練集；
6、基于所述訓(xùn)練集和所述訓(xùn)練集對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練所述多模態(tài)生成式情感分析模型，得到新的多模態(tài)生成式情感分析模型。
7、在一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)蛻變關(guān)系，包括：
8、句子順序變動(dòng)下的一致性目標(biāo)蛻變關(guān)系、關(guān)鍵句重定位下的一致性目標(biāo)蛻變關(guān)系、實(shí)體替換下的一致性目標(biāo)蛻變關(guān)系，以及修飾詞反轉(zhuǎn)下的不一致性目標(biāo)蛻變關(guān)系。
9、在一種可能的實(shí)現(xiàn)方式中，所述初始的多模態(tài)生成式情感分析模型為多層注意力網(wǎng)絡(luò)；基于所述訓(xùn)練集和所述訓(xùn)練集對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練所述多模態(tài)生成式情感分析模型，得到新的多模態(tài)生成式情感分析模型，包括：
10、將所述訓(xùn)練集中的文本輸入至任務(wù)轉(zhuǎn)述多層感知機(jī)，得到新文本集，并對(duì)所述新文本集進(jìn)行特征提取，得到文本特征；
11、對(duì)所述訓(xùn)練集中的圖像添加連續(xù)提示，得到新圖像集，并對(duì)所述新圖像集進(jìn)行特征提取，得到圖像特征；
12、基于所述文本特征、所述圖像特征和對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練多層注意力網(wǎng)絡(luò)，得到新的多模態(tài)生成式情感分析模型。
13、在一種可能的實(shí)現(xiàn)方式中，基于所述文本特征、所述圖像特征和對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練多層注意力網(wǎng)絡(luò)，得到新的多模態(tài)生成式情感分析模型，包括：
14、將所述文本特征和所述圖像特征輸入至多層注意力網(wǎng)絡(luò)，以對(duì)多層注意力網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在訓(xùn)練過程中，將多層注意力網(wǎng)絡(luò)輸出的文本模態(tài)特征和圖像模態(tài)特征進(jìn)行交叉注意融合，得到多模態(tài)融合特征；
15、基于所述多模態(tài)融合特征，確定預(yù)測(cè)的情感標(biāo)簽與所述文本特征和所述圖像特征對(duì)應(yīng)的真實(shí)情感標(biāo)簽之間的交叉熵?fù)p失；
16、基于所述交叉熵?fù)p失，優(yōu)化訓(xùn)練后的多層注意力網(wǎng)絡(luò)，得到新的多模態(tài)生成式情感分析模型。
17、在一種可能的實(shí)現(xiàn)方式中，基于所述多模態(tài)融合特征，確定預(yù)測(cè)的情感標(biāo)簽與所述文本特征和所述圖像特征對(duì)應(yīng)的真實(shí)情感標(biāo)簽之間的交叉熵?fù)p失，包括：
18、將所述多模態(tài)融合特征的隱狀態(tài)輸入至轉(zhuǎn)述多層感知機(jī)，得到預(yù)測(cè)分?jǐn)?shù)概率；
19、基于所述預(yù)測(cè)分?jǐn)?shù)概率，計(jì)算得到預(yù)測(cè)的情感標(biāo)簽與所述文本特征和所述圖像特征對(duì)應(yīng)的真實(shí)情感標(biāo)簽之間的交叉熵?fù)p失。
20、在一種可能的實(shí)現(xiàn)方式中，基于所述原始輸入集以及目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集，包括：
21、在所述原始輸入集為文本的情況下，基于任務(wù)描述生成所述原始輸入集的種子提示和關(guān)鍵字；
22、從所述種子提示中派生出與任務(wù)最相關(guān)的轉(zhuǎn)述提示；
23、基于所述轉(zhuǎn)述提示、所述關(guān)鍵字和所述原始輸入集，并結(jié)合目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集。
24、在一種可能的實(shí)現(xiàn)方式中，基于所述原始輸入集以及目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集，包括：
25、在所述原始輸入集為圖像的情況下，將所述原始輸入集劃分為多個(gè)區(qū)域，并為每個(gè)區(qū)域初始化一個(gè)向量，得到一系列的連續(xù)向量；
26、基于所述連續(xù)向量和目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集。
27、在一種可能的實(shí)現(xiàn)方式中，基于所述連續(xù)向量和目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集，包括：
28、基于所述原始輸入集中圖像嵌入的初始向量作為連續(xù)向量的前綴；
29、基于所述連續(xù)向量和所述連續(xù)向量的前綴，并結(jié)合目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集。
30、另一方面，本專利技術(shù)還提供一種多模態(tài)情感分類方法，包括：
31、獲取待識(shí)別的數(shù)據(jù)集；
32、將所述待識(shí)別的數(shù)據(jù)集輸入至上述任一項(xiàng)所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法得到的多模態(tài)生成式情感分析模型中，得到情感類型。
33、另一方面，本專利技術(shù)還提供一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)裝置，包括：
34、數(shù)據(jù)獲取模塊，用于獲取原始輸入集，基于所述原始輸入集以及目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集；所述原始輸入集中包括文本和圖像；
35、標(biāo)簽提取模塊，用于將所述原始輸入集和所述新輸入集分別輸入至初始的多模態(tài)生成式情感分析模型，得到情感標(biāo)簽；
36、訓(xùn)練集構(gòu)建模塊，用于基于所述情感標(biāo)簽從所述原始輸入集和所述新輸入集中選取符合預(yù)期的數(shù)據(jù)，構(gòu)建訓(xùn)練集；
37、模型訓(xùn)練模塊，本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，所述目標(biāo)蛻變關(guān)系，包括：
3.根據(jù)權(quán)利要求1所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，所述初始的多模態(tài)生成式情感分析模型為多層注意力網(wǎng)絡(luò)；
4.根據(jù)權(quán)利要求3所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述文本特征、所述圖像特征和對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練多層注意力網(wǎng)絡(luò)，得到新的多模態(tài)生成式情感分析模型，包括：
5.根據(jù)權(quán)利要求4所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述多模態(tài)融合特征，確定預(yù)測(cè)的情感標(biāo)簽與所述文本特征和所述圖像特征對(duì)應(yīng)的真實(shí)情感標(biāo)簽之間的交叉熵?fù)p失，包括：
6.根據(jù)權(quán)利要求1所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述原始輸入集以及目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集，包括：
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述原始輸入集以及目標(biāo)蛻
8.根據(jù)權(quán)利要求7所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述連續(xù)向量和目標(biāo)蛻變關(guān)系，構(gòu)建新輸入集，包括：
9.一種多模態(tài)情感分類方法，其特征在于，包括：
10.一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)裝置，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，所述目標(biāo)蛻變關(guān)系，包括：
3.根據(jù)權(quán)利要求1所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，所述初始的多模態(tài)生成式情感分析模型為多層注意力網(wǎng)絡(luò)；
4.根據(jù)權(quán)利要求3所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述文本特征、所述圖像特征和對(duì)應(yīng)的情感標(biāo)簽訓(xùn)練多層注意力網(wǎng)絡(luò)，得到新的多模態(tài)生成式情感分析模型，包括：
5.根據(jù)權(quán)利要求4所述的多模態(tài)生成式情感分析模型的魯棒增強(qiáng)方法，其特征在于，基于所述多模態(tài)融合特征，確定預(yù)測(cè)的情感標(biāo)簽與所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李琳，王紫辰，袁景凌，
申請(qǐng)(專利權(quán))人：武漢理工大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。