【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，具體涉及一種多模態(tài)情感分類模型訓(xùn)練方法及多模態(tài)情感分類方法。
技術(shù)介紹
1、面向目標(biāo)的多模態(tài)情感分類是近年來自然語言處理和計算機(jī)視覺領(lǐng)域的一個熱門研究方向，旨在從多模態(tài)數(shù)據(jù)(如文本、圖像、音頻等)中自動識別出目標(biāo)的情感狀態(tài)，廣泛應(yīng)用于情感計算、社會媒體分析、虛擬助手等場景。與傳統(tǒng)的單模態(tài)情感分析不同，面向目標(biāo)的多模態(tài)情感分類利用來自不同模態(tài)的數(shù)據(jù)，融合多源信息，能夠更全面地理解和推斷目標(biāo)的情感狀態(tài)，提升分析的準(zhǔn)確性和魯棒性。
2、近年來，隨著深度學(xué)習(xí)等技術(shù)的發(fā)展，多模態(tài)情感分析技術(shù)取得了顯著進(jìn)展。通過利用卷積神經(jīng)網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)等深度學(xué)習(xí)模型，研究者能夠從大量數(shù)據(jù)中自動學(xué)習(xí)到多模態(tài)特征，顯著提高了情感分析的魯棒性與準(zhǔn)確性。
3、然而，現(xiàn)有的多模態(tài)情感分析方法仍然面臨關(guān)鍵挑戰(zhàn)，即模態(tài)內(nèi)和不同模態(tài)之間的虛假關(guān)聯(lián)問題。在情感分析中，虛假關(guān)聯(lián)問題是指模型在學(xué)習(xí)過程中錯誤地將無關(guān)或噪聲特征與目標(biāo)情感標(biāo)簽建立關(guān)聯(lián)，導(dǎo)致模型的性能下降，尤其是在多模態(tài)情感分析中，這一問題更為突出，模型會受到模態(tài)間和模態(tài)內(nèi)兩方面虛假關(guān)聯(lián)的影響從而導(dǎo)致性能下降，其中，模態(tài)間虛假關(guān)聯(lián)問題包括不同模態(tài)之間不對應(yīng)的問題，模態(tài)內(nèi)虛假關(guān)聯(lián)問題包括模態(tài)中包含的某些內(nèi)容和具體表達(dá)情感不符的問題。這些虛假關(guān)聯(lián)問題會降低模型的泛化能力和魯棒性。
技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)提供了一種多模態(tài)情感分類模型訓(xùn)練方法及多模態(tài)情感分類方法，以解決現(xiàn)有技術(shù)多模態(tài)情感分析中存在的虛假關(guān)聯(lián)
2、第一方面，本專利技術(shù)提供了一種多模態(tài)情感分類模型訓(xùn)練方法，所述方法包括：獲取包含多模態(tài)樣本的訓(xùn)練樣本；采用預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取多模態(tài)樣本的多模態(tài)特征；采用可學(xué)習(xí)掩碼對所述多模態(tài)特征過濾，得到多模態(tài)因果特征；采用多模態(tài)特征的情感分類損失和多模態(tài)因果特征的情感分類損失計算因果效應(yīng)，所述情感分類損失基于預(yù)設(shè)分類器對多模態(tài)特征和多模態(tài)因果特征的情感分類結(jié)果確定；采用由所述因果效應(yīng)和可學(xué)習(xí)參數(shù)確定的調(diào)度權(quán)重和情感分類損失確定聯(lián)合損失；采用聯(lián)合優(yōu)化對預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、預(yù)設(shè)分類器以及聯(lián)合損失中的參數(shù)進(jìn)行參數(shù)優(yōu)化，并基于參數(shù)優(yōu)化后的預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、可學(xué)習(xí)掩碼和預(yù)設(shè)分類器構(gòu)建多模態(tài)情感分類模型。
3、本專利技術(shù)中，在模型訓(xùn)練過程中，采用可學(xué)習(xí)掩碼對樣本中的多模態(tài)特征過濾，得到多模態(tài)因果特征，即通過簡單而有效的因果干預(yù)來選擇多模態(tài)因果特征，緩解了虛假關(guān)聯(lián)問題。同時，通過評估特征的因果效應(yīng)來調(diào)度多模態(tài)學(xué)習(xí)過程，并結(jié)合聯(lián)合優(yōu)化來自適應(yīng)地確定最優(yōu)調(diào)度參數(shù)。由此，訓(xùn)練得到的多模態(tài)情感分類模型，實現(xiàn)了基于因果關(guān)系的多模態(tài)特征學(xué)習(xí)，提高了多模態(tài)情感分類的性能。
4、在一種可選的實施方式中，多模態(tài)樣本包括文本樣本和圖像樣本，采用預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取多模態(tài)樣本的多模態(tài)特征，包括：采用bert模型提取文本樣本的文本特征；采用clip模型提取圖像樣本的圖像特征。
5、本專利技術(shù)中，采用bert模型提取文本樣本的文本特征，采用clip模型提取圖像樣本的圖像特征，實現(xiàn)了對多模態(tài)特征的準(zhǔn)確提取。
6、在一種可選的實施方式中，采用多模態(tài)特征的情感分類損失和多模態(tài)因果特征的情感分類損失計算因果效應(yīng)，包括：采用預(yù)設(shè)分類器確定每一模態(tài)特征和每一模態(tài)因果特征的情感分類結(jié)果；基于每一模態(tài)對應(yīng)的損失函數(shù)、所述情感分類結(jié)果以及對應(yīng)的情感標(biāo)簽計算每一模態(tài)特征和每一模態(tài)因果特征對應(yīng)的情感分類損失；采用每一模態(tài)特征和每一模態(tài)因果特征對應(yīng)的情感分類損失計算因果效應(yīng)。
7、本專利技術(shù)中，通過上述實施方式計算因果效應(yīng)，由此能夠通過該因果效應(yīng)量化相應(yīng)因果特征對情感分類結(jié)果的影響。
8、在一種可選的實施方式中，所述因果效應(yīng)采用如下公式表示：
9、
10、
11、式中，δ∈表示因果效應(yīng)，和分別表示多模態(tài)因果特征中的反事實文本因果特征和反事實圖像因果特征，yt表示文本的情感標(biāo)簽；yv表示圖像的情感標(biāo)簽，分別表示采用預(yù)設(shè)分類器確定的多模態(tài)特征中文本特征和圖像特征的情感分類結(jié)果，分別表示采用預(yù)設(shè)分類器確定的反事實文本因果特征和反事實圖像因果特征的情感分類結(jié)果，lce表示文本特征對應(yīng)的損失函數(shù)，lbce表示圖像特征對應(yīng)的損失函數(shù)。
12、本專利技術(shù)中，通過采用上述公式計算因果效應(yīng)，從而使得計算的因果效應(yīng)綜合了多模態(tài)特征和多模態(tài)因果特征的影響。
13、在一種可選的實施方式中，采用聯(lián)合優(yōu)化對預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、預(yù)設(shè)分類器以及聯(lián)合損失中的參數(shù)進(jìn)行參數(shù)優(yōu)化，包括：采用預(yù)設(shè)可學(xué)習(xí)參數(shù)對第一參數(shù)進(jìn)行優(yōu)化，所述第一參數(shù)包括預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的參數(shù)、可學(xué)習(xí)掩碼以及預(yù)設(shè)分類器中的參數(shù)；基于優(yōu)化后的第一參數(shù)對可學(xué)習(xí)參數(shù)進(jìn)行優(yōu)化；重復(fù)上述步驟，直至得到的聯(lián)合損失滿足預(yù)設(shè)要求。
14、本專利技術(shù)中，在對參數(shù)優(yōu)化時，采用兩級優(yōu)化的方式，即將參數(shù)分為兩級，先通過固定可學(xué)習(xí)參數(shù)優(yōu)化第一參數(shù)，再通過第一參數(shù)優(yōu)化可學(xué)習(xí)參數(shù)，重復(fù)該過程，使得最終的聯(lián)合損失達(dá)到預(yù)設(shè)要求，由此能夠得到最優(yōu)的參數(shù)。
15、第二方面，本專利技術(shù)提供了一種多模態(tài)情感分類方法，應(yīng)用于本專利技術(shù)第一方面及第一方面任一項所述的多模態(tài)情感分類模型訓(xùn)練方法訓(xùn)練得到的多模態(tài)情感分類模型，所述方法包括：獲取待分類數(shù)據(jù)，待分類數(shù)據(jù)為多模態(tài)數(shù)據(jù)；采用參數(shù)優(yōu)化后的預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取待分類數(shù)據(jù)的特征；采用參數(shù)優(yōu)化后的可學(xué)習(xí)掩碼對所述特征過濾，得到因果特征；采用參數(shù)優(yōu)化后的預(yù)設(shè)分類器對所述因果特征預(yù)測，確定待分類數(shù)據(jù)的情感分類結(jié)果。
16、本專利技術(shù)中，由于可學(xué)習(xí)掩碼經(jīng)過上述模型訓(xùn)練過程中的參數(shù)優(yōu)化，由此，使得過濾得到的因果特征緩解了特征中的虛假關(guān)聯(lián)問題，之后再采用參數(shù)優(yōu)化后的分類器對因果特征進(jìn)行預(yù)測分類，從而得到了更加準(zhǔn)確的情感分類效果。
17、第三方面，本專利技術(shù)提供了一種多模態(tài)情感分類模型訓(xùn)練裝置，所述裝置包括：樣本獲取模塊，用于獲取包含多模態(tài)樣本的訓(xùn)練樣本；特征提取模塊，用于采用預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取多模態(tài)樣本的多模態(tài)特征；過濾模塊，用于采用可學(xué)習(xí)掩碼對所述多模態(tài)特征過濾，得到多模態(tài)因果特征；因果效應(yīng)計算模塊，用于采用多模態(tài)特征的情感分類損失和多模態(tài)因果特征的情感分類損失計算因果效應(yīng)，所述情感分類損失基于預(yù)設(shè)分類器對多模態(tài)特征和多模態(tài)因果特征的情感分類結(jié)果確定；聯(lián)合損失確定模塊，用于采用由所述因果效應(yīng)和可學(xué)習(xí)參數(shù)確定的調(diào)度權(quán)重和情感分類損失確定聯(lián)合損失；參數(shù)優(yōu)化及模型構(gòu)建模塊，用于采用聯(lián)合優(yōu)化對預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、預(yù)設(shè)分類器以及聯(lián)合損失中的參數(shù)進(jìn)行參數(shù)優(yōu)化，并基于參數(shù)優(yōu)化后的預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、可學(xué)習(xí)掩碼和預(yù)設(shè)分類器構(gòu)建多模態(tài)情感分類模型。
18、第四方面，本專利技術(shù)提供了一種多模態(tài)情感分類裝置，應(yīng)用于本專利技術(shù)第一方面及第一方面任一項所述的多模態(tài)情感分類模型訓(xùn)練方法訓(xùn)練得到的多模態(tài)情感分類模型，所述裝置包括：數(shù)據(jù)獲取模塊，用于獲取待分類數(shù)據(jù)，待分類數(shù)據(jù)為多模態(tài)數(shù)據(jù)；數(shù)據(jù)特征提取模塊，采用參數(shù)優(yōu)化后的預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取待分類數(shù)據(jù)的特征；因果特征確定模塊，用于采用參數(shù)優(yōu)化后的可學(xué)習(xí)掩碼對本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種多模態(tài)情感分類模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，多模態(tài)樣本包括文本樣本和圖像樣本，采用預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取多模態(tài)樣本的多模態(tài)特征，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用多模態(tài)特征的情感分類損失和多模態(tài)因果特征的情感分類損失計算因果效應(yīng)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述因果效應(yīng)采用如下公式表示：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用聯(lián)合優(yōu)化對預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、預(yù)設(shè)分類器以及聯(lián)合損失中的參數(shù)進(jìn)行參數(shù)優(yōu)化，包括：
6.一種多模態(tài)情感分類方法，其特征在于，應(yīng)用于權(quán)利要求1-5任一項所述的多模態(tài)情感分類模型訓(xùn)練方法訓(xùn)練得到的多模態(tài)情感分類模型，所述方法包括：
7.一種多模態(tài)情感分類模型訓(xùn)練裝置，其特征在于，所述裝置包括：
8.一種多模態(tài)情感分類裝置，其特征在于，應(yīng)用于權(quán)利要求1-5任一項所述的多模態(tài)情感分類模型訓(xùn)練方法訓(xùn)練得到的多模態(tài)情感分類模型，所述裝置包括：
9.一種計算機(jī)設(shè)備，其特征在于，包括
10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)指令，所述計算機(jī)指令用于使計算機(jī)執(zhí)行權(quán)利要求1至5中任一項所述的多模態(tài)情感分類模型訓(xùn)練方法或者權(quán)利要求6所述的多模態(tài)情感分類方法。
...【技術(shù)特征摘要】
1.一種多模態(tài)情感分類模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，多模態(tài)樣本包括文本樣本和圖像樣本，采用預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)提取多模態(tài)樣本的多模態(tài)特征，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用多模態(tài)特征的情感分類損失和多模態(tài)因果特征的情感分類損失計算因果效應(yīng)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述因果效應(yīng)采用如下公式表示：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用聯(lián)合優(yōu)化對預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、預(yù)設(shè)分類器以及聯(lián)合損失中的參數(shù)進(jìn)行參數(shù)優(yōu)化，包括：
6.一種多模態(tài)情感分類方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：廖清，趙鵬宇，李超洋，姚紫怡，汪靈芝，
申請(專利權(quán))人：哈爾濱工業(yè)大學(xué)深圳哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。