【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于情感分析，尤其涉及一種基于特征交互與關(guān)聯(lián)融合的情感分析方法及系統(tǒng)。
技術(shù)介紹
1、本部分的陳述僅僅是提供了與本專利技術(shù)相關(guān)的
技術(shù)介紹
信息，不必然構(gòu)成在先技術(shù)。
2、情感分析是自然語言處理領(lǐng)域中的一項(xiàng)重要任務(wù)，旨在從文本中識(shí)別和分析作者的情感傾向，通常包括正面、負(fù)面或中性情感。隨著社交媒體、在線評論和其他文本數(shù)據(jù)的急劇增加，對于有效的情感分析方法的需求也日益迫切。
3、近年來，隨著氫能產(chǎn)業(yè)鏈的快速發(fā)展，情感分析技術(shù)可以與氫能產(chǎn)業(yè)鏈的用戶需求進(jìn)行深度融合，實(shí)現(xiàn)更為精準(zhǔn)的服務(wù)匹配和個(gè)性化體驗(yàn)。例如，在面向政府部門、氫能企業(yè)和終端用戶的服務(wù)中，情感分析可以用于分析用戶對氫能政策、產(chǎn)品和服務(wù)的反饋，從而實(shí)現(xiàn)用戶精準(zhǔn)畫像的構(gòu)建。這不僅能夠?yàn)檎块T提供決策支持，也能夠?yàn)闅淠芷髽I(yè)提供市場洞察，同時(shí)為終端用戶提供定制化的服務(wù)體驗(yàn)。
4、在早期的情感分析領(lǐng)域，研究者主要依賴于人工規(guī)則和傳統(tǒng)機(jī)器學(xué)習(xí)方法。這些方法基于構(gòu)建情感詞典、設(shè)計(jì)規(guī)則以及進(jìn)行特征工程，相對于一些簡單的語境，取得了令人滿意的表現(xiàn)。然而，隨著社交媒體和大規(guī)模文本數(shù)據(jù)的迅速增長，這些傳統(tǒng)方法逐漸顯露出其在處理復(fù)雜語境中的局限性。深度學(xué)習(xí)技術(shù)的崛起為情感分析帶來了顯著的進(jìn)展。神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)等架構(gòu)的引入，使得模型能夠更好地捕捉局部和長距離依賴關(guān)系。這些深度學(xué)習(xí)方法在一些任務(wù)中表現(xiàn)出色，但仍然存在上下文理解的挑戰(zhàn)，尤其是在處理復(fù)雜句子結(jié)構(gòu)、歧義性高和長距離依賴關(guān)系時(shí)性能相對有限。傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法的局
5、近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，bert模型作為一種強(qiáng)大的預(yù)訓(xùn)練語言模型，在自然語言處理任務(wù)中取得了顯著的成果。現(xiàn)有的基于bert模型的情感分類方法如圖1所示，相較于傳統(tǒng)的基于循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)的模型，bert模型采用了transformer結(jié)構(gòu)，通過自注意力機(jī)制實(shí)現(xiàn)了對文本的雙向編碼，使其能夠更好地理解文本的語義和上下文信息。
6、但是，現(xiàn)有的基于bert模型的情感分類方法仍然存在著問題：
7、1、現(xiàn)有的研究在使用bert模型進(jìn)行情感分析時(shí)，通常只使用最后一層encoder的分類器標(biāo)記向量進(jìn)行分類操作。這種做法僅依賴于最后一層提取的特征，忽略了其他層的信息，導(dǎo)致分類特征不全面，難以處理大規(guī)模分類問題，并且不利于對含糊或不明確的句子進(jìn)行更具體的分類。
8、2、現(xiàn)有的研究方法傾向于僅考慮特征之間的線性關(guān)系，而未能深度的挖掘不同層次特征之間的復(fù)雜交互。這種做法限制了模型對多層信息的充分利用，也無法充分發(fā)掘多層信息的豐富性。
9、3、在特征整合過程中，現(xiàn)有方法常常忽略了特征向量之間的關(guān)聯(lián)信息，這些關(guān)聯(lián)信息可以包含文本不同部分之間的語義關(guān)系、上下文信息以及特征之間的相互影響等。充分挖掘和融合這些關(guān)聯(lián)信息可以提升模型對于文本語義和情感的理解能力。
10、4、現(xiàn)有的丟棄方法缺乏靈活性，無法有效地適應(yīng)不同數(shù)據(jù)分布和場景的變化，導(dǎo)致模型在處理不同數(shù)據(jù)時(shí)表現(xiàn)不穩(wěn)定，這限制了模型的泛化能力和魯棒性。
技術(shù)實(shí)現(xiàn)思路
1、為克服上述現(xiàn)有技術(shù)的不足，本專利技術(shù)提供了一種基于特征交互與關(guān)聯(lián)融合的情感分析方法及系統(tǒng)。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)的一個(gè)或多個(gè)實(shí)施例提供了如下技術(shù)方案：
3、本專利技術(shù)第一方面提供了一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，包括：
4、獲取待識(shí)別文本數(shù)據(jù)；
5、將獲取的文本數(shù)據(jù)輸入至bert模型中，得到多層表示向量，包括bert模型的所有中間層及最終層編碼器輸出的表示向量；
6、將所有的中間層表示向量輸入到多層特征交互模塊中，通過將不同層次的表示向量加權(quán)疊加整合上下文信息，通過門控機(jī)制動(dòng)態(tài)調(diào)整不同層次的表示向量中各維度特征的重要性；將加權(quán)疊加后的特征與門控機(jī)制的輸出進(jìn)行融合后，與初始輸入的中間層表示向量進(jìn)行加權(quán)平均，得到第一關(guān)聯(lián)特征融合向量；
7、將第一關(guān)聯(lián)特征融合向量與最終層cls表示向量輸入至動(dòng)態(tài)關(guān)聯(lián)融合模塊中，得到分類文本特征向量；
8、基于動(dòng)態(tài)掩碼的自適應(yīng)丟棄方法對分類文本特征向量進(jìn)行特征動(dòng)態(tài)丟棄，之后經(jīng)過全連接層和激活函數(shù)層得到待識(shí)別文本的情感類別。
9、本專利技術(shù)第二方面提供了一種基于特征交互與關(guān)聯(lián)融合的情感分析系統(tǒng)，包括：
10、數(shù)據(jù)獲取模塊，被配置為：獲取待識(shí)別文本數(shù)據(jù)；
11、向量表示模塊，被配置為：將獲取的文本數(shù)據(jù)輸入至bert模型中，得到多層表示向量，包括bert模型的所有中間層及最終層編碼器輸出的表示向量；
12、第一特征融合模塊，被配置為：將所有的中間層表示向量輸入到多層特征交互模塊中，通過將不同層次的表示向量加權(quán)疊加整合上下文信息，通過門控機(jī)制動(dòng)態(tài)調(diào)整不同層次的表示向量中各維度特征的重要性；將加權(quán)疊加后的特征與門控機(jī)制的輸出進(jìn)行融合后，與初始輸入的中間層表示向量進(jìn)行加權(quán)平均，得到第一關(guān)聯(lián)特征融合向量；
13、第二特征融合模塊，被配置為：將第一關(guān)聯(lián)特征融合向量與最終層cls表示向量輸入至動(dòng)態(tài)關(guān)聯(lián)融合模塊中，得到分類文本特征向量；
14、文本情感分類模塊，被配置為：基于動(dòng)態(tài)掩碼的自適應(yīng)丟棄方法對分類文本特征向量進(jìn)行特征動(dòng)態(tài)丟棄，之后經(jīng)過全連接層和激活函數(shù)層得到待識(shí)別文本的情感類別。
15、本專利技術(shù)第三方面提供了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本專利技術(shù)第一方面所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法中的步驟。
16、本專利技術(shù)第四方面提供了電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本專利技術(shù)第一方面所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法中的步驟。
17、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：
18、(1)本專利技術(shù)通過使用雙分支方法，除了提取最后一層encoder的cls向量外，還提取了中間各層encoder的cls向量。這些特征不僅包含了最后一層的輸出，還涵蓋了中間層的語義表示；本專利技術(shù)綜合多層encoder的輸出特征，能夠充分利用bert模型不同層次的語義表示，從而獲得更加豐富和全面的特征信息，有助于提高模型對文本語義的理解能力和情感分析的準(zhǔn)確性。
19、(2)本專利技術(shù)提出多層特征交互模塊mfi，實(shí)現(xiàn)了對不同層次特征之間的復(fù)雜交互；利用加權(quán)疊加和門控機(jī)制方法，整合上下文信息并動(dòng)態(tài)調(diào)節(jié)特征的重要性；使得模型能夠更好地理解文本的語義結(jié)構(gòu)和情感表達(dá)，提高了情感分析的準(zhǔn)確性和魯棒性。
20、(3)本專利技術(shù)提出雙線性關(guān)聯(lián)融合模塊rfm，設(shè)計(jì)轉(zhuǎn)置乘積，線性變換和激活函數(shù)處理的拼接向本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述將第一關(guān)聯(lián)特征融合向量與最終層CLS表示向量輸入至動(dòng)態(tài)關(guān)聯(lián)融合模塊中，得到分類文本特征向量，包括：
3.如權(quán)利要求2所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述通過雙線性關(guān)聯(lián)計(jì)算方法計(jì)算第一關(guān)聯(lián)特征融合向量及最終層CLS表示向量的關(guān)聯(lián)性得分，包括：
4.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述基于動(dòng)態(tài)掩碼的自適應(yīng)丟棄方法對分類文本特征向量進(jìn)行特征動(dòng)態(tài)丟棄，包括：
5.如權(quán)利要求4所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述計(jì)算分類文本特征向量中每個(gè)特征的丟棄率，包括：
6.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述待識(shí)別文本的情感類別，包括：積極：表示文本傳達(dá)了正面的情感；消極：表示文本傳達(dá)了負(fù)面的情感以及中性：表示文本沒有明顯的情感傾向，或者情感表達(dá)較為平淡。
...【技術(shù)特征摘要】
1.一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述將第一關(guān)聯(lián)特征融合向量與最終層cls表示向量輸入至動(dòng)態(tài)關(guān)聯(lián)融合模塊中，得到分類文本特征向量，包括：
3.如權(quán)利要求2所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述通過雙線性關(guān)聯(lián)計(jì)算方法計(jì)算第一關(guān)聯(lián)特征融合向量及最終層cls表示向量的關(guān)聯(lián)性得分，包括：
4.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述基于動(dòng)態(tài)掩碼的自適應(yīng)丟棄方法對分類文本特征向量進(jìn)行特征動(dòng)態(tài)丟棄，包括：
5.如權(quán)利要求4所述的一種基于特征交互與關(guān)聯(lián)融合的情感分析方法，其特征在于，所述計(jì)算分類文本特征向量中每個(gè)特征的丟棄率，包括：
6.如權(quán)利要求1所述的一種基于特征交互與關(guān)聯(lián)融...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：韓德隆，李敏，李剛，周鳴樂，萬金，李佳宸，劉澤鈺，
申請(專利權(quán))人：山東省計(jì)算中心國家超級計(jì)算濟(jì)南中心，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。