【技術實現步驟摘要】
本專利技術涉及自然語言處理，尤其涉及一種基于語言模型和多模態融合的謠言及證據檢測方法。
技術介紹
1、在當前數字化信息時代，互聯網和社交媒體的普及使得信息傳播的速度和廣度都達到了前所未有的程度。然而，這種便捷的信息傳播方式也為謠言的擴散提供了溫床，其傳播速度和范圍呈指數級增長，對個人隱私、公眾輿論乃至社會穩定都產生了深遠的影響。傳統的謠言鑒別手段，如人工審核和用戶舉報，雖然在一定程度上能夠遏制謠言的傳播，但效率低下且高度依賴人的主觀判斷，已經無法滿足現代社交媒體環境下對謠言快速識別和應對的需求。
2、在這一背景下，基于人工智能的自動化謠言鑒別與證據鎖定技術的開發顯得尤為重要。這種技術能夠利用大數據分析和機器學習算法，從海量的社交媒體信息中迅速準確地識別出謠言，并自動鎖定相關證據，大大提高了謠言應對的效率和準確性。它不僅能夠及時阻斷謠言的傳播鏈，減少謠言對個人和社會的負面影響，還能夠為相關部門提供有力的證據支持，便于后續的追責和處理。因此，基于人工智能的自動化謠言鑒別與證據鎖定方法在維護網絡信息安全、保護公眾利益方面具有重要的意義和價值。
技術實現思路
1、本專利技術提供一種基于語言模型和多模態融合的謠言及證據檢測方法，用以解決現有技術中存在的缺陷。
2、第一方面，本專利技術提供一種基于語言模型和多模態融合的謠言及證據檢測方法，包括：
3、獲取待驗證的文本材料和圖像材料；
4、分別對所述文本材料和所述圖像材料進行特征提取，得到文本特征向
5、采用多頭自注意力機制對所述文本特征向量和所述圖像特征向量進行特征交互融合，得到統一特征向量；
6、將所述統一特征向量輸入全連接層分類器，輸出謠言鑒別概率分布；
7、基于所述謠言鑒別概率分布，確定謠言證據。
8、根據本專利技術提供的一種基于語言模型和多模態融合的謠言及證據檢測方法，獲取待驗證的文本材料和圖像材料，包括：
9、從多個渠道收集待驗證的文本標題和圖像，以及關聯的文本證據材料和圖像證據材料。
10、根據本專利技術提供的一種基于語言模型和多模態融合的謠言及證據檢測方法，分別對所述文本材料和所述圖像材料進行特征提取，得到文本特征向量和圖像特征向量，包括：
11、基于ernie-m模型對所述文本標題和所述文本證據材料進行特征提取獲得標題特征和文本證據特征，由所述標題特征和所述文本證據特征得到所述文本特征向量；
12、基于預訓練的resnet模型對所述圖像和所述圖像證據材料進行特征提取獲得圖像特征和圖像證據特征，由所述圖像特征和所述圖像證據特征得到所述圖像特征向量。
13、根據本專利技術提供的一種基于語言模型和多模態融合的謠言及證據檢測方法，采用多頭自注意力機制對所述文本特征向量和所述圖像特征向量進行特征交互融合，得到統一特征向量，包括：
14、計算所述文本材料和所述圖像材料的注意力權重；
15、基于所述注意力權重，將經過所述多頭自注意力機制的所述文本特征向量以及所述圖像特征向量，與所述標題特征、所述圖像特征進行拼接，形成所述統一特征向量。
16、根據本專利技術提供的一種基于語言模型和多模態融合的謠言及證據檢測方法，將所述統一特征向量輸入全連接層分類器，輸出謠言鑒別概率分布，包括：
17、將所述統一特征向量輸入所述全連接層分類器，以softmax函數作為所述全連接層分類器的激活函數，輸出對應多個類別的謠言鑒別概率分布。
18、根據本專利技術提供的一種基于語言模型和多模態融合的謠言及證據檢測方法，基于所述謠言鑒別概率分布，確定謠言證據，包括：
19、確定多個謠言證據概率分布區間，所述多個謠言證據概率分布區間對應謠言真實性概率；
20、提取所述謠言鑒別概率分布中位于指定謠言證據概率分布區間內對應的所述文本材料和所述圖像材料，作為所述謠言證據。
21、第二方面，本專利技術還提供一種基于語言模型和多模態融合的謠言及證據檢測系統，包括：
22、獲取模塊，用于獲取待驗證的文本材料和圖像材料；
23、提取模塊，用于分別對所述文本材料和所述圖像材料進行特征提取，得到文本特征向量和圖像特征向量；
24、融合模塊，用于采用多頭自注意力機制對所述文本特征向量和所述圖像特征向量進行特征交互融合，得到統一特征向量；
25、分類模塊，用于將所述統一特征向量輸入全連接層分類器，輸出謠言鑒別概率分布；
26、確定模塊，用于基于所述謠言鑒別概率分布，確定謠言證據。
27、第三方面，本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述基于語言模型和多模態融合的謠言及證據檢測方法。
28、第四方面，本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述基于語言模型和多模態融合的謠言及證據檢測方法。
29、第五方面，本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述基于語言模型和多模態融合的謠言及證據檢測方法。
30、本專利技術提供的基于語言模型和多模態融合的謠言及證據檢測方法，結合了語言模型和多模態數據，通過深度學習技術提高了謠言鑒別的效率和準確性。同時，本專利技術還具有自動化程度高、減少人工干預、能夠更全面地理解材料內容等優勢。在實際應用中，本專利技術可以廣泛應用于社交媒體、新聞網站等場景中的謠言鑒別與證據鎖定任務。
本文檔來自技高網...【技術保護點】
1.一種基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，獲取待驗證的文本材料和圖像材料，包括：
3.根據權利要求2所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，分別對所述文本材料和所述圖像材料進行特征提取，得到文本特征向量和圖像特征向量，包括：
4.根據權利要求3所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，采用多頭自注意力機制對所述文本特征向量和所述圖像特征向量進行特征交互融合，得到統一特征向量，包括：
5.根據權利要求1所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，將所述統一特征向量輸入全連接層分類器，輸出謠言鑒別概率分布，包括：
6.根據權利要求1所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，基于所述謠言鑒別概率分布，確定謠言證據，包括：
7.一種基于語言模型和多模態融合的謠言及證據檢測系統，其特征在于，包括：
8.一種電
9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于語言模型和多模態融合的謠言及證據檢測方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于語言模型和多模態融合的謠言及證據檢測方法。
...【技術特征摘要】
1.一種基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，獲取待驗證的文本材料和圖像材料，包括：
3.根據權利要求2所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，分別對所述文本材料和所述圖像材料進行特征提取，得到文本特征向量和圖像特征向量，包括：
4.根據權利要求3所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，采用多頭自注意力機制對所述文本特征向量和所述圖像特征向量進行特征交互融合，得到統一特征向量，包括：
5.根據權利要求1所述的基于語言模型和多模態融合的謠言及證據檢測方法，其特征在于，將所述統一特征向量輸入全連接層分類器，輸出謠言鑒別概率分布，包括：
6.根據權利要求1...
【專利技術屬性】
技術研發人員：滕沖，丁星辰，蔣棋旋，姬東鴻，李霏，
申請(專利權)人：武漢大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。