【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種多模態內容安全檢測方法、裝置、計算機可讀存儲介質以及計算機程序產品。
技術介紹
1、隨著互聯網內容的爆炸式增長，確保網絡空間中的信息內容安全變得尤為重要。傳統的單一模態的內容安全檢測已經不能滿足日益復雜的網絡環境需求，
2、單一模態的內容安全檢測存在如下問題：
3、單模態檢測的局限性：傳統的內容安全檢測方法通常依賴于單一的數據模態，如僅圖像、視頻、音頻或文)，而這些方法在面對綜合和交叉模態的信息時，容易漏檢或誤檢，從而無法全面捕捉到潛在的不安全內容。
4、對隱蔽內容的檢測困難：隱蔽的不安全內容，如通過不同模態交織的虛假信息或惡意內容往往難以被單一模態的檢測方法識別。
5、模型適應性差：傳統檢測方法對新型或變化快速的內容安全威脅的適應性差，缺乏自動化調整和優化的能力。
技術實現思路
1、本專利技術的目的在于提供一種多模態內容安全檢測方法、裝置、計算機可讀存儲介質以及計算機程序產品，從而解決現有技術中存在的前述問題。
2、為了實現上述目的，本專利技術采用的技術方案如下：
3、本專利技術第一方面提出了一種多模態內容安全檢測方法，所述方法包括：
4、自待檢測內容中獲取多模態數據，其中，所述多模態數據包括：文本、圖像以及音頻中至少一種；
5、將多模態數據輸入預先訓練的多模態表征模型，得到相應表征向量；
6、當多模態數據包括至少兩種模態數據時，將各模態
7、將多模態的最終表征向量輸入預先訓練的提取模型，得到多模態特征向量，其中，所述提取模型基于包括：卷積神經網絡cnn和人工神經網絡mlp訓練得到；
8、將所述多模態特征向量輸入預先訓練的檢測模型，得到潛在垃圾信息和正常信息分類。
9、示例性的，所述多模態表征模型包括：文本表征模型，圖像表征模型以及音頻表征模型；所述將多模態數據輸入預先訓練的多模態表征模型，得到相應表征向量；包括：
10、當多模態數據包括文本時，將文本輸入預先訓練的文本表征模型，得到第一預設維度的文本表征向量，其中，所述文本表征模型基于包括：bce?embeddingbase訓練得到；
11、當多模態數據包括圖像時，將圖像輸入預先訓練的圖像表征模型，得到第二預設維度的圖像表征向量，其中，所述圖像表征向量基于包括：resnet34訓練得到；
12、當多模態數據包括音頻時，將音頻輸入預先訓練的音頻表征模型，得到音頻在各時刻的第一預設維度的音頻表征向量，其中，所述音頻表征向量基于包括：wav2vec?2.0訓練得到。
13、示例性的，所述將多模態數據的表征向量統一至預設維度，包括：
14、當得到第二預設維度的圖像表征向量時，對其進行上采樣，得到第一預設維度的圖像表征向量；
15、當得到第一預設維度的音頻表征向量時，對其進行均值歸一化處理，得到音頻完整時間上的第一預設維度的音頻表征向量。
16、示例性的，當得到第二預設維度的圖像表征向量時，對其進行上采樣，得到第一預設維度的圖像表征向量，包括：
17、利用傅里葉變換對第二預設維度的圖像表征向量進行上采樣，具體包括：
18、將第二預設維度的圖像表征向量p[n]變換為頻域x[k]表達：
19、
20、其中，n為第二預設維度，對頻域進行擴展，擴展為新的頻域表達x[k]→x‘[k]：
21、
22、其中，m為預設維度，對新頻域x‘[k]進行傅里葉逆變換，得到預設維度長的向量p[m]：
23、
24、示例性的，對齊多模態內容的各表征向量，包括：
25、將統一長度的各多模態內容表征向量分別輸入預先訓練的變換模型vvm進行對齊，得到相應的對齊后表征向量；
26、各變換模型vvm的結構相同，均為：
27、y[m]＝vecvariamodel(x[m])
28、其中，x(m)可以是p[m]、s[m]、a′[m]，y(m)為輸出的變換后的相應向量，損失函數包括如下：
29、
30、其中，d(x,y)來計算向量xi和向量yi之間的距離，x和y是任意兩個模態數據；
31、
32、其中，特定損失函數loss(vmm,(l,x,y))結合了標簽l的損失函數，用于處理訓練數據中可能存在不完全成對的情況，m表示預設的最大距離閾值；
33、
34、其中，綜合損失函數loss(vmm,(l,p,s,a))，它平均了在不同輸入模態下的特定損失函數loss(vmm,(l,x,y))；
35、分別得到音頻變換模型vvma,圖像變換模型vvmp,文本變換模型vvms。
36、示例性的，所述卷積神經網絡cnn包括：3個卷積層和3個池化層，所述人工神經網絡mlp包括：3個線性層。
37、示例性的，所述預先訓練的檢測模型包括：二分類器mmd。
38、本專利技術第二方面提出了一種多模態內容安全檢測裝置，所述裝置包括：
39、獲取模塊，用于自待檢測內容中獲取多模態數據，其中，所述多模態數據包括：文本、圖像以及音頻中至少一種；
40、向量化模塊，用于將多模態數據輸入預先訓練的多模態表征模型，得到相應表征向量；
41、當多模態內容包括至少兩種模態內容時，還包括：
42、對齊融合模塊，用于當多模態數據包括至少兩種模態數據時，將各模態數據的表征向量統一至預設維度并對齊，并對對齊后的各模態表征向量進行融合，得到多模態的最終表征向量；
43、提取模塊，用于將多模態的最終表征向量輸入預先訓練的提取模型，得到多模態特征向量，其中，所述提取模型基于包括：卷積神經網絡cnn和人工神經網絡mlp訓練得到；
44、檢測模塊，用于將所述多模態特征向量輸入預先訓練的檢測模型，得到潛在垃圾信息和正常信息分類。
45、本專利技術第三方面提出了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上所述方法的步驟。
46、本專利技術第四方面提出了一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現如上所述的方法的步驟。
47、本專利技術的有益效果是：
48、本專利技術解決傳統單模態內容安全檢測方法在處理復雜、多樣和隱蔽的不安全內容時的局限性，具有較高的檢測準確度及速度快的特點。
本文檔來自技高網...【技術保護點】
1.一種多模態內容的安全檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述多模態表征模型包括：文本表征模型，圖像表征模型以及音頻表征模型；所述將多模態數據輸入預先訓練的多模態表征模型，得到相應表征向量；包括：
3.根據權利要求2所述的方法，其特征在于，所述將多模態數據的表征向量統一至預設維度，包括：
4.根據權利要求3所述的方法，其特征在于，當得到第二預設維度的圖像表征向量時，對其進行上采樣，得到第一預設維度的圖像表征向量，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，對齊多模態內容的各表征向量，包括：
6.根據權利要求1至5任一項所述的方法，其特征在于，所述卷積神經網絡CNN包括：3個卷積層和3個池化層，所述人工神經網絡MLP包括：3個線性層。
7.根據權利要求1至5任一項所述的方法，其特征在于，所述預先訓練的檢測模型包括：二分類器MMD。
8.一種多模態內容的安全檢測裝置，其特征在于，所述裝置包括：
9.一種計算機可讀存儲介質，其上存
10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至7任一項所述的方法的步驟。
...【技術特征摘要】
1.一種多模態內容的安全檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述多模態表征模型包括：文本表征模型，圖像表征模型以及音頻表征模型；所述將多模態數據輸入預先訓練的多模態表征模型，得到相應表征向量；包括：
3.根據權利要求2所述的方法，其特征在于，所述將多模態數據的表征向量統一至預設維度，包括：
4.根據權利要求3所述的方法，其特征在于，當得到第二預設維度的圖像表征向量時，對其進行上采樣，得到第一預設維度的圖像表征向量，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，對齊多模態內容的各表征向量，包括：
...【專利技術屬性】
技術研發人員：郭利榮，靳燕霞，周龍威，
申請(專利權)人：中數通信息有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。