【技術實現步驟摘要】
本專利技術屬于計算機視覺、偽造檢測，尤其涉及一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法。
技術介紹
1、生成式人工智能(artificial?intelligence?generated?content,aigc)是一種通過復雜算法、模型和規則，從大規模數據集中學習以創造新原創內容的技術。這項技術在文本和圖像生成、游戲開發以及影視制作等領域具有廣泛應用，為各行各業帶來了便利。然而，該技術的不當使用也引發了一些問題，帶來了安全風險。
2、早期的圖像生成技術，如生成對抗網絡(generative?adversarial?network,gan)通過生成器和判別器的對抗訓練生成高質量偽造圖像，這類技術存在訓練難度大、可擴展性弱以及生成圖像多樣性不足等問題。目前針對gan生成圖像的檢測方法已取得一定進展，這些方法包括利用空間域或頻率域特征差異進行檢測，如基于色彩空間差異、梯度紋理特征、高頻模式及噪聲殘差等。近年來興起的擴散模型(diffusion?model,dm)通過逐步去除預測噪聲從噪聲樣本生成圖像，展示了更好的穩定性、訓練可控性和生成圖像質量。由于這一技術尚屬新興領域，相關研究較少，現有檢測方法大多直接遷移自gan檢測器，但效果不佳，存在檢測精度低、泛化性和魯棒性差等問題。
3、此外，現有模型往往難以應對未知數據來源、未知生成模型的偽造圖像，模型的通用性和泛化性普遍較差。一些研究通過數據增強和數據集擴充來提高模型的泛化性，但該方式的提升效果有限，且難以充分利用生成圖像的各類有效特征。還有研究直接
4、隨著生成式人工智能技術的快速進步，模型如生成對抗網絡和擴散模型已經能夠創造出逼真的偽造圖像，即深度偽造圖像。盡管圖像生成技術取得了顯著成果，但相應的深度偽造圖像檢測技術卻相對滯后，尤其是對于當前廣泛使用的擴散模型生成的圖像，現有的檢測方法在精度上存在明顯不足。此外，大多數現有的檢測方法只針對特定的圖像生成模型，缺乏對不同來源偽造圖像的廣泛檢測能力。
技術實現思路
1、專利技術目的：本專利技術的目的在于提供一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，能夠對由生成對抗網絡和擴散模型生成的圖像進行高精度的檢測。
2、技術方案：本專利技術的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測方法，包括以下步驟：
3、s1：將原始圖像i輸入高斯濾波器(gaussian?filter)、gabor濾波器(gaborfilter)和小波濾波器(wavelet?filter)，分別得到平滑圖像ismooth、紋理圖像igabor和細節圖像idetail。ismooth、igabor和idetail稱為圖像的頻率域特征，將這三種特征在通道維度上拼接得到融合后的頻率域特征ifreq。將ifreq輸入特征金字塔網絡(feature?pyramid?network,fpn)，再經過分類頭處理，得到基于頻率域特征的真偽概率pfreq；
4、s2：將原始圖像i輸入反銳化掩模(unsharp?masking)模型和dncnn(denoisingconvolutional?neural?network)去噪模型，分別得到差值圖像isharp和噪聲圖像inoise。isharp和inoise稱為圖像的空間域特征，將這兩種特征在通道維度上拼接得到融合后的空間域特征ispatial。將ispatial輸入特征金字塔網絡，再經過分類頭處理，得到基于空間域特征的真偽概率pspatial。將s1得到的三種頻率域特征和s2得到的兩種空間域特征統稱為圖像的內容無關特征；
5、s3：將原始圖像i輸入預訓練的視覺轉換器vision?transformer(vit)模型提取圖像的內容相關特征，將視覺轉換器vit模型的原始分類頭替換為全連接層，得到基于內容相關特征的真偽概率pcontent；
6、s4：將s1、s2、s3分別得到的三個真偽概率pfreq、pspatial、pcontent加權相加，得到最終的真偽概率pfinal，根據pfinal得到圖像的真偽分類結果iresult。
7、進一步地，所述步驟s1具體包括以下步驟，
8、s1.1：將原始圖像i輸入高斯濾波器，使用高斯濾波器對圖像進行加權平均處理，減少高頻噪聲，得到平滑圖像ismooth；
9、s1.2：將原始圖像i輸入gabor濾波器，捕捉圖像中不同方向的紋理信息，得到紋理圖像igabor；
10、s1.3：將原始圖像i輸入小波濾波器，進行圖像分解與重構，得到細節圖像idetail；
11、s1.4:將s1.1、s1.2、s1.3分別得到的ismooth、igabor、idetail在通道維度上拼接得到融合的頻率域特征ifreq，將ifreq輸入特征金字塔網絡，再經過包含池化層、全連接層和softmax激活函數的分類頭處理，得到基于頻率域特征的真偽概率pfreq；
12、進一步地，所述步驟s2具體包括以下步驟，
13、s2.1：對原始圖像i利用反銳化掩模技術進行處理，先對原始圖像i進行高斯模糊處理得到平滑圖像ismooth，再用原始圖像i減去平滑圖像ismooth得到差值圖像isharp；
14、s2.2：將原始圖像i輸入dncnn去噪模型，利用多層卷積和激活函數得到噪聲圖像inoise；
15、s2.3：將s2.1、s2.2分別得到的isharp與inoise在通道維度上拼接得到融合的空間域特征ispatial，將ispatial輸入特征金字塔網絡，再經過與s1.4相同的分類頭處理，得到基于空間域特征的真偽概率pspatial；
16、進一步地，在步驟s3中，利用預訓練的vit模型提取圖像的內容相關特征。vit模型的原始分類頭被替換為輸出維度為2的全連接層，直接生成二分類的預測結果，即基于圖像內容相關特征的真偽概率pcontent。
17、進一步地，在步驟s4中，將步驟s1中獲得的基于頻率域特征的真偽概率pfreq、步驟s2中獲得的基于空間域特征的真偽概率pspatial、步驟s3中獲得的基于內容相關特征的真偽概率pcontent進行加權相加，得到最終的真偽概率pfinal。根據pfinal得到最終的圖像真偽分類結果iresult。
18、本專利技術還公開一種計算機裝置，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現本專利技術方法的步驟。
19、有益效果：與現有技術相比，本專利技術具有如下顯著優點：本專利技術通過結合多種濾波器(高斯、gabor、小波濾波器)、反銳化掩模技術、以及dncnn去噪模型來提取圖像的內容無關特征；并利用微調的預訓練vision?transformer(vit)模型來提取圖像的內容相關特征。其中，內容無關特征中包含了頻率域特征與空間域本文檔來自技高網...
【技術保護點】
1.一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S1具體包括以下步驟：
3.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S1.1具體為：高斯濾波器用于平滑圖像和減少高頻噪聲，二維高斯分布密度函數如下式所示：
4.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S1.2具體為：Gabor濾波器通過組合高斯函數和正弦波函數，來檢測圖像中特定方向的紋理特征，Gabor濾波的數學表達式如下式所示：
5.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S1.3具體為：使用Haar作為小波濾波的基函數，運用二維小波變換對圖像進行小波分解與重構，小波分解與重構的過程如下式所示：
6.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于
7.根據權利要求6所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S2.1具體為：將原始圖像I分為三個顏色通道IR、IG、IB，并對IR、IG、IB分別進行高斯模糊處理，生成平滑圖像Ismooth_R、Ismooth_G、Ismooth_B，對于每個顏色通道，分別用原始圖像減去平滑圖像，所得結果分別記為Idiff_R、Idiff_G、Idiff_B，即Idiff_x＝Ix-Ismooth_x，然后將三個顏色通道的Idiff_R、Idiff_G、Idiff_B相加得到完整的Idiff；設定一個閾值T＝50，最終得到的差值圖像Isharp中僅保留Idiff中大于或等于T的像素值，而將其他像素值設為0，上述過程表示為：
8.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S3中，利用預訓練的ViT模型提取圖像的內容相關特征，ViT模型的原始分類頭被替換為輸出維度為2的全連接層，直接生成二分類的預測結果，即基于圖像內容相關特征的真偽概率pcontent。
9.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟S4具體為：將pfreq、pspatial、pcontent的權重分別記為weight1、weight2、weight3，并設置三個權重的初值；最終的真偽概率pfinal＝weight1*pfreq+weight2*pspatial+weight3*pcontent。
10.一種計算機裝置，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執行所述計算機程序以實現權利要求1所述方法的步驟。
...【技術特征摘要】
1.一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s1具體包括以下步驟：
3.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s1.1具體為：高斯濾波器用于平滑圖像和減少高頻噪聲，二維高斯分布密度函數如下式所示：
4.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s1.2具體為：gabor濾波器通過組合高斯函數和正弦波函數，來檢測圖像中特定方向的紋理特征，gabor濾波的數學表達式如下式所示：
5.根據權利要求2所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s1.3具體為：使用haar作為小波濾波的基函數，運用二維小波變換對圖像進行小波分解與重構，小波分解與重構的過程如下式所示：
6.根據權利要求1所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s2具體包括以下步驟：
7.根據權利要求6所述的一種融合內容無關特征與內容相關特征的深度偽造圖像檢測法，其特征在于，步驟s2.1具體為：將原始圖像i分為三個顏色通道ir、ig、ib，并對ir、ig、ib分別進行高斯模糊處理，生成平滑圖像ismoo...
【專利技術屬性】
技術研發人員：顧思琦，秦子涵，萇鴻，唐磊，張宇寧，謝理哲，王征，胡軼寧，
申請(專利權)人：東南大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。