【技術實現步驟摘要】
本專利技術計算機視覺與深度學習，涉及一種基于掩模監督的深度偽造檢測方法。
技術介紹
1、深度偽造檢測領域近年來取得了顯著進展，不斷涌現出創新性研究。已經開發了空間、頻率和跨模態域的檢測方法，引入了語義分割、模型壓縮和偽造語音檢測等跨學科方法，為深度偽造檢測領域帶來了新的活力。盡管與機器學習時代相比性能有了顯著提高，但在壓縮場景下的深度偽造檢測仍然是一個重大挑戰。具體來說，大多數在社交平臺上傳播的圖像和視頻都經歷了壓縮和過濾等后處理操作。這些后處理操作削弱甚至消除了檢測線索，導致現有的深度偽造檢測方法顯著下降甚至失敗。
2、
3、
4、深度偽造檢測方法根據提取的特征類型被分類為手工特征基礎的檢測方法和深度特征基礎的檢測方法。目前，基于深度特征的深度偽造檢測方法正逐漸成為主流。在此之外，本專利技術將深度學習模型提取的特征在此基礎上細分為三種類型：空間域、頻率域，以及空間域和頻率域的結合。
5、a.空間域
6、空間域，也稱為圖像空間，處理的是圖像的像素。典型的空間域特征包括四類：生物特征、紋理和邊緣特征、身份特征以及潛在特征。
7、生物特征：指的是基于人臉、指紋、虹膜等生物識別信息的特征。
8、紋理和邊緣特征：這些特征描述了圖像中區域的紋理結構以及物體的邊緣信息，常用于圖像的分割和識別。
9、身份特征：與圖像中特定對象的身份識別有關，如人臉、車牌等。
10、潛在特征：這些是不易直接觀察到的特征，可能需要通過更復雜的算法或模型來提
11、生物特征。由于眉毛位于面部邊緣，因此在面部交換過程中，眉毛區域更容易出現融合邊界。nguyen等人通過生物特征比較確立了眉毛在深度偽造檢測中的效用。此外，研究人員注意到許多偽造視頻只涉及單一領域的篡改，即面部或聲音源的交換，因此唇形特征被用作檢測的基礎。使用唇形進行深度偽造檢測通常伴隨著語音，通過兩種模態的聯合識別來識別異常視頻。agarwal等人從視頻中提取關鍵音素及其對應的幀，通過唇形與典型音素如m、b和p的對應關系不匹配來識別偽造視頻。然而，這些方法主要關注人眼敏感的面部信息，可能不適用于所有數據集，如果數據來源發生變化，就有失效的風險。
12、紋理和邊緣特征。在面部篡改過程中，融合是一個不可或缺的步驟：面部替換涉及不同身份面部之間的融合過程，面部再現涉及不同面部特征點的擬合過程。融合引入的偽影(如偽造邊界、不自然的融合區域、gan指紋等)可以作為深度偽造檢測的線索。sun等人提取面部特征點，并將它們輸入到循環神經網絡中，通過不自然的表情和不連續的動作來區分偽造視頻。zhao等人設計了一個紋理增強模塊和一個注意力模塊，以增強特征的可區分性。僅使用真實圖像進行深度偽造檢測是紋理和邊界特征基礎方法的主要方法之一。這類方法所需的偽造數據是通過模型基于真實數據主動生成的，需要的數據量小，表現良好，因此受到了很多關注。li等人提出了一種稱為“面部x射線”的方法，通過主動生成偽造面部來引導模型檢測圖像的融合邊界。為了生成更高質量的訓練數據，chen等人采用了gan結構，設計了不同的面部交換區域和融合類型，并通過對抗方式訓練生成器產生逼真的偽造圖像，同時增強了鑒別器的檢測能力。為了從檢測中排除不相關的背景、身份等信息，shiohara等人創新性地提出了一種“自我面部交換”數據生成方法。生成的偽造圖像保持相同的身份，但增加了不同面部交換操作的偽影，使模型能夠更專注于偽影本身。
13、潛在特征。潛在特征的具體含義沒有明確定義，主要是通過網絡如mesonet、xception、resnet、efficientnet、mkfanet等網絡提取。這些網絡具有良好的便攜性，它們提取的特征具有通用性，使得它們成為后續研究中常用的骨干網絡，并做出了重要貢獻。盡管這些方法在原始圖像上可以取得良好的性能，但空間域信息容易受到圖像后期處理操作(如壓縮)的影響。一旦圖像質量下降，它們的性能可能會大幅降低。
14、b.頻率域
15、現有的深度偽造檢測模型通常面臨不夠穩健的問題。為了解決這個問題，研究人員開始探索圖像的頻率域信息。常見的頻率域轉換方法包括小波變換和離散余弦變換(dct)。jia等人基于靜態小波分解訓練了一個雙分支網絡，提取圖像內和圖像間的不一致性，用以區分真實和偽造圖像。wolter等人認為小波變換在一定程度上保留了空間信息，因此他們比較了真實和偽造圖像的小波系數來進行真偽判斷。由于dct是jpeg壓縮的關鍵步驟，其應用更為廣泛。qian等人提出了頻率偽造人臉網絡(f3-net)，它使用dct從空間域轉換到頻率域，并采用互補的頻率感知線索，在檢測低質量偽造人臉方面取得了良好的性能。frank等人利用二維dct提取頻率域信息，以高效地檢測偽造圖像。此外，頻率域轉換在識別gan指紋中也起著重要作用。jeong等人設計了frepgan，它可以生成頻率級擾動圖來增強深度偽造檢測器的泛化能力。huang等人認為gan主要使用各向同性卷積來生成其輸出，因此在通過各向異性變換提取的子帶上留下指紋。他們的模型使用完全可分離的小波變換和多小波來獲得各向異性特征作為分類的基礎。這些方法表明，頻率域信息可以為深度偽造檢測提供更穩健和有效的線索。
16、c.空間域和頻率域的結合
17、為了獲得更全面的信息，研究人員嘗試了多次空間域和頻率域特征的整合。liu等人提出了一個淺層網絡，該網絡結合了空間圖像和相位譜來捕捉上采樣偽影。li等人設計了一個空間-頻率域融合模塊，并通過消融實驗證實了融合操作的有效性。這種方法還引入了一種新的損失函數，稱為單中心損失，以增強類內壓縮性和類間可分性。luo等人將通過srm提取的高頻特征與空間特征整合，他們的檢測模型在跨數據集評估中取得了優異的性能。gu等人提出了一個具有增強學習能力的雙分支深度偽造檢測網絡，每個分支專門用于提取空間和頻率域中的細粒度特征。在wang等人提出的方法中，小波變換后的特征與空間特征結合用于分類。
18、這些研究表明，通過將空間域和頻率域的特征結合起來，可以更有效地檢測深度偽造圖像。這些方法不僅提高了檢測的準確性，而且通過使用不同的特征和損失函數，增強了模型對不同類型偽造的泛化能力。
技術實現思路
1、本專利技術為了解決現有技術所存在的上述技術問題，提供一種基于掩模監督的深度偽造檢測方法，該方法建立在掩模監督和頻率域轉換的基礎上，通過引入像素級標簽，將掩模監督引入模型，以糾正模型對偽造區域的注意力，并指導空間特征的提取，頻率域線索更加穩健，不易受到壓縮等后處理效果的影響。
2、為實現上述目的，本專利技術提供如下技術方案：
3、一種基于掩模監督的深度偽造檢測方法，步驟如下：
4、s1、輸入圖像到預處理模塊進行預處理；
5、s2、處理后的圖像分別輸入到用于提取空間域特征的掩模監督模塊和用于提取頻率本文檔來自技高網...
【技術保護點】
1.一種基于掩模監督的深度偽造檢測方法，其特征在于，步驟如下：
2.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述預處理模塊中進行圖像裁剪和/或數據增強。
3.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，圖像進入掩模監督模塊后，主干網絡HRNet提取圖像的中間特征，然后將其分為兩個方向，一個用于上采樣生成預測掩模，真實掩模用于監督；另一個用于生成與頻率域連接的特征。
4.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，在頻率域特征提取模塊中，首先對圖像進行DCT變換，然后通過三個不同的頻率帶濾波器獲得不同頻率帶的數據，進行重構和拼接；連接后的數據輸入到主干網絡Xception以獲得頻率域流的特征。
5.如權利要求2所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述數據增強包括圖像翻轉、灰度化、顏色抖動。
6.如權利要求3所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述頻率域特征提取模塊中執行如下步驟：
7.如權利要求3所述的基于掩模監督的深度偽造檢
8.如權利要求7所述的基于掩模監督的深度偽造檢測方法，其特征在于，進入所述掩模預測分支后，特征圖Im2,Im3和Im4被上采樣以匹配Im1的尺寸，然后沿通道維度進行連接；這個過程表示如下：
9.如權利要求7所述的基于掩模監督的深度偽造檢測方法，其特征在于，在所述空間特征提取分支中，包括上采樣和下采樣操作；中間特征的大小被調整以匹配Im3，即16×16；獲得連接特征Ic2的過程用以下公式表示
10.如權利要求1-9任一項所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述分類模塊執行如下步驟：
...【技術特征摘要】
1.一種基于掩模監督的深度偽造檢測方法，其特征在于，步驟如下：
2.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述預處理模塊中進行圖像裁剪和/或數據增強。
3.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，圖像進入掩模監督模塊后，主干網絡hrnet提取圖像的中間特征，然后將其分為兩個方向，一個用于上采樣生成預測掩模，真實掩模用于監督；另一個用于生成與頻率域連接的特征。
4.如權利要求1所述的基于掩模監督的深度偽造檢測方法，其特征在于，在頻率域特征提取模塊中，首先對圖像進行dct變換，然后通過三個不同的頻率帶濾波器獲得不同頻率帶的數據，進行重構和拼接；連接后的數據輸入到主干網絡xception以獲得頻率域流的特征。
5.如權利要求2所述的基于掩模監督的深度偽造檢測方法，其特征在于，所述數據增強包括圖像翻轉、灰度化、顏色抖動。
6.如權利要求3所述的基于掩模監...
【專利技術屬性】
技術研發人員：曹宸浩，段伊可，劉岱杰，滕仁漉，李雨哲，艾日帕提江·阿不都熱合曼，王波，
申請(專利權)人：大連理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。