【技術實現步驟摘要】
本專利技術屬于人工智能安全領域，具體涉及一種基于擴散模型的可定制物理對抗補丁生成方法。
技術介紹
1、隨著深度學習的迅猛發展，基于深度學習的目標檢測器在現實生活中廣泛應用，包括無人駕駛、醫療診斷等領域，都與我們自身的安全息息相關。不幸的是，最近許多工作都已經證明深度神經網絡非常容易被一些惡意設計的對抗樣本干擾，從而做出違背常識的判斷，這對相關應用造成了巨大的威脅。
2、對視覺領域而言，對抗性攻擊可分為兩個不同的類別：數字對抗攻擊和物理對抗攻擊。與在數字空間中加入微小擾動的數字攻擊不同，物理對抗攻擊是在現實世界中進行的，其目標是通過改變物理物體的外觀或位置來誤導視覺系統。這種攻擊可以通過多種方式實現，例如在物體表面粘貼特定的貼圖、改變環境的光照、或添加干擾元素。相比于數字攻擊，物理對抗攻擊在實際操作中面臨更多的限制和挑戰，因為它們必須在現實世界中有效。例如，攻擊者可能需要考慮光照條件、觀察角度、物體移動等因素，以確保攻擊的穩定性和持續性。
3、在大部分以往的物理對抗補丁的研究中，比如advyolo方法[1]和t-sea方法[2]，主要都是以提升補丁的攻擊性能為主，這意味著需要在生成的補丁中加入更強的擾動，導致補丁很大程度地背離了自然圖像的分布，變得十分違和，雖然幾乎所有的補丁生成方法中都引入了tv損失來使補丁更加平滑，但這仍然解決不了補丁突兀的根本問題，他們還是十分容易被人們識別出來。隨著圖像生成領域的發展，一些基于深度圖像生成器的自然補丁的生成方法應運而生,以naturalistic?adversaria
4、[1]thys,s.；van?ranst,w.；and?goedem′e,t.2019.fooling?au-tomatedsurveillance?cameras:adversarial?patches?to?attackperson?detection.in?cvprw,0-0.
5、[2]huang,h.；chen,z.；chen,h.；wang,y.；and?zhang,k.2023.t-sea:transfer-based?self-ensemble?attack?on?objectdetection.in?cvpr,20514-20523.
6、[3]hu,y.-c.-t.；kung,b.-h.；tan,d.s.；chen,j.-c.；hua,k.-l.；and?cheng,w.-h.2021.naturalistic?physical?adversarial?patch?for?object?detectors.in?cvpr,7848-7857.
技術實現思路
1、本專利技術是為了解決上述問題而進行的，目的在于提供一種基于擴散模型的可定制物理對抗補丁生成方法。
2、本專利技術提供了一種基于擴散模型的可定制物理對抗補丁生成方法，具有這樣的特征，包括以下步驟：s10，生成參考圖像的文本描述；s20，對參考圖像的非主體區域做基于目標掩碼的背景替換；s30，將參考圖像與中間時間步的隱向量做基于空文本逆轉的完美映射，得到起始噪聲隱向量xt/2；s40，將隱向量xt/2通過ddim采樣，在文本描述的引導下得到對抗補丁；s50，將數據集的人物圖像填充后縮放成同一尺寸，隨后將對抗補丁應用于人物圖像中的人物衣服表面，得到訓練數據集；s60，利用檢測模型檢測訓練數據集，得到預測結果；s70，檢測預測結果的損失，從而更新隱向量xt/2；s80，重復步驟s40～步驟s70直至迭代結束，輸出最終的對抗補丁。
3、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s10中，利用blip模型生成文本描述。
4、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s20中，背景替換的公式為：上式中，為參考圖像；m為目標掩碼；s為純色背景，用于替換原有背景；為得到的新圖像。
5、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s30中，空文本逆轉訓練在每一個采樣過程中的非條件嵌入，從而矯正生成過程的路徑偏離。
6、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s50中，人物圖像填充后縮放成同一方形的尺寸。
7、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s60中，預測結果包括預測框的坐標以及其中對應的物體概率。
8、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，步驟s70中，利用iou檢測損失通過梯度下降的方式更新隱向量，根據損失對隱向量求導，以獲得損失函數對隱向量的梯度，隨后，通過梯度下降算法調整隱向量，iou損失定義如下式：上式中，m是滿足最大iou大于閾值t的檢測框的總數；iou(jj，j′k)是檢測框j′k和真實框jj之間的交并比；是指示函數，當括號中的條件為真時，函數值為1，否則為0；p是檢測器處理圖像后輸出的預測框內存在物體的概率pobj和各種物體的分類概率pcls的乘積。
9、在本專利技術提供的基于擴散模型的可定制物理對抗補丁生成方法中，還可以具有這樣的特征：其中，t＝0.5。
10、專利技術的作用與效果
11、本專利技術的基于擴散模型的可定制物理對抗補丁生成方法通過圖像與隱空間向量映射，結合目標掩碼實現定制化自然外觀的物理補丁生成。
12、本專利技術使用不完整的擴散優化，很好的解決了使用擴散模型時，優化過程中補丁攻擊性與隱蔽性難以折衷的問題。
13、本專利技術提出了一種更適合對抗補丁優化的檢測損失，叫做交并檢測損失，在保持補丁自然外表的同時，該損失函數能達到更強的攻擊性能以及更快的收斂速度。
本文檔來自技高網...【技術保護點】
1.一種基于擴散模型的可定制物理對抗補丁生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
3.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
4.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
5.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
6.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
7.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
8.根據權利要求7所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
【技術特征摘要】
1.一種基于擴散模型的可定制物理對抗補丁生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
3.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
4.根據權利要求1所述的基于擴散模型的可定制物理對抗補丁生成方法，其特征在于：
...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。