【技術實現步驟摘要】
本專利技術屬于視覺模型對抗防御領域，尤其涉及一種視覺復雜度引導的擴散模型對抗防御方法。
技術介紹
1、智能視頻系統旨在自動處理并分析視頻數據，集成了包括對視頻中目標的跟蹤與識別等多種功能，因此廣泛應用于視頻監控、人機交互等多個領域。然而，研究表明，現有基于深度神經網絡的智能視頻系統對于對抗攻擊(adversarial?attack)十分脆弱。一旦在自然采集的良性樣本中添加一些人眼難以察覺的對抗擾動，那些原本高性能的深度神經網絡很容易被誤導，進而做出錯誤的預測。相應地，對抗防御(adversarial?defence)旨在消除對抗攻擊帶來的負面影響，從而盡可能增強智能視頻系統的可靠性和安全性。
2、先前的對抗防御方法在設計上存在如下不足之處：1)：魯棒性不足，現有方法沒有能力平衡目標模型在良性樣本與對抗樣本上的性能，也就是說，對抗防御方法無法在不影響模型原有性能的情況下，增強其對對抗樣本的魯棒性；2)：通用性不足，現有防御方法通常面向某種對抗攻擊設計，或與目標模型高度耦合，而通用的防御方法可適用于不同類型的對抗攻擊與目標模型；3)：運算效率不高：由于現有防御方法大多面向圖像級的視覺模型設計，對運算效率考慮不足，而大規模的視頻數據對對抗防御的運算消耗與推理時間有著較高的要求。因此，鑒于上述現有技術的不足，需要一種魯棒的、高通用性且高效的對抗防御方法，解決智能視頻系統面臨的安全威脅。
技術實現思路
1、專利技術目的：本專利技術基于擴散模型設計對抗防御方法，在對抗樣本輸入系統前
2、技術方案：為了解決上述技術問題，實現上述專利技術目的，本專利技術提出了一種視覺復雜度引導的擴散模型對抗防御方法，該方法包括如下步驟：
3、步驟1)將被攻擊的視頻對抗樣本作為輸入，逐幀計算對抗視頻樣本的視覺復雜度；
4、步驟2)根據樣本視覺復雜度與擴散凈化尺度的映射關系，選擇擴散凈化尺度；
5、步驟3)對對抗視頻樣本進行前向擴散，依據步驟2)選定的凈化尺度，使用高斯噪聲在淹沒對抗擾動的同時，保留視頻幀的主成分，得到擴散視頻樣本；
6、步驟4)對擴散視頻樣本進行反向擴散，并采用一次性去噪策略，將擴散樣本恢復為高質量的凈化樣本；
7、步驟5)將凈化后的良性視頻輸入智能視頻系統以得到正確的決策，完成對對抗攻擊的防御。
8、進一步的，步驟1)的方法如下：
9、步驟1.1)給定一段自然采集的良性視頻序列x＝[x1,x2,x3,…,xn]，其中，n為該段視頻的幀數，對抗視頻序列被定義為：
10、
11、其中，ivs(·)表示基于深度神經網絡的智能視頻系統(intelligent?videosystem,ivs)為該系統的參數；r與分別代表智能視頻系統對良性視頻序列與對抗視頻序列的輸出決策；由于良性視頻序列與對抗視頻序列的區別要滿足人眼不可察性，這里使用lp范數約束對抗擾動的量綱，一般而言，p＝0,1,2,∞，而τ為擾動上限。
12、步驟1.2)逐幀計算對抗視頻序列的邊緣能量的作為該視頻幀視覺復雜度的度量，給定第n幀的對抗視頻幀使用索貝爾核(sobel?kernel)的濾波器分別沿著水平與垂直的方向對該幀進行卷積。具體來說，水平方向的索貝爾操作可被表示為：
13、
14、相應的，垂直方向的索貝爾操作被記作：
15、
16、基于gh與gv可計算出的邊緣密度圖g：
17、
18、對抗視頻幀視覺復雜度可通過對g求均值計算得出：
19、
20、其中，vc代表的視覺復雜度，h與w分別代表邊緣密度圖g的高度與寬度，i與j是對g中像素的索引。
21、進一步的，在步驟2)中依據本視覺復雜度與擴散模型凈化尺度的映射關系，選擇最佳的擴散凈化尺度的操作過程如下：
22、
23、其中，proj(vc)為視覺復雜度與擴散凈化尺度的映射函數，以對抗視頻幀的視覺復雜度vc為自變量，控制擴散模型凈化尺度的參數并隨著擴散時間步數t的增大而單調遞減)為因變量，以獲得最優凈化尺度具體來說，proj(vc)被設計成一種分段函數：vcmin與vcmax是手動設置的視覺復雜度臨界值，若對抗視頻幀視覺復雜度vc小于最小視覺復雜度vcmin或大于最大視覺復雜度vcmax時，直接使用最大凈化尺度或最小凈化尺度作為最優擴散凈化尺度；而當vcmin≤vc≤vcmax時，本專利技術采用線性函數作為vc與的映射關系：
24、j(vc；w,b)＝w·vc+b
25、其中：
26、
27、進一步的，依據步驟2)得到的最優凈化尺度
28、步驟3)對對抗視頻幀進行前向擴散，其過程可被形式化表達為：
29、
30、其中，∈為高斯噪聲，為擴散樣本，由上式可知，前向擴散的粒度由決定。考慮到對抗視頻幀是由良性視頻幀xn與對抗擾動δ合成得來，即，因此，上式可被改寫為：
31、
32、由于對抗擾動的人眼不可察性，且隨著擴散時間步數t的增加而單調遞減，δ的量綱遠遠小于所添加的高斯噪聲。因此，如果時間步數t*的選擇適當，擴散樣本中對抗信息被高斯噪聲所淹沒的同時，保留了良性圖像樣本中的主成分信息。
33、進一步的，步驟4)對步驟3)中得到的擴散樣本進行反向擴散，旨在高質量地生成凈化樣本。考慮到視頻任務對計算消耗的高要求，本專利技術采用了一次性去噪策略，直接從最終的擴散時間步數t*直接預測完全去噪后的圖像
34、
35、其中，∈θ(·)是由θ參數化的深度生成網絡模型，本專利技術使用預訓練ddim擴散模型，僅通過一次前向傳播，預測步驟3)中加入的高斯噪聲∈。與標準擴散模型設置的t*＝1000相比，本專利技術將t*的取值范圍限制在[25,60]之內，即，tmin＝25，tmax＝60，在降低∈θ(·)對∈預測難度的同時，大幅提高擴散模型的運算效率，一次性去噪策略可實現高質量、高效率的擾動消除。
36、步驟5)中，將凈化后的視頻序列輸入到智能視頻系統中：
37、
38、使得即，使得智能視頻系統做出正確的決策，從而完成對于對抗攻擊的防御。
39、有益效果：與現有技術相比，本專利技術的技術方案具有以下有益技術效果：
40、(1)視覺復雜度引導的擴散凈化尺度選擇機制可增強凈化視頻序列的質量，進而增強智能視頻系統的魯棒性。
【技術保護點】
1.一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，該方法包括如下步驟：
2.根據權利要求1所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，步驟1)的方法如下：
3.根據權利要求2所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，在步驟2)中依據本視覺復雜度與擴散模型凈化尺度的映射關系，選擇最佳的擴散凈化尺度的操作過程如下：
4.根據權利要求3所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，步驟3)將對抗視頻幀進行前向擴散，其過程被形式化表達為：
5.根據權利要求4所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，步驟4)中，對擴散視頻樣本進行反向擴散，并采用一次性去噪策略，將擴散樣本恢復為凈化樣本，方法如下：
6.根據權利要求5所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，步驟5)中，將凈化后的視頻序列輸入到智能視頻系統中：
【技術特征摘要】
1.一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，該方法包括如下步驟：
2.根據權利要求1所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，步驟1)的方法如下：
3.根據權利要求2所述的一種視覺復雜度引導的擴散模型對抗防御方法，其特征在于，在步驟2)中依據本視覺復雜度與擴散模型凈化尺度的映射關系，選擇最佳的擴散凈化尺度的操作過程如下：
4.根據權利要求3所述的一種視覺復雜度...
【專利技術屬性】
技術研發人員：趙少川，周勇，趙佳琦，杜文亮，
申請(專利權)人：中國礦業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。