【技術實現步驟摘要】
本專利技術屬于人工智能安全，尤其涉及一種提高深度神經網絡系統魯棒性的引導對抗訓練方法及系統。
技術介紹
1、由于人工智能在現實應用中帶來了許多突破,深度神經網絡(deep?neuralnetworks，dnn)被廣泛應用于各種關鍵應用中，如人臉識別、自動駕駛等。然而,dnn通常容易受到對抗樣本的攻擊,這可能導致嚴重的安全風險。典型的，通過攻擊交通標志，導致自動駕駛汽車出現事故。為了提高dnn的對抗魯棒性,許多防御方法已被提出，包括防御蒸餾、特征壓縮、基于隨機化的方法和對抗訓練等。對抗訓練目前被認為是提高模型對抗魯棒性的最有效方法之一。
2、最近的研究表明，機器學習分類器極易被對抗樣本欺騙。因此，對抗攻擊自出現以來就吸引了大量關注，催生了大量生成對抗樣本的方法。這些方法有助于評估不同模型的魯棒性，并通過對抗訓練提高模型的魯棒性。下面我們介紹一些最常用的攻擊方法。
3、goodfellow等人將對抗樣本的存在歸因于網絡的線性性質，從而提出了快速梯度符號法(fgsm)，用于高效生成對抗樣本。fgsm進一步演變成了不同版本的迭代攻擊方法。kurakin等證明了物理世界中存在使用i-fgsm攻擊的對抗樣本，而且fgsm可以通過多次迭代小步應用。madry等人發現，從范圍球中的隨機點開始可以顯著改進i-fgsm，并提出了一種名為pgd的攻擊方法。cw攻擊是由carlini等人提出的，它考慮了所有三種距離度量來構造強攻擊。autoattack(aa)結合了多種優化的對抗攻擊算法來構造強攻擊，并被廣泛用于評估模型魯棒性。
4、新興的對抗訓練方法側重于通過經驗防御來增強其魯棒性。通過對抗訓練提高深度學習模型魯棒性的方法可分為三大類：(1)面向輸入的方法；(2)面向損失的方法；(3)基于集成的方法。
5、利用gan框架通過生成模型創建對抗樣本。fat從幾何視角來控制pgd的搜索軌跡control?the?length?of?searching?trajectories?ofpgd?through?the?lens?ofgeometry,gowal等人使用生成模型合成的圖像增強對抗訓練，提高對抗攻擊的魯棒性。wang等人通過利用更好的生成模型(如流行的擴散模型)可以實現更強的魯棒性，從而產生新的最先進的對抗魯棒性。
6、對于面向損失的方法，已經開展了一系列工作來建立一種新的監督損失，以實現更好的優化。通過最小化原始樣本與對抗樣本之間的差異來增強模型的魯棒性。考慮了從干凈樣本和對抗樣本生成的模型的logit結果，減少logit對之間的距離創建了一個正則化項。使用了一種基于邊際的方法，該方法考慮了干凈樣本和對抗樣本之間的邊際。通過引入動量項、考慮訓練數據最初被正確分類或錯誤分類的情況以及為每種情況設計兩個正則器來增強模型的魯棒性。通過約束魯棒模型的對數，使其與純模型的對數相似，從而提高模型的魯棒性。通過鼓勵決策邊界在移動過程中優先考慮易受影響的點，來提高模型的魯棒性。
7、不同于傳統的改進,一些集成方法也被融合到對抗訓練當中。一些集成方法也被納入對抗訓練。引入了一個正則項來豐富基礎模型決策邊界的變異性，以提高集成模型的魯棒性；seat在對抗訓練中聯合優化軌跡上每個歷史模型的狀態。
8、傳統的對抗訓練在每次迭代時生成新的對抗樣本來進行訓練，側重于單個網絡的訓練，通過數據增強、增加正則項等方式來提升模型魯棒性。相較于傳統的對抗訓練，集成對抗訓練展示了更好的魯棒性提升能力。它們主要通過結合不同模型生成的對抗擾動,增加被集成模型(成員模型)的多樣性,集成優化軌跡上的每個歷史模型等方法來提升模型魯棒性。然而，對每個成員模型進行對抗訓練會造成沉重的計算和存儲負擔。忽略個體成員之間的相互作用又可能導致它們返回類似的預測或特征表示。
9、通過上述分析，現有技術存在的問題及缺陷為：現有方法對每個成員模型進行對抗訓練會造成沉重的計算和存儲負擔，忽略個體成員之間的相互作用又可能導致它們返回類似的預測或特征表示。
技術實現思路
1、針對現有技術存在的問題，本專利技術提供了一種提高深度神經網絡系統魯棒性的引導對抗訓練方法及系統，既能夠減輕集成對抗訓練的時間和空間存儲負擔，又考慮成員模型之間的相互作用來提高魯棒性。
2、本專利技術是這樣實現的，針對單個模型，通過集成每次優化器優化后的權重，而無需額外存儲模型，從而減輕了存儲空間的負擔，增強了對模型權重歷史狀態的記憶，以防止模型發生災難性遺忘。同時，設計了兩種指導方式——自我指導(self-guidance)和專家指導(expert-guidance)，以引導成員模型學習正確的決策邊界，使模型能夠更快地收斂，提高模型的準確性和魯棒性。
3、本專利技術還提供了一種提高深度神經網絡系統魯棒性的引導對抗訓練方法，包括：
4、s1，通過干凈訓練得到一個專家模型，通過最小化成員模型和專家模型的輸出來增強決策邊界和干凈樣本的相似性；
5、s2，通過擴大正確標簽的logit值和非正確標簽的logit值差異來提高干凈精度，通過控制干凈樣本的margin來調整決策邊界；
6、s3，將兩個損失以正則項的形式加入到初始損失中；
7、s4，采用gat通過集成優化該損失的成員模型來提升模型的魯棒性和干凈精度。
8、進一步，s1具體包括：
9、
10、其中，是干凈樣本的概率分布.然而，單純使用這個損失會影響決策邊界的多樣性；因此，從成員模型自身出發，對干凈樣本的輸出進行調整。
11、進一步，s2具體包括：定義self-guidence?loss
12、
13、其中，y是干凈樣本x的真實標簽，是fθ(·)對x的預測標簽；參數η是平滑系數，η∈(0,1]；較小的η值會使logit分布的模型更加平滑；相反，η越大，對應于正確標簽的logit值和與錯誤標簽相關的logit值之間的區別就越明顯；最小化這一損失會增加正確標簽的logit值，而減少其他標簽的logit值，從而迫使模型準確地對干凈的例子進行分類。
14、進一步，s3具體包括：
15、
16、其中，是交叉熵損失，γ是self-guidence和expert-guidence的權衡參數。
17、本專利技術的另一目的在于提供一種實現所述提高深度神經網絡系統魯棒性的引導對抗訓練方法的提高深度神經網絡系統魯棒性的引導對抗訓練系統，包括：
18、專家模型訓練模塊，用于通過干凈訓練得到一個專家模型；
19、輸出最小化模塊，用于通過最小化成員模型和專家模型的輸出來增強決策邊界和干凈樣本的相似性；
20、干凈精度提高模塊，用于通過擴大正確標簽的logit值和非正確標簽的logit值差異來提高干凈精度；
21、決策邊界調整模塊，通過控制干凈樣本的mar本文檔來自技高網...
【技術保護點】
1.一種提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，針對單個模型，通過集成每次優化器優化后的權重，增強對模型權重歷史狀態的記憶，以防止模型發生災難性遺忘；利用自我指導和專家指導，以引導成員模型學習正確的決策邊界，使模型能夠更快地收斂，提高模型的準確性和魯棒性。
2.如權利要求1所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，包括：
3.如權利要求2所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，S1具體包括：
4.如權利要求2所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，S2具體包括：定義Self-Guidence?loss
5.如權利要求2所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，S3具體包括：
6.一種實現如權利要求1～5任意一項所述方法的提高深度神經網絡系統魯棒性的引導對抗訓練系統，其特征在于，包括：
7.一種計算機設備，計算機設備包括存儲器和處理器，存儲器存儲有計算機程序，計算機程序被處理器執行時，使得處理器執行如權
8.一種計算機可讀存儲介質，存儲有計算機程序，計算機程序被處理器執行時，使得處理器執行如權利要求1～4任意一項所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法的步驟。
9.一種信息數據處理終端，信息數據處理終端用于實現如權利要求5所述的提高深度神經網絡系統魯棒性的引導對抗訓練系統。
...【技術特征摘要】
1.一種提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，針對單個模型，通過集成每次優化器優化后的權重，增強對模型權重歷史狀態的記憶，以防止模型發生災難性遺忘；利用自我指導和專家指導，以引導成員模型學習正確的決策邊界，使模型能夠更快地收斂，提高模型的準確性和魯棒性。
2.如權利要求1所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，包括：
3.如權利要求2所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，s1具體包括：
4.如權利要求2所述的提高深度神經網絡系統魯棒性的引導對抗訓練方法，其特征在于，s2具體包括：定義self-guidence?loss
5.如權利要求2所述的提高深度神經網絡系統魯棒性...
【專利技術屬性】
技術研發人員：錢亞冠，陶祥興，趙陳雨，康明，王海江，張宇來，
申請(專利權)人：浙江科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。