本公開實施例中提供了一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體包括：采用對比學(xué)習(xí)的方法訓(xùn)練分類模型M的特征提取器；進行有監(jiān)督學(xué)習(xí)訓(xùn)練分類網(wǎng)絡(luò)；構(gòu)建生成對抗網(wǎng)絡(luò)，利用生成對抗網(wǎng)絡(luò)中的生成器接收查詢樣本x，并生成偽造的相似樣本x'，將查詢樣本x和相似樣本x'分別輸入判別器得到標(biāo)簽和置信度，并使用反向傳播算法更新生成器和判別器；將特征提取器網(wǎng)絡(luò)和更新后的生成器構(gòu)成保護模塊，實時查詢數(shù)據(jù)經(jīng)過保護模塊生成相似樣本，相似樣本通過待保護模型給出預(yù)測標(biāo)簽及置信度，并根據(jù)分類網(wǎng)絡(luò)對實時查詢數(shù)據(jù)的分類結(jié)果將預(yù)測標(biāo)簽及置信度返回用戶。通過本公開的方案，提高了模型的安全性和適應(yīng)性。
【技術(shù)實現(xiàn)步驟摘要】
本公開實施例涉及數(shù)據(jù)處理，尤其涉及一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法。
技術(shù)介紹
1、目前，隨著機器學(xué)習(xí)、深度學(xué)習(xí)取得了相當(dāng)深入的研究，并在許多應(yīng)用領(lǐng)域取得了非常顯著的成功，機器學(xué)習(xí)應(yīng)用也越來越普遍。作為一項前景廣闊的服務(wù)，機器學(xué)習(xí)即服務(wù)(mlaas)通過付費api為客戶提供個性化推理功能。然而，它很容易受到模型提取攻擊，模型提取攻擊是針對機器學(xué)習(xí)即服務(wù)(mlaas)平臺上部署的模型進行黑盒攻擊，試圖通過預(yù)測api重建具有與目標(biāo)模型類似功能的替代模型。通常攻擊者需要制作精心準備的樣本(合成樣本、對抗性樣本、代理樣本)迭代的去查詢目標(biāo)模型，以得到返回的結(jié)果，進而去訓(xùn)練自己的模型。現(xiàn)有的防御檢測方法中基于查詢分布的檢測，由于代理樣本其分布符合高斯分布且涉及多個串通的惡意用戶，使其合成樣本不相關(guān)(即作為自然數(shù)據(jù)分布)，從而使基于查詢分布的檢測無效。對于對抗性置信度擾動來隱藏給定不同查詢的不同置信度分布，雖然達到了不同查詢所對應(yīng)的置信度差異小，從而降低了目標(biāo)模型的信息泄露，但是并沒有改變不同查詢所對應(yīng)的預(yù)測標(biāo)簽，所以對于只需要預(yù)測標(biāo)簽的模型竊取效果不佳。因此，雖然已經(jīng)提出了許多工作來防御模型提取攻擊，但現(xiàn)有工作都存在局限性且全面性較低。
2、可見，亟需一個安全性和適應(yīng)性高的基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法。
技術(shù)實現(xiàn)思路
1、有鑒于此，本公開實施例提供一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法，至少部分解決現(xiàn)有技術(shù)中存在安全性和適應(yīng)性較差的問題。
>2、本公開實施例提供了一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法，包括：3、步驟1，采用對比學(xué)習(xí)的方法訓(xùn)練分類模型m的特征提取器，通過正樣本和負樣本數(shù)據(jù)訓(xùn)練得到特征提取器網(wǎng)絡(luò)參數(shù)；
4、步驟2，根據(jù)特征提取器網(wǎng)絡(luò)參數(shù)，進行有監(jiān)督學(xué)習(xí)訓(xùn)練分類網(wǎng)絡(luò)，得到訓(xùn)練好的分類模型m；
5、步驟3，構(gòu)建生成對抗網(wǎng)絡(luò)，利用生成對抗網(wǎng)絡(luò)中的生成器接收查詢樣本x，并生成偽造的相似樣本x'，將查詢樣本x和相似樣本x'分別輸入判別器得到標(biāo)簽和置信度，并使用反向傳播算法更新生成器和判別器；
6、步驟4，將特征提取器網(wǎng)絡(luò)和更新后的生成器構(gòu)成保護模塊，實時查詢數(shù)據(jù)經(jīng)過保護模塊生成相似樣本，相似樣本通過待保護模型給出預(yù)測標(biāo)簽及置信度，并根據(jù)分類網(wǎng)絡(luò)對實時查詢數(shù)據(jù)的分類結(jié)果將預(yù)測標(biāo)簽及置信度返回用戶。
7、根據(jù)本公開實施例的一種具體實現(xiàn)方式，所述特征提取網(wǎng)絡(luò)包括編碼器和多層感知機。
8、根據(jù)本公開實施例的一種具體實現(xiàn)方式，所述步驟1具體包括：
9、步驟1.1，構(gòu)造正常查詢數(shù)據(jù)集和異常查詢數(shù)據(jù)集，設(shè)置每批次訓(xùn)練n個樣本，在正常查詢數(shù)據(jù)集和異常查詢數(shù)據(jù)集中分別抽取個樣本，對n個樣本做不同的數(shù)據(jù)增強，得到正樣本對，將其與其它圖像及其增強均作為負樣本，形成正負樣本數(shù)據(jù)集；
10、步驟1.2，將正負樣本數(shù)據(jù)集輸入編碼器提取特征，得到特征表示，經(jīng)過多層感知機得到特征向量，根據(jù)第一損失函數(shù)計算特征向量之間是否達到最大的一致性，其中，所述第一損失函數(shù)的表達式為：
11、
12、其中i[k≠i]∈{0,1}是一個指示函數(shù)，sim(·,·)表示余弦相似度，η為溫度參數(shù)；
13、步驟1.3，通過多個批次的訓(xùn)練得到特征提取器網(wǎng)絡(luò)的參數(shù)，將凍結(jié)其參數(shù)去做下游查詢樣本類型的分類任務(wù)。
14、根據(jù)本公開實施例的一種具體實現(xiàn)方式，所述步驟2具體包括：
15、根據(jù)特征提取器網(wǎng)絡(luò)參數(shù)訓(xùn)練分類網(wǎng)絡(luò)參數(shù)，查詢樣本x為標(biāo)簽數(shù)據(jù)，用第二損失函數(shù)評估分類結(jié)果直至符合要求，其中，所述第二損失函數(shù)表達式為：
16、
17、其中，mc是模型正確類別對應(yīng)的分數(shù)，mi是模型對應(yīng)每個類別的分數(shù)。
18、根據(jù)本公開實施例的一種具體實現(xiàn)方式，所述步驟3具體包括：
19、步驟3.1，生成器接收到查詢樣本x的特征fx，并生成偽造的相似樣本x'，并計算查詢樣本x和相似樣本x’之間的第三損失函數(shù)，其中，所述第三損失函數(shù)為：
20、
21、其中，d是判別器，g是生成器，x是輸入的查詢，t為查詢樣本判定類別，t∈{0,1}，當(dāng)t＝1時，其為惡意查詢樣本，生成的樣本x'盡可能與x不相似，當(dāng)t＝0時，其為正常查詢樣本，生成的樣本x'盡可能與x相似，g(fx)是生成器的輸出，d(g(fx))是判別器對生成器輸出的預(yù)測概率；
22、步驟3.2，判別器計算查詢樣本x和相似樣本x'的相似度，并據(jù)此得到判別器對應(yīng)的第四損失函數(shù)，其中，所述第四損失函數(shù)為：
23、
24、其中，pmax(x)為x置信度最大的類別的置信度值，p'max(x')為x'置信度最大的類別的置信度值；
25、步驟3.3，使用反向傳播算法，迭代步驟3.1和步驟3.2更新生成器和判別器的權(quán)重，直至符合要求。
26、本公開實施例中的基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方案，包括：步驟1，采用對比學(xué)習(xí)的方法訓(xùn)練分類模型m的特征提取器，通過正樣本和負樣本數(shù)據(jù)訓(xùn)練得到特征提取器網(wǎng)絡(luò)參數(shù)；步驟2，根據(jù)特征提取器網(wǎng)絡(luò)參數(shù)，進行有監(jiān)督學(xué)習(xí)訓(xùn)練分類網(wǎng)絡(luò)，得到訓(xùn)練好的分類模型m；步驟3，構(gòu)建生成對抗網(wǎng)絡(luò)，利用生成對抗網(wǎng)絡(luò)中的生成器接收查詢樣本x，并生成偽造的相似樣本x'，將查詢樣本x和相似樣本x'分別輸入判別器得到標(biāo)簽和置信度，并使用反向傳播算法更新生成器和判別器；步驟4，將特征提取器網(wǎng)絡(luò)和更新后的生成器構(gòu)成保護模塊，實時查詢數(shù)據(jù)經(jīng)過保護模塊生成相似樣本，相似樣本通過待保護模型給出預(yù)測標(biāo)簽及置信度，并根據(jù)分類網(wǎng)絡(luò)對實時查詢數(shù)據(jù)的分類結(jié)果將預(yù)測標(biāo)簽及置信度返回用戶。
27、本公開實施例的有益效果為：通過本公開的方案，利用對比學(xué)習(xí)的方法訓(xùn)練特征提取器，并通過監(jiān)督學(xué)習(xí)訓(xùn)練分類網(wǎng)絡(luò)，最終得到分類模型m；通過生成對抗網(wǎng)絡(luò)得到的相似樣本用于混淆查詢樣本從待保護模型得到的置信度值。針對惡意查詢樣本進行預(yù)測擾動，既達到了模型防御的作用，又保證了模型的有效性，提高了安全性和適應(yīng)性。
本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于,所述特征提取網(wǎng)絡(luò)包括編碼器和多層感知機。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于,所述步驟1具體包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于,所述步驟2具體包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于,所述步驟3具體包括：
【技術(shù)特征摘要】
1.一種基于生成對抗網(wǎng)絡(luò)的自適應(yīng)模型竊取防御方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于,所述特征提取網(wǎng)絡(luò)包括編碼器和多層感知機。
3.根據(jù)權(quán)利要求2...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳曉紅，湯晨，曹文治，袁依格，尚蓀培，任劍，
申請(專利權(quán))人：湖南工商大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。