【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，屬于物聯(lián)網(wǎng)設(shè)備入侵。
技術(shù)介紹
1、物聯(lián)網(wǎng)(iot)近年來發(fā)展迅速，在醫(yī)療、交通等多個應(yīng)用領(lǐng)域提供了有用的服務(wù)。與此同時，大量的物聯(lián)網(wǎng)設(shè)備缺乏適當(dāng)?shù)陌踩烙虼巳肭终呖梢院苋菀椎蒯槍ζ渲性S多設(shè)備。因此，對物聯(lián)網(wǎng)設(shè)備采用入侵檢測系統(tǒng)(ids)至關(guān)重要。得益于深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的方法在入侵檢測領(lǐng)域取得了巨大的成功。
2、通常，集中式dl(cdl)技術(shù)從各種物聯(lián)網(wǎng)設(shè)備收集大量流量數(shù)據(jù)，并將這些數(shù)據(jù)上傳到中央服務(wù)器，用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(dnn)模型，用于檢測。雖然這些cdl方法在入侵檢測任務(wù)中可以達(dá)到較高的精度，但存在信息泄露的問題，即隱私敏感的原始數(shù)據(jù)被上傳到中心服務(wù)器，可能被服務(wù)器濫用。為了解決cdl的私有數(shù)據(jù)泄露問題，聯(lián)邦學(xué)習(xí)(fl)最近被應(yīng)用于ids。在fl框架中，設(shè)備通過在中心服務(wù)器上定期交換和聚合dl模型參數(shù)或梯度來協(xié)同訓(xùn)練其本地dl模型，而無需上傳原始數(shù)據(jù)。但傳統(tǒng)fl需要客戶端頻繁上傳dl模型的參數(shù)，其高昂的通信開銷嚴(yán)重阻礙了實(shí)際部署。此外，目前已有很多攻擊可以從上傳的模型參數(shù)恢復(fù)客戶端的原始數(shù)據(jù)，這意味著該方案仍然存在信息泄露的安全風(fēng)險,存在改進(jìn)之處。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，以解決上述
技術(shù)介紹
中提出的問題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：
3、基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法
4、獲取各個客戶端的私有標(biāo)記數(shù)據(jù)集和未標(biāo)記的開放數(shù)據(jù)集；
5、基于分類器模型wk，c對所述私有標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，并將所述未標(biāo)記的開放數(shù)據(jù)集中的每個樣本通過分類器進(jìn)行預(yù)測，計算樣本的置信度分?jǐn)?shù)；
6、創(chuàng)建空集數(shù)據(jù)集并判斷置信度分?jǐn)?shù)是否小于空集的邊界數(shù)，若小于，則在該集合中添加定義樣本，并將定義樣本標(biāo)記為不熟悉標(biāo)簽；
7、假設(shè)所述私有標(biāo)記數(shù)據(jù)集中的每個樣本對客戶端均是熟悉的，并將所述私有標(biāo)記數(shù)據(jù)集中的所有樣本都加入空集數(shù)據(jù)集中；
8、基于未標(biāo)記的開放數(shù)據(jù)集訓(xùn)練鑒別器并得到判別結(jié)果，若判別結(jié)果為0值，則表示為未標(biāo)記的開放數(shù)據(jù)集中的樣本是熟悉的；
9、對未標(biāo)記的開放數(shù)據(jù)集中的每個樣本進(jìn)行預(yù)測和過濾并生成硬標(biāo)簽后上傳至中央服務(wù)器；
10、在中央服務(wù)器收集了所有客戶端的硬標(biāo)簽后，通過投票機(jī)制確定未標(biāo)記開放數(shù)據(jù)集的全局標(biāo)簽；
11、將聚合的標(biāo)簽發(fā)送到每個客戶端，用于訓(xùn)練第二階段分類器。
12、進(jìn)一步的，所述的獲取各個客戶端的私有標(biāo)記數(shù)據(jù)集和未標(biāo)記的開放數(shù)據(jù)集的步驟，具體包括：
13、設(shè)定k個客戶端，每個客戶端k＝1,2，....,k；
14、獲取k個客戶端中的私有標(biāo)記數(shù)據(jù)集和未標(biāo)記的開放數(shù)據(jù)集其中是一個one-hot向量。
15、進(jìn)一步的，所述的基于分類器模型wk，c對所述私有標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，并將所述未標(biāo)記的開放數(shù)據(jù)集中的每個樣本通過分類器進(jìn)行預(yù)測，計算樣本的置信度分?jǐn)?shù)的步驟，具體包括：
16、每個客戶端k用私有標(biāo)記數(shù)據(jù)集訓(xùn)練它的分類器k＝1,2,3...k；
17、通過其中ψ(·，·)表示在這一步中最小化的損失函數(shù)，表示分類器模型函數(shù)f的輸出，即yk,c＝f(xk,c|wk,c)，γ表示學(xué)習(xí)率；
18、將do中的每個樣本通過分類器進(jìn)行預(yù)測，計算樣本的置信度分?jǐn)?shù)為
19、進(jìn)一步的，所述的創(chuàng)建空集數(shù)據(jù)集并判斷置信度分?jǐn)?shù)是否小于空集的邊界數(shù)，若小于，則在該集合中添加定義樣本，并將定義樣本標(biāo)記為不熟悉標(biāo)簽的步驟，具體包括：
20、創(chuàng)建一個空集數(shù)據(jù)集dk,d＝φ；
21、判斷置信度分?jǐn)?shù)小于邊界數(shù)θ，則在該集合中添加定義樣本并且定義樣本將被客戶k識別為不熟悉標(biāo)簽；過程采用表示，其中單一熱點(diǎn)標(biāo)簽[0,1]t表示不熟悉標(biāo)簽，表示置信度分?jǐn)?shù)。
22、進(jìn)一步的，所述假設(shè)所述私有標(biāo)記數(shù)據(jù)集中的每個樣本對客戶端均是熟悉的，并將所述私有標(biāo)記數(shù)據(jù)集中的所有樣本都加入空集數(shù)據(jù)集中的步驟，具體包括：
23、設(shè)定私有標(biāo)記數(shù)據(jù)集dk，d中的每個樣本對客戶端均是熟悉的；
24、將私有標(biāo)記數(shù)據(jù)集dk,d中的所有樣本都加入空集數(shù)據(jù)集dk,d＝φ中，樣本標(biāo)簽是都熟悉的；過程采用表示，其中單一熱點(diǎn)標(biāo)記[1，0]t表示熟悉的標(biāo)記，其中表示私有標(biāo)記數(shù)據(jù)集中的樣本。
25、進(jìn)一步的，所述的基于未標(biāo)記的開放數(shù)據(jù)集訓(xùn)練鑒別器并得到判別結(jié)果，若判別結(jié)果為0值，則表示為未標(biāo)記的開放數(shù)據(jù)集中的樣本是熟悉的步驟，具體包括：
26、計算判別結(jié)果為其中，f(·|wk，d)的輸出是一個二維向量，將argmax(·)作為向量最大值的指標(biāo)；
27、若則未標(biāo)記的開放數(shù)據(jù)集中的樣本是熟悉的。
28、進(jìn)一步的，所述的對未標(biāo)記的開放數(shù)據(jù)集中的每個樣本進(jìn)行預(yù)測和過濾并生成硬標(biāo)簽后上傳至中央服務(wù)器的步驟，具體包括：
29、對于未標(biāo)記的開放數(shù)據(jù)集do中的每個樣本預(yù)測被過濾如下:采用-1表示不熟悉的樣本；
30、每個客戶端將硬標(biāo)簽上傳到服務(wù)器。
31、進(jìn)一步的，所述的在中央服務(wù)器收集了所有客戶端的硬標(biāo)簽后，通過投票機(jī)制確定未標(biāo)記開放數(shù)據(jù)集的全局標(biāo)簽的步驟，具體包括：
32、設(shè)定樣本有l(wèi)個空集，即{vj,0,vj,1,...,vj,l-1}；
33、對于一個硬標(biāo)簽若則將硬標(biāo)簽添加到集合其中全局硬標(biāo)簽計算公式為:其中矩陣來表示串聯(lián)的
34、矩陣向每個客戶端廣播。
35、進(jìn)一步的，所述的將聚合的標(biāo)簽發(fā)送到每個客戶端，用于訓(xùn)練第二階段分類器的步驟，具體包括：
36、分類器模型wk，c用進(jìn)行訓(xùn)練；
37、具體流程如下:其中
38、本專利技術(shù)的有益效果是：在本專利技術(shù)中，客戶端首先從中央服務(wù)器下載未標(biāo)記的開放數(shù)據(jù)集，這個步驟對每個客戶端只執(zhí)行一次，節(jié)省人工和時間成本。然后，使用分類器模型wk,c對私有標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，由于無法學(xué)習(xí)到局部數(shù)據(jù)集中不存在的一些流量類別，因此對于不熟悉標(biāo)簽可能會做出錯誤的預(yù)測。因此，引入鑒別器來區(qū)分未標(biāo)記的開放數(shù)據(jù)集是否熟悉，從而提高預(yù)測的質(zhì)量。需要注意的是，分類器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)都使用了基于cnn的模型，可以有效地提取數(shù)據(jù)集的深層特征。接下來，為了進(jìn)一步降低通信成本，客戶端將硬標(biāo)簽上傳到中央服務(wù)器，在中央服務(wù)器收集了所有客戶端的預(yù)測后，通過投票機(jī)制確定未標(biāo)記開放數(shù)據(jù)的全局標(biāo)簽，而不是直接聚合。最后，將聚合的標(biāo)簽發(fā)送到每個客戶端，用于訓(xùn)練第二階段分類器，從而提高了物聯(lián)網(wǎng)設(shè)備入侵檢測的準(zhǔn)確性和性能。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述獲取各個客戶端的私有標(biāo)記數(shù)據(jù)集和未標(biāo)記的開放數(shù)據(jù)集，包括：
3.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述基于分類器模型wk,c對所述私有標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，并將所述未標(biāo)記的開放數(shù)據(jù)集中的每個樣本通過分類器進(jìn)行預(yù)測，計算樣本的置信度分?jǐn)?shù)，包括：
4.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述創(chuàng)建空集數(shù)據(jù)集并判斷所述置信度分?jǐn)?shù)是否小于空集的邊界數(shù)，若小于，則在該集合中添加定義樣本，并將定義樣本標(biāo)記為不熟悉標(biāo)簽，包括：
5.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述假設(shè)所述私有標(biāo)記數(shù)據(jù)集中的每個樣本對客戶端均是熟悉的，并將所述私有標(biāo)記數(shù)據(jù)集中的所有樣本都加入空集數(shù)據(jù)集中，包括：
6.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述基于未標(biāo)記的開放
7.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述對未標(biāo)記的開放數(shù)據(jù)集中的每個樣本進(jìn)行預(yù)測和過濾并生成硬標(biāo)簽后上傳至中央服務(wù)器，包括
8.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述在中央服務(wù)器收集了所有客戶端的硬標(biāo)簽后，通過投票機(jī)制確定未標(biāo)記開放數(shù)據(jù)集的全局標(biāo)簽，包括：
9.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述將聚合的標(biāo)簽發(fā)送到每個客戶端，用于訓(xùn)練第二階段分類器，包括
...【技術(shù)特征摘要】
1.一種基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述獲取各個客戶端的私有標(biāo)記數(shù)據(jù)集和未標(biāo)記的開放數(shù)據(jù)集，包括：
3.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述基于分類器模型wk,c對所述私有標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，并將所述未標(biāo)記的開放數(shù)據(jù)集中的每個樣本通過分類器進(jìn)行預(yù)測，計算樣本的置信度分?jǐn)?shù)，包括：
4.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述創(chuàng)建空集數(shù)據(jù)集并判斷所述置信度分?jǐn)?shù)是否小于空集的邊界數(shù)，若小于，則在該集合中添加定義樣本，并將定義樣本標(biāo)記為不熟悉標(biāo)簽，包括：
5.根據(jù)權(quán)利要求1所述的基于知識蒸餾的半監(jiān)督聯(lián)邦學(xué)習(xí)入侵檢測方法，其特征在于，所述假設(shè)所述私有標(biāo)記數(shù)據(jù)集中的每個樣本對...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：沈韜，趙胤淇，柏粉花，張弛，張曉暉，
申請(專利權(quán))人：昆明理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。