【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于網(wǎng)絡(luò)安全，具體涉及一種網(wǎng)絡(luò)流量檢測(cè)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、近年來(lái)網(wǎng)絡(luò)安全形勢(shì)愈演愈烈，檢測(cè)網(wǎng)絡(luò)中的惡意入侵行為是一項(xiàng)重要挑戰(zhàn)。網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)（nids）是保護(hù)目標(biāo)網(wǎng)絡(luò)免受惡意攻擊的一種可行方案。之前大部分研究工作利用已知數(shù)據(jù)作為先驗(yàn)知識(shí)來(lái)學(xué)習(xí)入侵檢測(cè)模型賦能入侵檢測(cè)系統(tǒng)，然后部署在實(shí)際網(wǎng)絡(luò)環(huán)境中檢測(cè)入侵，即網(wǎng)絡(luò)流量數(shù)據(jù)的統(tǒng)計(jì)特征和標(biāo)簽分布是不會(huì)發(fā)生變化的，但是在真實(shí)網(wǎng)絡(luò)環(huán)境中流量的特征和分布會(huì)隨著時(shí)間改變，例如郵件系統(tǒng)、社交網(wǎng)絡(luò)中用戶的行為可能會(huì)隨時(shí)間變化，導(dǎo)致數(shù)據(jù)分布發(fā)生變化，這種現(xiàn)象稱為“概念漂移”。此外，新的漏洞和攻擊類別不斷涌現(xiàn)，比如0-day、n-day；數(shù)據(jù)生成的環(huán)境和數(shù)據(jù)收集方式也可能會(huì)發(fā)生變化。上述情況都會(huì)引起入侵檢測(cè)系統(tǒng)的決策偏差，忽略了新的數(shù)據(jù)分布中出現(xiàn)的新模式和異常行為，從而導(dǎo)致模型老化。因此，僅考慮穩(wěn)定網(wǎng)絡(luò)環(huán)境和已知類攻擊已經(jīng)無(wú)法滿足有效網(wǎng)絡(luò)入侵檢測(cè)的實(shí)際應(yīng)用需求。
2、概念漂移的處理方法主要分為被動(dòng)處理方法和主動(dòng)處理方法。被動(dòng)處理方法在處理概念漂移時(shí)，不依賴于顯示的概念漂移檢測(cè)機(jī)制，而是通過(guò)持續(xù)地調(diào)整學(xué)習(xí)模型來(lái)適應(yīng)數(shù)據(jù)流中的潛在變化。現(xiàn)有的方法有單一學(xué)習(xí)器方法和集成學(xué)習(xí)方法。單一學(xué)習(xí)器方法在處理概念漂移時(shí)，通過(guò)控制模型復(fù)雜度來(lái)適應(yīng)數(shù)據(jù)流的變化，這類方法的優(yōu)點(diǎn)在于計(jì)算開(kāi)銷小，能夠?qū)崟r(shí)適應(yīng)數(shù)據(jù)流的變化，在決策樹(shù)模型中增量式地替換葉節(jié)點(diǎn)或定期掃描決策樹(shù)來(lái)檢測(cè)和適應(yīng)概念漂移；貝葉斯模型中通過(guò)實(shí)施遺忘機(jī)制來(lái)快速調(diào)整屬性權(quán)重。集成學(xué)習(xí)方法依賴于多樣性和適應(yīng)性兩個(gè)基
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)針對(duì)上述問(wèn)題，提供了一種網(wǎng)絡(luò)流量檢測(cè)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，旨在對(duì)正常流量和惡意流量具有持續(xù)高效的判別能力。
2、根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種網(wǎng)絡(luò)流量檢測(cè)方法，所述方法包括以下步驟：
3、對(duì)捕獲到的網(wǎng)絡(luò)流量提取流級(jí)別特征，對(duì)所述流級(jí)別特征進(jìn)行獨(dú)熱編碼，得到多維特征向量，利用kmeans算法對(duì)所述多維特征向量分別進(jìn)行良性流量和惡意流量聚類，并生成子類標(biāo)簽；
4、使用多質(zhì)心對(duì)比自編碼器對(duì)所述多維特征向量降維，得到嵌入特征向量；
5、使用多層感知器對(duì)所述嵌入特征向量進(jìn)行二分類，獲取所述嵌入特征向量的良性類置信度和惡意類置信度，并確定置信度高對(duì)應(yīng)的類為預(yù)測(cè)類；
6、基于所述嵌入特征向量的子類質(zhì)心和置信度篩選待檢測(cè)樣本，并利用篩選出的所述待檢測(cè)樣本優(yōu)化所述多質(zhì)心對(duì)比自編碼器和所述多層感知器。
7、在一些實(shí)施例中，所述kmeans算法中設(shè)置k值范圍為2~20，計(jì)算不同k值對(duì)應(yīng)的輪廓系數(shù)，保存最大輪廓系數(shù)對(duì)應(yīng)的k值并生成對(duì)應(yīng)的子類標(biāo)簽。
8、在一些實(shí)施例中，所述多質(zhì)心對(duì)比自編碼器的損失函數(shù)表達(dá)式如下：
9、，
10、其中，表示原始樣本特征，表示的期望值，表示的重構(gòu)樣本特征，是損失系數(shù)，表示樣本和樣本的期望值，、、、均為與樣本和樣本類別相關(guān)的參數(shù)，表示樣本和樣本的嵌入特征向量之間的距離，中的+表示當(dāng)大于預(yù)設(shè)的取值時(shí)，為0，中的表示當(dāng)大于預(yù)設(shè)的取值時(shí)，為0。
11、在一些實(shí)施例中，所述待檢測(cè)樣本被篩選的可能性具體為：基于多層感知器預(yù)測(cè)的良性類和惡意類，分別計(jì)算出良性類和惡意類各子類的質(zhì)心，并找出一個(gè)距離待檢測(cè)樣本最近的良性類質(zhì)心和一個(gè)距離待檢測(cè)樣本最近的惡意類質(zhì)心，然后計(jì)算兩個(gè)最近距離之間的最小比值；利用多層感知器預(yù)測(cè)對(duì)待檢測(cè)樣本輸出的置信度獲取待檢測(cè)樣本的不確定性概率，將所述最小比值與所述不確定概率相加構(gòu)成待檢測(cè)樣本的選擇可能性。
12、在一些實(shí)施例中，所述待檢測(cè)樣本的選擇可能性用表達(dá)式表示如下：
13、，
14、其中，表示在嵌入空間中待檢測(cè)樣本和最近良性類質(zhì)心之間的距離，表示在嵌入空間中待檢測(cè)樣本和最近惡意類質(zhì)心之間的距離，表示待檢測(cè)樣本經(jīng)過(guò)多質(zhì)心對(duì)比自編碼器后的嵌入特征向量，是嵌入特征向量經(jīng)過(guò)多層感知器后輸出的置信度。
15、根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種網(wǎng)絡(luò)流量檢測(cè)系統(tǒng)，所述系統(tǒng)包括：
16、網(wǎng)絡(luò)流量預(yù)處理模塊，用于對(duì)捕獲到的網(wǎng)絡(luò)流量提取流級(jí)別特征，對(duì)所述流級(jí)別特征進(jìn)行獨(dú)熱編碼，得到多維特征向量，利用kmeans算法對(duì)所述多維特征向量分別進(jìn)行良性流量和惡意流量聚類，并生成子類標(biāo)簽；
17、網(wǎng)絡(luò)流量表示模塊，用于使用多質(zhì)心對(duì)比自編碼器對(duì)所述多維特征向量降維，得到嵌入特征向量；
18、網(wǎng)絡(luò)流量檢測(cè)模塊，用于使用多層感知器對(duì)所述嵌入特征向量進(jìn)行二分類，獲取所述嵌入特征向量的良性類置信度和惡意類置信度，并確定置信度高對(duì)應(yīng)的類為預(yù)測(cè)類；
19、適應(yīng)模塊，用于基于所述嵌入特征向量的子類質(zhì)心和置信度篩選待檢測(cè)樣本，并利用篩選出的所述待檢測(cè)樣本優(yōu)化所述多質(zhì)心對(duì)比自編碼器和所述多層感知器。
20、在一些實(shí)施例中，所述網(wǎng)絡(luò)流量預(yù)處理模塊中所述kmeans算法中設(shè)置k值范圍為2~20，計(jì)算不同k值對(duì)應(yīng)的輪廓系數(shù)，保存最大輪廓系數(shù)對(duì)應(yīng)的k值并生成對(duì)應(yīng)的子類標(biāo)簽。
21、在一些實(shí)施例中，所述適應(yīng)模塊中所述待檢測(cè)樣本被篩選的可能性具體為：基于多層感知器預(yù)測(cè)的良性類和惡意類，分別計(jì)算出良性類和惡意類各子類的質(zhì)心，并找出一個(gè)距離待檢測(cè)樣本最近的良性類質(zhì)心和一個(gè)距離待檢測(cè)樣本最近的惡意類質(zhì)心，然后計(jì)算兩個(gè)最近距離之間的最小比值；利用多層感知器預(yù)測(cè)對(duì)待檢測(cè)樣本輸出的置信度獲取待檢測(cè)樣本的不確定性概率，將所述最小比值與所述不確定概率相加構(gòu)成待檢測(cè)樣本的選擇可能性。
22、根據(jù)本公開(kāi)實(shí)施例的第三方面，提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述網(wǎng)絡(luò)流量檢測(cè)方法的步驟。
23、根據(jù)本公開(kāi)實(shí)施例的第四方面，提供一種非臨時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述kmeans算法中設(shè)置k值范圍為2~20，計(jì)算不同k值對(duì)應(yīng)的輪廓系數(shù)，保存最大輪廓系數(shù)對(duì)應(yīng)的k值并生成對(duì)應(yīng)的子類標(biāo)簽。
3.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述多質(zhì)心對(duì)比自編碼器的損失函數(shù)表達(dá)式如下：
4.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述待檢測(cè)樣本被篩選的可能性具體為：基于多層感知器預(yù)測(cè)的良性類和惡意類，分別計(jì)算出良性類和惡意類各子類的質(zhì)心，并找出一個(gè)距離待檢測(cè)樣本最近的良性類質(zhì)心和一個(gè)距離待檢測(cè)樣本最近的惡意類質(zhì)心，然后計(jì)算兩個(gè)最近距離之間的最小比值；利用多層感知器預(yù)測(cè)對(duì)待檢測(cè)樣本輸出的置信度獲取待檢測(cè)樣本的不確定性概率，將所述最小比值與所述不確定概率相加構(gòu)成待檢測(cè)樣本的選擇可能性。
5.根據(jù)權(quán)利要求4所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述待檢測(cè)樣本的選擇可能性用表達(dá)式表示如下：
6.一種網(wǎng)絡(luò)流量檢測(cè)系統(tǒng)，其特征在于，所述系統(tǒng)包括：
7.根據(jù)權(quán)利要求6所述
8.根據(jù)權(quán)利要求6所述網(wǎng)絡(luò)流量檢測(cè)系統(tǒng)，其特征在于，所述適應(yīng)模塊中所述待檢測(cè)樣本被篩選的可能性具體為：基于多層感知器預(yù)測(cè)的良性類和惡意類，分別計(jì)算出良性類和惡意類各子類的質(zhì)心，并找出一個(gè)距離待檢測(cè)樣本最近的良性類質(zhì)心和一個(gè)距離待檢測(cè)樣本最近的惡意類質(zhì)心，然后計(jì)算兩個(gè)最近距離之間的最小比值；利用多層感知器預(yù)測(cè)對(duì)待檢測(cè)樣本輸出的置信度獲取待檢測(cè)樣本的不確定性概率，將所述最小比值與所述不確定概率相加構(gòu)成待檢測(cè)樣本的選擇可能性。
9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述網(wǎng)絡(luò)流量檢測(cè)方法的步驟。
10.一種非臨時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，其特征在于，所述指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述網(wǎng)絡(luò)流量檢測(cè)方法的步驟。
...【技術(shù)特征摘要】
1.一種網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述kmeans算法中設(shè)置k值范圍為2~20，計(jì)算不同k值對(duì)應(yīng)的輪廓系數(shù)，保存最大輪廓系數(shù)對(duì)應(yīng)的k值并生成對(duì)應(yīng)的子類標(biāo)簽。
3.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述多質(zhì)心對(duì)比自編碼器的損失函數(shù)表達(dá)式如下：
4.根據(jù)權(quán)利要求1所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述待檢測(cè)樣本被篩選的可能性具體為：基于多層感知器預(yù)測(cè)的良性類和惡意類，分別計(jì)算出良性類和惡意類各子類的質(zhì)心，并找出一個(gè)距離待檢測(cè)樣本最近的良性類質(zhì)心和一個(gè)距離待檢測(cè)樣本最近的惡意類質(zhì)心，然后計(jì)算兩個(gè)最近距離之間的最小比值；利用多層感知器預(yù)測(cè)對(duì)待檢測(cè)樣本輸出的置信度獲取待檢測(cè)樣本的不確定性概率，將所述最小比值與所述不確定概率相加構(gòu)成待檢測(cè)樣本的選擇可能性。
5.根據(jù)權(quán)利要求4所述網(wǎng)絡(luò)流量檢測(cè)方法，其特征在于，所述待檢測(cè)樣本的選擇可能性用表達(dá)式表示如下：
6.一種網(wǎng)絡(luò)流量檢測(cè)系統(tǒng)，其特征在于，所述系統(tǒng)包括：
7.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：顧釗銓，張明瑞，杜磊，陳翊璐，馮文英，曾麗儀，宋翔宇，肖雨佳，石雨佳，
申請(qǐng)(專利權(quán))人：哈爾濱工業(yè)大學(xué)深圳哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。