【技術實現步驟摘要】
本專利技術屬于網絡安全，涉及流量識別及異常檢測技術，特別涉及一種面向高級持續威脅的雙階智能異常檢測方法及系統。
技術介紹
1、異常檢測是網絡安全的重要研究方向之一，是發現網絡攻擊線索的一種重要技術手段，尤其是在面對高級持續威脅(advanced?persistent?threat,apt)時，比如檢測c&c惡意通聯和竊密行為等與apt攻擊密切相關的惡意行為，能夠在不掌握特征規則的情況下，起到攻擊線索前置發現的作用。
2、在實際網絡中，由于單位管理要求和ip資源池逐漸匱乏等因素，ip地址往往被劃分為不同的區塊，各自的管理員建立準入與ip動態分配機制，用戶使用設備接入互聯網通常需要獲得許可才能使用互聯網服務。圖1展示了一個典型的ip地址分配示意，可見同一個ip背后的設備大概率并不是一成不變的，而是根據不同需求分配給不同的設備，繼而可能被不同的用戶使用。也就是說，即使是同一個ip，在一個時段下所產生的流量也可能并不是一個設備的行為導致的，而是多臺設備多個用戶混淆產生的流量。
3、為了準確、高效地檢測網絡異常行為，研究者們提出了許多方法，主要包括基于統計的異常檢測方法、基于機器學習的異常檢測方法和基于深度學習的異常檢測方法幾大類。這些方法有助于識別和檢測網絡流量中的異常模式、潛在攻擊或不尋常行為，保護網絡免受惡意活動和威脅的影響。然而，傳統方法通常以ip為單位，通過收集該ip在某個時間窗口內產生的流量樣本進行統計分析或者機器學習，建立正常的流量模型，進而發現異常行為。然而，在實際場景中，如圖1所示，在觀測
4、因此，在實際網絡環境中，由于apt攻擊的多設備、多步驟特性，在面向用戶進行apt相關的異常檢測時，需要將用戶不同設備、不同ip產生的流量進行聚合分析，以獲取全面的信息來支撐用戶網絡行為精準建模。隨著當前越來越多的單位部署了網絡準入管理系統，用戶在連接到互聯網之前基本進行了身份認證，能夠有效從網絡流量中區分出ip地址當前被分配給哪個用戶、哪臺設備。因此，本專利技術面向網絡準入環境，以用戶為單位建立流量模型進行異常檢測，即使在ip動態分配場景下仍然有效，比傳統方法更準確、更實用。此外，本專利技術引入了大模型(large?language?model,llm)技術，通過給定場景案例學習流量數據的內在規律，生成多樣化的有標注攻擊數據，同時根據場景定義仿真不同的有標注數據以支持ai檢測。
技術實現思路
1、針對上述問題，本專利技術公開了一種面向高級持續威脅的雙階智能異常檢測方法及系統，該方法以用戶為單位，建立面向真實網絡環境的集成檢測方案。通過以用戶為單位進行特征提取和異常檢測，本專利技術能夠更全面地了解用戶的行為模式和特征，識別出跨設備的異常活動，并提供更準確的異常檢測結果和異常等級判定。
2、為達到上述目的，本專利技術的技術方案包括以下內容。
3、一種面向高級持續威脅的雙階智能異常檢測方法，所述方法包括：
4、從網絡流量中提取待檢測用戶的用戶流量，以得到該待檢測用戶的行為數據和該待檢測用戶所涉及的每一用戶設備的流量數據；
5、從所述行為數據提取用戶級特征，并從所述流量數據提取該用戶設備的設備級特征；
6、基于所述用戶級特征和所述設備級特征，得到所述用戶流量的異常檢測結果。
7、進一步地，所述從網絡流量中提取待檢測用戶的用戶流量，以得到該待檢測用戶的行為數據和該待檢測用戶所涉及的每一用戶設備的流量數據，包括：
8、將待檢測用戶的用戶賬戶、用戶設備的ip地址和該用戶設備相互映射；
9、基于時間戳，對網絡流量的數據序列進行重排；
10、根據映射結果，將不同時段的重排后網絡流量歸因到該待檢測用戶上，以得到該待檢測用戶的行為數據；
11、根據映射結果，將該待檢測用戶的行為數據歸因到所涉及的用戶設備上，以得到該待檢測用戶所涉及的每一用戶設備的流量數據。
12、進一步地，所述用戶級特征包括：與特定對端通聯的用戶源ip數量、特定時間區間內與特定對端通聯的用戶源端口數量、特定c段下通聯的用戶源ip數量、用戶源ip數、tcp字節數中用戶設備占比、tcp流出字節數中用戶設備占比、總字節數中用戶設備占比、tcp包數中用戶設備占比、tcp流出包數中用戶設備占比和總包數中用戶各設備占比。
13、進一步地，所述設備級特征包括：用戶設備的流量總字節數、用戶設備的流入總字節數、用戶設備的流出總字節數、用戶設備的特定對端ip和port流量總包數、用戶設備的特定對端ip和port的tcp流量總字節數、用戶設備的udp_53端口總包數、用戶設備的特定ip的icmp通聯對端ip數、用戶設備的流入流出字節數比、用戶設備的流入流出包數比值、用戶設備的tcp/udp包數比值、非穩定對端字節數、非穩定對端包數、非穩定對端通聯流入流出字節比、以及非穩定對端通聯流入流出包數比。
14、進一步地，基于所述用戶級特征和所述設備級特征，得到所述用戶流量的異常檢測結果，包括：
15、基于所述用戶級特征識別所述用戶流量是否存在異常；
16、在未識別出所述用戶流量存在異常的情況下，將用戶流量正常作為所述用戶流量的異常檢測結果；
17、在識別出所述用戶流量存在異常的情況下，基于設備級特征識別判斷對應的用戶設備是否存在異常；
18、在所有用戶設備都不存在異常的情況下，將異常告警保持在用戶層面作為所述用戶流量的異常檢測結果；
19、在至少一用戶設備存在異常的情況下，結合該用戶設備的權重計算所述用戶流量的異常等級，并將所述異常等級和存在異常的用戶設備作為所述用戶流量的異常檢測結果。
20、進一步地，基于所述用戶級特征識別所述用戶流量是否存在異常，包括：
21、通過將所述用戶級特征中文本類信息轉為數字信息后，進行min-max歸一處理，得到所述用戶級特征的向量化表示；
22、將所述用戶級特征的向量化表示輸入訓練好的用戶級ai模型，得到用戶流量異常檢測結果；其中，構建用戶級ai模型的方法包括：隨機森林算法。
23、進一步地，所述方法還包括：對訓練好的用戶級ai模型進行半監督適應性更新；
24、所述對訓練好的用戶級ai模型進行半監督適應性更新，包括：
25、通過關聯用戶級ai模型的檢測結果和歷史流量數據，生成標注數據data′＝judge(result,data)[left,right]；其中，judge是關聯函數，result是用戶級ai模型hi的檢測結果，data為歷史流量數據，[left,right]表示數據范圍；其中，i≥0，h0表示所述訓練好的用戶級ai模型本文檔來自技高網...
【技術保護點】
1.一種面向高級持續威脅的雙階智能異常檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述從網絡流量中提取待檢測用戶的用戶流量，以得到該待檢測用戶的行為數據和該待檢測用戶所涉及的每一用戶設備的流量數據，包括：
3.根據權利要求1所述的方法，其特征在于，所述用戶級特征包括：與特定對端通聯的用戶源IP數量、特定時間區間內與特定對端通聯的用戶源端口數量、特定C段下通聯的用戶源IP數量、用戶源IP數、TCP字節數中用戶設備占比、TCP流出字節數中用戶設備占比、總字節數中用戶設備占比、TCP包數中用戶設備占比、TCP流出包數中用戶設備占比和總包數中用戶各設備占比。
4.根據權利要求1所述的方法，其特征在于，所述設備級特征包括：用戶設備的流量總字節數、用戶設備的流入總字節數、用戶設備的流出總字節數、用戶設備的特定對端IP和Port流量總包數、用戶設備的特定對端IP和Port的TCP流量總字節數、用戶設備的UDP_53端口總包數、用戶設備的特定IP的ICMP通聯對端IP數、用戶設備的流入流出字節數比、用戶設備的流入流出包數比值
5.根據權利要求1所述的方法，其特征在于，基于所述用戶級特征和所述設備級特征，得到所述用戶流量的異常檢測結果，包括：
6.根據權利要求5所述的方法，其特征在于，基于所述用戶級特征識別所述用戶流量是否存在異常，包括：
7.根據權利要求6所述的方法，其特征在于，所述方法還包括：對訓練好的用戶級AI模型進行半監督適應性更新；
8.一種面向高級持續威脅的雙階智能異常檢測系統，其特征在于，所述系統包括：
9.一種計算機設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行如權利要求1-7中任一所述面向高級持續威脅的雙階智能異常檢測方法。
10.一種存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1-7中任一所述面向高級持續威脅的雙階智能異常檢測方法。
...【技術特征摘要】
1.一種面向高級持續威脅的雙階智能異常檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述從網絡流量中提取待檢測用戶的用戶流量，以得到該待檢測用戶的行為數據和該待檢測用戶所涉及的每一用戶設備的流量數據，包括：
3.根據權利要求1所述的方法，其特征在于，所述用戶級特征包括：與特定對端通聯的用戶源ip數量、特定時間區間內與特定對端通聯的用戶源端口數量、特定c段下通聯的用戶源ip數量、用戶源ip數、tcp字節數中用戶設備占比、tcp流出字節數中用戶設備占比、總字節數中用戶設備占比、tcp包數中用戶設備占比、tcp流出包數中用戶設備占比和總包數中用戶各設備占比。
4.根據權利要求1所述的方法，其特征在于，所述設備級特征包括：用戶設備的流量總字節數、用戶設備的流入總字節數、用戶設備的流出總字節數、用戶設備的特定對端ip和port流量總包數、用戶設備的特定對端ip和port的tcp流量總字節數、用戶設備的udp_53端口總包數、用戶設備的特定ip的icmp通聯對端ip數、用戶設備的流入流出字節數比、用戶設...
【專利技術屬性】
技術研發人員：李書豪，謝江，云曉春，尹濤，秦瑞，
申請(專利權)人：北京中關村實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。