【技術實現步驟摘要】
本專利技術涉及計算機安全，具體涉及一種多線程匯聚時序數據的處理系統及處理方法。
技術介紹
1、隨著信息技術的不斷發展，網絡流量呈現出爆炸式的增長，特別是在5g、云計算、物聯網等技術的推動下，網絡流量變得更加復雜和多樣化。這要求網絡流量告警系統能夠處理和分析大規模的數據流，以識別和響應潛在的安全威脅。
2、網絡攻擊手段日益復雜，包括apt攻擊、0day漏洞利用、ddos攻擊等，這些攻擊往往難以通過傳統的安全設備檢測。因此，網絡流量告警系統需要具備高級的分析能力，能夠及時發現這些復雜的威脅。全流量數據采集是網絡流量告警的基礎，它要求系統能夠實時監控網絡中的所有數據包，并對這些數據進行深入分析。這包括會話重組、應用層協議解析、pcap數據存儲等技術，以確保數據的完整性和準確性。在海量的網絡流量數據中，如何快速準確地識別出異常行為和潛在威脅是一個挑戰。
3、為了適應巨大的流量和快速識別的要求，全流量數據采集系統一般會剝離其他業務，只專注于協議解析和日志輸出。想要發現其中的告警一般也不會加入到識別流程。
4、由于內存空間限制和時效性，全流量的采集系統一定會存在日志輸出的閾值判斷問題，一般都會結合時間和空間來做閾值判斷輸出日志。例如兩個人之間通話，做流還原日志的時候可能出現通話時間很長，流一直沒結束的情況。在空間限制和保證時效性的情況下，同一條流滿足一定空間或滿足一段時間后，會先輸出已有的日志，后續日志會繼續采集和按閾值條件輸出。
5、由于輸出一般是多線程處理，這樣的條件下，輸出的日志會有幾個
6、1.系統時間整點之后可能會輸出整點之前的日志；
7、2.多條日志之間存在順序不一致的情況；
8、3.流量停止的時間和最后一條日志推送的時間可能差距較大。
9、公布號為cn116610252a的中國專利公開了一種具有數據歸納存儲功能的大數據采集系統，其在對這類日志進行分析時大多都是基于已經存儲后的日志，通過檢索提取日志并分析后得到結果。這樣的方式雖然可以忽略輸出日志順序問題，但是數據準確性和時效性之間不好平衡。比如在判斷11點整點的流量閾值告警，要想數據準確就需要保證11點整點數據都存儲到位，并且查詢的時刻之后，不會再產生新的11點整點數據。這個時刻的把握是比較困難的，假如不管時刻問題，后續做補償機制又會涉及需要修改之前數據，復雜度高，性能低下等問題。
10、再則，現有技術基本都會直接存儲無序的日志，依靠數據本身的時間屬性和數據庫的排序能力，通過檢索提取日志并分析后得到結果。想要保證最后得到的結果是準確的，這里有幾個比較難以解決的問題：
11、1.如何保證定時掃描的日志是完整的。例如規則是對比相鄰兩個小時內指定ip的流量變化超過一定范圍，此場景下需要確定相鄰的兩個小時對應日志都已經存儲完畢。通常的做法是采用事務入庫記錄時間或多次嘗試讀取觀察日志條數變化，采用事務的方法會極大的降低入庫性能，多次嘗試讀取的方法本身是不夠穩定的，只能在一定限度下保證日志的完整。
12、2.如何在數據量很大時高性能的訪問存儲的日志數據。在很多規則的場景下，每個規則可能都對應不同結構的日志，可以用一張表把所有規則的數據都存儲下來，這樣帶來的問題是數據量大的時候，每個規則檢索本身需要的數據會很耗性能，及時按照規則和時間分區，也會帶來分區過多，檢索分區的性能消耗。
技術實現思路
1、本專利技術針對以上問題，提供一種多線程匯聚時序數據的處理系統及處理方法。
2、采用的技術方案是，一種多線程匯聚時序數據的處理系統，包括規則匹配組件和數據緩存組件；
3、所述規則匹配組件用于對接網絡流量，并基于設定的規則提取流量中的協議數據；
4、所述數據緩存組件用于緩存匯聚完成的有序的協議數據，并提供先進先出的讀取接口。
5、可選的，規則匹配組件包括規則匹配線程組和數據匯聚線程組；
6、所述規則匹配線程組中包含多個規則，基于設定的規則從接收到的網絡流量數據中過濾出目標數據，并將目標數據推送至數據匯聚線程組；
7、所述數據匯聚線程組中具有與規則匹配線程組相等的線程數量，且數據匯聚線程組中線程與規則匹配線程組中線程一一對應。
8、可選的，數據匯聚線程組中每一個線程中的數據通過一個鏈表存儲，且鏈表內按照規則的時間粒度匯聚每條數據的內容。
9、可選的，數據匯聚線程組接收規則匹配線程組推送的目標數據后，會在一個線程中進行數據的預插入，且所述線程中鏈表尾部的數據比預插入的數據小，則增加新的尾部節點數據，若預插入的數據和鏈表尾部的數據一致，則匯聚對應的數據。
10、可選的，數據匯聚線程組中設置有定時器，且在每一個定時器周期內，取所有數據匯聚線程的鏈表頭數據中時間最小的數據，若存在多個相同的時間取第一個，在判斷最小值的同時，給每一個鏈表頭數據等于最小值的打上標記，判斷完成時，對所有的最小值斷鏈并推送到數據緩存組件。
11、可選的，每一個所述緩存隊列與規則匹配線程組中的規則相匹配，同一批規則只會推送到同一個緩存隊列。
12、本申請還提供了一種多線程匯聚時序數據的處理方法，其基于一種多線程匯聚時序數據的處理系統實現，其中應用于規則匹配線程組端，方法包括以下步驟：
13、接收網絡流量數據；
14、基于設定的規則從網絡流量數據中過濾得到目標數據；
15、將目標數據推送至數據匯聚線程組。
16、本申請還提供了一種多線程匯聚時序數據的處理方法，其基于一種多線程匯聚時序數據的處理系統實現，其中應用于數據匯聚線程組端，方法包括以下步驟：
17、建立鏈表，并按照設定規則的時間粒度匯聚每條數據的內容于鏈表內；
18、接收規則匹配線程組端推送的目標數據，并在鏈表內進行預插入；
19、在一個定時器周期內，取所有數據匯聚線程的鏈表頭數據中時間最小的數據斷鏈并推送到數據緩存組件。
20、本申請還提供了一種多線程匯聚時序數據的處理方法，其基于一種多線程匯聚時序數據的處理系統實現，其中應用于數據緩存組件端，方法包括以下步驟：
21、建立緩存隊列；
22、緩存隊列與規則分組相匹配。
23、本專利技術的有益包括：
24、1.提供了一套多線程匯聚時序數據的處理系統及處理方法，一方面避免使用事務或多次嘗試讀取性能低下和存儲日志量過大的問題，另一方面保證最后數據的準確性。
25、2.同時較之現有技術，本申請提供的技術方案不做日志存儲，只做日志緩存，節省了大量的磁盤空間；不存在后期檢索方式需要校驗數據準確性的問題，只在一定時間內保留規則需要的數據，省去了后期檢索和存儲的性能；定時器還可以根據實際需要進行調整，在一定范圍內既保證數據準確性又縮短出告警的延遲；方法中的計算基本都是基于線程數量的，時間復雜度是o(1),性能后期檢索的方式高本文檔來自技高網...
【技術保護點】
1.一種多線程匯聚時序數據的處理系統，其特征在于，包括規則匹配組件和數據緩存組件；
2.根據權利要求1所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述規則匹配組件包括規則匹配線程組和數據匯聚線程組；
3.根據權利要求2所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組中每一個線程中的數據通過一個鏈表存儲，且鏈表內按照規則的時間粒度匯聚每條數據的內容。
4.根據權利要求3所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組接收規則匹配線程組推送的目標數據后，會在一個線程中進行數據的預插入，且所述線程中鏈表尾部的數據比預插入的數據小，則增加新的尾部節點數據，若預插入的數據和鏈表尾部的數據一致，則匯聚對應的數據。
5.根據權利要求3所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組中設置有定時器，且在每一個定時器周期內，取所有數據匯聚線程的鏈表頭數據中時間最小的數據，若存在多個相同的時間取第一個，在判斷最小值的同時，給每一個鏈表頭數據等于最小值的打上標記，判斷完成時，對所有
6.根據權利要求5所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據緩存組件中包括多個緩存隊列，數據緩存組件提供申請隊列的接口，在初始化的時候進行申請并對接規則匹配組件，數據緩存組件將數據保存到內存中，當新的數據被加載到緩存時，它被添加到隊列的末尾，當需要從緩存中讀取數據時，數據從隊列的頭部取出。
7.根據權利要求6所述的一種多線程匯聚時序數據的處理系統，其特征在于，每一個所述緩存隊列與規則匹配線程組中的規則相匹配，同一批規則只會推送到同一個緩存隊列。
8.一種多線程匯聚時序數據的處理方法，基于權利要求2中的一種多線程匯聚時序數據的處理系統實現，其特征在于，應用于規則匹配線程組端，方法包括以下步驟：
9.一種多線程匯聚時序數據的處理方法，基于權利要求5中的一種多線程匯聚時序數據的處理系統實現，其特征在于，應用于數據匯聚線程組端，方法包括以下步驟：
10.一種多線程匯聚時序數據的處理方法，基于權利要求7中的一種多線程匯聚時序數據的處理系統實現，其特征在于，應用于數據緩存組件端，方法包括以下步驟：
...【技術特征摘要】
1.一種多線程匯聚時序數據的處理系統，其特征在于，包括規則匹配組件和數據緩存組件；
2.根據權利要求1所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述規則匹配組件包括規則匹配線程組和數據匯聚線程組；
3.根據權利要求2所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組中每一個線程中的數據通過一個鏈表存儲，且鏈表內按照規則的時間粒度匯聚每條數據的內容。
4.根據權利要求3所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組接收規則匹配線程組推送的目標數據后，會在一個線程中進行數據的預插入，且所述線程中鏈表尾部的數據比預插入的數據小，則增加新的尾部節點數據，若預插入的數據和鏈表尾部的數據一致，則匯聚對應的數據。
5.根據權利要求3所述的一種多線程匯聚時序數據的處理系統，其特征在于，所述數據匯聚線程組中設置有定時器，且在每一個定時器周期內，取所有數據匯聚線程的鏈表頭數據中時間最小的數據，若存在多個相同的時間取第一個，在判斷最小值的同時，給每一個鏈表頭數據等于最小值的打上標記，判斷完成時，對所有的最小值斷...
【專利技術屬性】
技術研發人員：林康，龔泓旭，孟召瑞，
申請(專利權)人：北京科來數據分析有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。