一種海量事件的處理方法及裝置制造方法及圖紙

本發明專利技術公開了一種海量事件的處理方法及裝置，其方法包括：事件處理引擎通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；事件查詢引擎根據用戶輸入的時間范圍，從時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。采用本發明專利技術，可以在提高查詢速度的同時，不降低事件的入庫速度，且基本不增加磁盤占用空間。

【技術實現步驟摘要】
一種海量事件的處理方法及裝置
本專利技術涉及計算機系統信息安全應用技術，尤其涉及一種海量事件的處理方法及裝置。
技術介紹
隨著信息技術的飛速發展，政府和企事業單位的核心業務的信息化程度越來越高，信息設備也越來越多，同時，隨著信息系統網絡化的程度越來越高，面臨的信息安全風險也日益增加。信息系統相關的各種軟硬件設備、主機、應用系統、安全防護設施都會產生日志，并且這些設備都分散在網絡拓撲中的不同位置，它們各自產生日志，由于每種設備類型的日志格式都不相同，并且每個設備或應用系統都有自己的日志查看控制臺，因此，對于審計人員來說信息量太大了，根本沒有精力去查看這么多控制臺，更不要說去分析其中的日志信息了。另一方面，為了加強內控，國家機關和行業的主管部門也相繼頒布了各種合規和內控方面的法律法規和指引，在這種情況下，針對網絡中業務系統進行全方位審計的系統是越來越重要，日志審計系統就是為了應對這種挑戰而出現的。在日志審計系統的應用環境中，很多設備，尤其是網絡安全設備產生的日志量十分巨大，單個防火墻每秒就可能產生成千上萬條的日志信息，而全網的設備每天產生的日志量就更加可觀，可能數以百GB計。日志審計系統能夠實現對分散的海量日志進行收集，同時對這些日志格式進行規范化統一描述，以實現對日志的集中化存儲、分析、審計和展示，并滿足相關法規標準的符合性要求。日志審計系統最主要的應用環境是海量日志的保存、取證，同時，對于海量日志的查詢，也是日志審計系統或安全管理平臺必需的功能。但是，隨著系統里存儲的事件越來越多，查詢的速度卻越來越慢，用戶的體驗也會越來越差，這是目前日志審計系統與安全管理平臺普遍面臨的難題之一。綜上所述，當前日志審計系統主要面臨如下問題:1)事件入庫速度與事件查詢速度互相制約的矛盾；2)入庫事件量越來越大與事件查詢速度越來越慢的矛盾。
技術實現思路
本專利技術解決的技術問題是提供一種海量事件的處理方法及裝置，在提高查詢速度的同時，不降低事件的入庫速度，且基本不增加磁盤占用空間。為解決上述技術問題，本專利技術提供了一種海量事件的處理方法，所述方法包括:事件處理引擎通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；事件查詢引擎根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。其中，上述方法還包括:所述事件處理引擎還依據預定的時間范圍分片規則，將同一個時間分段的事件數據存儲到所述時間分段內的多個時間分片所對應的時間分片數據表中；所述事件查詢引擎根據用戶輸入的時間范圍，依次查詢所述時間范圍所包含的各時間分片所對應的時間分片數據表中的事件數據。其中，所述不同時間分段時間表或者不同時間分片數據表存儲在相同的數據庫服務器上，或者存儲在多個數據庫服務器上。其中，上述方法還包括:對查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據進行展/Jn ο其中，將查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據以柱狀圖的方式進行展示。本專利技術還提供了一種海量事件的處理裝置，所述裝置包括:存儲模塊，通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；查詢模塊，根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。其中，展示模塊，對查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據進行展示。其中，所述存儲模塊，還用于依據預定的時間范圍分片規則，將同一個時間分段的事件數據存儲到所述時間分段內的多個時間分片所對應的時間分片數據表中；所述查詢模塊，用于根據用戶輸入的時間范圍，依次查詢所述時間范圍所包含的各時間分片所對應的時間分片數據表中的事件數據。其中，所述存儲模塊，用于將不同時間分段時間表或者不同時間分片數據表存儲在相同的數據庫服務器上，或者存儲在多個數據庫服務器上。其中，所述展示模塊，用于將查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據以柱狀圖的方式進行展示。本申請針對目前的技術方案中存在的主要問題而設計了一種高性能的海量事件的處理方法，包括了事件的存儲方法與事件查詢方法，通過分段處理與并發處理的技術，通過對時間進行分段及進一步切片，大幅度地提高了事件查詢速度，極大地提高了事件查詢處理能力與用戶體驗。【附圖說明】此處所說明的附圖用來提供對本專利技術的進一步理解，構成本申請的一部分，本專利技術的示意性實施例及其說明用于解釋本專利技術，并不構成對本專利技術的不當限定。在附圖中:圖1為本專利技術實施例的海量事件處理方法的示意圖；圖2為本專利技術實施例的單機部署方案的海量事件處理裝置的示意圖；圖3為本專利技術實施例的分布式部署方案的海量事件處理裝置的示意圖。【具體實施方式】為了便于闡述本專利技術，以下將結合附圖及具體實施例對本專利技術技術方案的實施作進一步詳細描述。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。本實施例提供一種海量事件處理方法，其具體包括如下內容:分段存儲、分段查詢、分段展示。分段存儲，具體是指對接收到的事件數據按照時間進行分段存儲，依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；或者，依據預定的時間范圍分片規則，將同一個時間分段的事件數據存儲到所述時間分段內的多個時間分片所對應的時間分片數據表中；分段查詢，具體是指對查詢時間進行分段，根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段或者時間分片所對應的時間分段數據表或者時間分片數據表中查詢相應的事件數據；分段展示，具體是指將分段/分片查詢的結果分段展示給用戶。本實施例提供一種海量事件處理裝置，該裝置主要由存儲模塊、查詢模塊(也稱為查詢引擎)、展示模塊三部分組成。其中，存儲模塊主要負責對接收到的事件流進行存儲，為了加快查詢速度，本實施例采用了分段存儲的方式，事件存儲是事件查詢的基礎；查詢引擎，主要負責從存儲模塊中快速查詢相關數據并返回，具體可根據用戶輸入的查詢條件的時間范圍，通過一定的算法，將查詢時間分段，然后分段進行查詢；或者再根據對時間分段的切片進行分片查詢；展示模塊是系統與用戶交互的直接接口，主要功能是與查詢模塊結合，將分段和/或分片查詢的結果分段展現給用戶。其中，存儲模塊，通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；查詢模塊，根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。其中，展示模塊，對查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據進行展示。其中，所述存儲模塊，還用于依據預定的時間范圍分片規則，將同一個時間分段的事件數據存儲到所述時間分段內的多個時間分片所對應的時間分片數據表中；所述查詢模塊，用于根據用戶輸入的時間范圍，依次查詢所述時間范圍所包含的各時間分片所對應的時間分片數據表中的事件數據。其中，所述存儲模塊，用于將不同時間分段時間表或者不同時間分片數據表存儲在相同的數據庫服務器上，或者存儲在多個數據庫服務器上。其中，所述展示模塊，用于本文檔來自技高網...

【技術保護點】
一種海量事件的處理方法，所述方法包括：事件處理引擎通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中；事件查詢引擎根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。

【技術特征摘要】
1.一種海量事件的處理方法，所述方法包括: 事件處理引擎通過多線程的方式，將接收到的不同時間范圍的事件數據依據預定的時間范圍分段規則存儲到每個時間分段所對應的時間分段數據表中； 事件查詢引擎根據用戶輸入的時間范圍，從所述時間范圍所包含的時間分段所對應的時間分段數據表中查詢相應的事件數據。2.如權利要求1所述的方法，還包括: 所述事件處理引擎還依據預定的時間范圍分片規則，將同一個時間分段的事件數據存儲到所述時間分段內的多個時間分片所對應的時間分片數據表中； 所述事件查詢引擎根據用戶輸入的時間范圍，依次查詢所述時間范圍所包含的各時間分片所對應的時間分片數據表中的事件數據。3.如權利要求1或2所述的方法，其中: 所述不同時間分段時間表或者不同時間分片數據表存儲在相同的數據庫服務器上，或者存儲在多個數據庫服務器上。4.如權利要求1或2所述的方法，還包括: 對查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據進行展示。5.如權利要求4所述的方法，其中: 將查詢到的所述時間分段數據表或者所述時間分片數據表中的事件數據以柱狀圖的方式進行展示。6.一種海量事件的處理...

【專利技術屬性】
技術研發人員：趙俊峰，裴澤龍，
申請(專利權)人：北京啟明星辰信息技術股份有限公司，北京啟明星辰信息安全技術有限公司，
類型：發明
國別省市：北京;11