一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法技術(shù)

本發(fā)明專利技術(shù)提出了一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，本申請(qǐng)涉及一種聚合處理方法，尤其涉及一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，屬于數(shù)據(jù)處理領(lǐng)域。本發(fā)明專利技術(shù)首先，基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)，然后，對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理和對(duì)日志數(shù)據(jù)進(jìn)行分析并且提取核心內(nèi)容；最后，根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理和非核心內(nèi)容的細(xì)節(jié)信息進(jìn)行內(nèi)容壓縮處理。保證實(shí)體交互關(guān)系無(wú)損，同時(shí)保留了業(yè)務(wù)分析中需要的細(xì)節(jié)信息，保證實(shí)時(shí)分析過程中相關(guān)數(shù)據(jù)的完整性的同時(shí)，提高了數(shù)據(jù)的查詢使用效率。解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)安全日志數(shù)據(jù)存儲(chǔ)占用空間大、查詢效率低下的技術(shù)問題。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法
本申請(qǐng)涉及一種聚合處理方法，尤其涉及一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，屬于數(shù)據(jù)處理領(lǐng)域。
技術(shù)介紹
隨著網(wǎng)絡(luò)技術(shù)的日益發(fā)展，網(wǎng)絡(luò)應(yīng)用的日漸廣泛，維護(hù)和保障網(wǎng)絡(luò)安全的重要性愈發(fā)凸顯，現(xiàn)階段的網(wǎng)絡(luò)信息數(shù)據(jù)的快速增長(zhǎng)也對(duì)目前的網(wǎng)絡(luò)安全分析工作提出了更高的要求，而大數(shù)據(jù)技術(shù)作為一種新型技術(shù)，在網(wǎng)絡(luò)安全分析工作中得到了廣泛應(yīng)用，為網(wǎng)絡(luò)安全分析與防御提供了新動(dòng)力，成為網(wǎng)絡(luò)安全分析過程中不可或缺的存在。在當(dāng)前的網(wǎng)絡(luò)安全分析工作中，現(xiàn)存的網(wǎng)絡(luò)安全日志數(shù)據(jù)尚未很好地在分析過程中發(fā)揮作用。日志數(shù)據(jù)存儲(chǔ)時(shí)組織形式仍為原始日志的形式，存在數(shù)據(jù)種類繁多、數(shù)據(jù)量巨大、存儲(chǔ)形式復(fù)雜等問題；此外，各維度的日志數(shù)據(jù)，存量和增量數(shù)據(jù)都極大，大量數(shù)據(jù)除時(shí)間屬性外，其余屬性存在極大的冗余，不利于日志數(shù)據(jù)的查詢及后續(xù)分析。在不同的數(shù)據(jù)分析場(chǎng)景中，分析人員希望從數(shù)據(jù)中獲取的信息也會(huì)有所不同，這就導(dǎo)致了數(shù)據(jù)中的部分?jǐn)?shù)據(jù)在實(shí)際分析中是毫無(wú)價(jià)值的，而現(xiàn)有技術(shù)的方法在數(shù)據(jù)聚合處理時(shí)，也將無(wú)價(jià)值的數(shù)據(jù)一同處理并存儲(chǔ)至數(shù)據(jù)庫(kù)中，這就會(huì)導(dǎo)致在后續(xù)的數(shù)據(jù)分析中導(dǎo)入無(wú)價(jià)值的數(shù)據(jù)，造成數(shù)據(jù)量倍增，同時(shí)也增加了分析人員在實(shí)際分析過程中數(shù)據(jù)的使用難度。因此，亟待一種可以解決網(wǎng)絡(luò)安全日志數(shù)據(jù)存儲(chǔ)占用空間大、查詢效率低下的數(shù)據(jù)處理方法。
技術(shù)實(shí)現(xiàn)思路
為解決現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)安全日志數(shù)據(jù)存儲(chǔ)占用空間大、查詢效率低下的技術(shù)問題，本專利技術(shù)提供了一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，從網(wǎng)絡(luò)安全分析的實(shí)際場(chǎng)景出發(fā)，結(jié)合各類網(wǎng)絡(luò)安全日志數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)量、存儲(chǔ)方法的綜合分析，提出了“數(shù)據(jù)規(guī)模盡量壓減、主體信息確保無(wú)損、細(xì)節(jié)信息盡量保存”的數(shù)據(jù)處理原則，通過基于“會(huì)話關(guān)系與日志類型”進(jìn)行分組、對(duì)細(xì)節(jié)性內(nèi)容提煉壓縮的方法對(duì)數(shù)據(jù)進(jìn)行處理，將分析過程中無(wú)價(jià)值的數(shù)據(jù)進(jìn)行壓縮。極大的減少了數(shù)據(jù)之間的冗余，彌補(bǔ)了現(xiàn)有技術(shù)的不足。一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，包括以下步驟：S110.基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)；S120.對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理；S130.構(gòu)建模型對(duì)日志數(shù)據(jù)進(jìn)行分析提取核心內(nèi)容；S140.根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理；S150.對(duì)非核心內(nèi)容的細(xì)節(jié)信息進(jìn)行內(nèi)容壓縮處理。優(yōu)選的，步驟S110所述基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)具體包括以下步驟：S210.根據(jù)各類型日志數(shù)據(jù)的信息設(shè)定相關(guān)配置；S220.讀取配置內(nèi)容進(jìn)行任務(wù)調(diào)度處理；S230.任務(wù)根據(jù)配置中日志的獲取方式等進(jìn)行數(shù)據(jù)獲取。優(yōu)選的，步驟S120所述對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理具體包括以下步驟：S310.獲取至少一個(gè)來源的待規(guī)范化日志數(shù)據(jù)；S320.根據(jù)待規(guī)范化日志數(shù)據(jù)的日志類型構(gòu)建通用結(jié)構(gòu)的信息索引；S330.根據(jù)服務(wù)器的集群節(jié)點(diǎn)多線程地將數(shù)據(jù)源進(jìn)行分片處理；S340.整合各節(jié)點(diǎn)的數(shù)據(jù)獲得規(guī)范化數(shù)據(jù)集。優(yōu)選的，步驟S130所述構(gòu)建模型對(duì)日志數(shù)據(jù)進(jìn)行分析提取核心內(nèi)容具體包括以下步驟：S410.根據(jù)實(shí)際分析場(chǎng)景構(gòu)建不同類型日志數(shù)據(jù)核心內(nèi)容提取模型；S420.確定日志數(shù)據(jù)的數(shù)據(jù)說明信息提取相應(yīng)的協(xié)議信息；S430.提取數(shù)據(jù)內(nèi)容后根據(jù)協(xié)議信息集的內(nèi)容進(jìn)行解碼；S440.根據(jù)模型中構(gòu)建的相應(yīng)特征值對(duì)日志內(nèi)容進(jìn)行計(jì)算后提取核心內(nèi)容。優(yōu)選的，步驟S140所述根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理具體包括以下步驟：S510.把規(guī)范化數(shù)據(jù)集進(jìn)行分塊并分配到多個(gè)計(jì)算節(jié)點(diǎn)；S520.根據(jù)各類日志的主體信息對(duì)數(shù)據(jù)塊進(jìn)行分組聚合函數(shù)的計(jì)算；S530.整合各節(jié)點(diǎn)的計(jì)算結(jié)果得到最終的聚合數(shù)據(jù)結(jié)果集。優(yōu)選的，步驟S150所述對(duì)非核心內(nèi)容的細(xì)節(jié)信息進(jìn)行內(nèi)容壓縮處理具體包括以下步驟：S610.按照細(xì)節(jié)信息重要程度及實(shí)際場(chǎng)景提煉細(xì)節(jié)信息；S620.讀取原始細(xì)節(jié)信息數(shù)據(jù)使用支持的壓縮算法進(jìn)行壓縮得到二進(jìn)制數(shù)組；S630.采用支持的編碼工具對(duì)二進(jìn)制數(shù)組進(jìn)行編碼得到字符串文本；S640.字符串文本拼接壓縮算法和編碼方式得到壓縮文本，壓縮文本和提煉細(xì)節(jié)整合分組結(jié)果后存儲(chǔ)。優(yōu)選的，步驟S110所述基于預(yù)先設(shè)置的配置具體包括，日志數(shù)據(jù)種類、獲取日志數(shù)據(jù)的時(shí)間范圍和頻率、數(shù)據(jù)的獲取方式；所述日志數(shù)據(jù)類型具體包括，網(wǎng)絡(luò)實(shí)體基本信息屬性數(shù)據(jù)、網(wǎng)絡(luò)屬性數(shù)據(jù)和安全屬性數(shù)據(jù)；所述日志數(shù)據(jù)的獲取方式包括實(shí)時(shí)數(shù)據(jù)獲取和離線數(shù)據(jù)獲取；步驟S120所述規(guī)范化處理具體包括，控制數(shù)據(jù)的處理和結(jié)構(gòu)化不一致的數(shù)據(jù)處理；步驟S130所述核心內(nèi)容具體包括，漏洞攻擊相關(guān)日志數(shù)據(jù)和惡意樣本傳播相關(guān)日志數(shù)據(jù)；所述的核心內(nèi)容根據(jù)實(shí)際需要進(jìn)行配置；步驟S130所述漏洞攻擊相關(guān)日志數(shù)據(jù)中的主體為攻擊者IP、被攻擊者IP和使用的漏洞；步驟S130所述惡意樣本傳播相關(guān)日志數(shù)據(jù)的主體為樣本的MD5值、樣本家族和樣本類型；步驟S140所述聚合處理具體是有多個(gè)集群節(jié)點(diǎn)的集群服務(wù)器進(jìn)行數(shù)據(jù)聚合處理，所述集群節(jié)點(diǎn)的負(fù)載狀態(tài)具體包括處理器的使用率、可用線程數(shù)量。優(yōu)選的，步驟S230所述日志數(shù)據(jù)的獲取方式包括實(shí)時(shí)數(shù)據(jù)獲取和離線數(shù)據(jù)獲取；所述實(shí)時(shí)數(shù)據(jù)獲取具體包括，直連數(shù)據(jù)庫(kù)查詢、調(diào)用API接口獲取；所述離線數(shù)據(jù)獲取通過對(duì)離線數(shù)據(jù)文件進(jìn)行讀取后實(shí)現(xiàn)。步驟520所述分組聚合函數(shù)的計(jì)算具體包括分組求和、分組求算數(shù)平均值和分組求最值。優(yōu)選的，包括存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述的處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法的步驟。優(yōu)選的，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法。本專利技術(shù)的有益效果如下：一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，對(duì)比傳統(tǒng)的數(shù)據(jù)聚合處理算法，本專利技術(shù)所提供的方法保證實(shí)體交互關(guān)系無(wú)損，同時(shí)保留了業(yè)務(wù)分析中需要的細(xì)節(jié)信息，保證實(shí)時(shí)分析過程中相關(guān)數(shù)據(jù)的完整性的同時(shí)，提高了數(shù)據(jù)的查詢使用效率。解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)安全日志數(shù)據(jù)存儲(chǔ)占用空間大、查詢效率低下的技術(shù)問題。附圖說明此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：圖1為本專利技術(shù)所述的聚合處理方法流程示意圖；圖2為本專利技術(shù)所述的聚合處理方法中獲取不同類型的日志數(shù)據(jù)的流程示意圖；圖3為本專利技術(shù)所述的聚合處理方法中規(guī)范化處理的流程示意圖；圖4為本專利技術(shù)所述的聚合處理方法中分析提取核心內(nèi)容的流程示意圖；圖5為本專利技術(shù)所述的聚合處理方法中數(shù)據(jù)進(jìn)行分組聚合處理的流程示意圖；圖6為本專利技術(shù)所述的聚合處理方法中內(nèi)容壓縮處理的流程示意圖。具體實(shí)施方式為了使本申請(qǐng)實(shí)施例中的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本申請(qǐng)的示例性實(shí)施例進(jìn)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，其特征在于，包括以下步驟：/nS110.基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)；/nS120.對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理；/nS130.構(gòu)建模型對(duì)日志數(shù)據(jù)進(jìn)行分析提取核心內(nèi)容；/nS140.根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理；/nS150.對(duì)非核心內(nèi)容的細(xì)節(jié)信息進(jìn)行內(nèi)容壓縮處理。/n

【技術(shù)特征摘要】
1.一種網(wǎng)絡(luò)安全日志數(shù)據(jù)的聚合處理方法，其特征在于，包括以下步驟：
S110.基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)；
S120.對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理；
S130.構(gòu)建模型對(duì)日志數(shù)據(jù)進(jìn)行分析提取核心內(nèi)容；
S140.根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理；
S150.對(duì)非核心內(nèi)容的細(xì)節(jié)信息進(jìn)行內(nèi)容壓縮處理。


2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S110所述基于預(yù)先設(shè)置的配置獲取不同類型的日志數(shù)據(jù)具體包括以下步驟：
S210.根據(jù)各類型日志數(shù)據(jù)的信息設(shè)定相關(guān)配置；
S220.讀取配置內(nèi)容進(jìn)行任務(wù)調(diào)度處理；
S230.任務(wù)根據(jù)配置中日志的獲取方式等進(jìn)行數(shù)據(jù)獲取。


3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S120所述對(duì)不同來源的同種類型日志數(shù)據(jù)進(jìn)行規(guī)范化處理具體包括以下步驟：
S310.獲取至少一個(gè)來源的待規(guī)范化日志數(shù)據(jù)；
S320.根據(jù)待規(guī)范化日志數(shù)據(jù)的日志類型構(gòu)建通用結(jié)構(gòu)的信息索引；
S330.根據(jù)服務(wù)器的集群節(jié)點(diǎn)多線程地將數(shù)據(jù)源進(jìn)行分片處理；
S340.整合各節(jié)點(diǎn)的數(shù)據(jù)獲得規(guī)范化數(shù)據(jù)集。


4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟S130所述構(gòu)建模型對(duì)日志數(shù)據(jù)進(jìn)行分析提取核心內(nèi)容具體包括以下步驟：
S410.根據(jù)實(shí)際分析場(chǎng)景構(gòu)建不同類型日志數(shù)據(jù)核心內(nèi)容提取模型；
S420.確定日志數(shù)據(jù)的數(shù)據(jù)說明信息提取相應(yīng)的協(xié)議信息；
S430.提取數(shù)據(jù)內(nèi)容后根據(jù)協(xié)議信息集的內(nèi)容進(jìn)行解碼；
S440.根據(jù)模型中構(gòu)建的相應(yīng)特征值對(duì)日志內(nèi)容進(jìn)行計(jì)算后提取核心內(nèi)容。


5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟S140所述根據(jù)會(huì)話關(guān)系及日志的核心內(nèi)容對(duì)數(shù)據(jù)進(jìn)行分組聚合處理具體包括以下步驟：
S510.把規(guī)范化數(shù)據(jù)集進(jìn)行分塊并分配到多個(gè)計(jì)算節(jié)點(diǎn)；
S520.根據(jù)各類日志的主體信息對(duì)數(shù)據(jù)塊進(jìn)行分組聚合函數(shù)的計(jì)算；
S530.整合各節(jié)點(diǎn)的計(jì)算結(jié)果得到最終的聚合數(shù)據(jù)結(jié)果集。


6.根據(jù)權(quán)利要求5所述的方法，其特征在于，步驟S150所述對(duì)非核心內(nèi)容...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁麗，呂卓航，樓書逸，嚴(yán)寒冰，李志輝，朱天，饒毓，周昊，高川，徐劍，郭晶，呂志泉，韓志輝，馬莉雅，雷君，賈世琳，賀錚，
申請(qǐng)(專利權(quán))人：國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心，
類型：發(fā)明
國(guó)別省市：北京;11