一種分布式設(shè)備日志采集方法技術(shù)

本發(fā)明專利技術(shù)公開了一種分布式設(shè)備日志采集方法，該方法通過分布式日志處理框架采用中介者模式構(gòu)建集成化數(shù)據(jù)中間層，形成集成數(shù)據(jù)中介管理服務(wù)，該數(shù)據(jù)中介服務(wù)采集設(shè)備日志進(jìn)行分布式存儲(chǔ)在各分布式存儲(chǔ)點(diǎn)上并進(jìn)行數(shù)據(jù)連接，若需增加分布式存儲(chǔ)點(diǎn)時(shí)，采用分布式存儲(chǔ)點(diǎn)動(dòng)態(tài)擴(kuò)展機(jī)制實(shí)現(xiàn)；本發(fā)明專利技術(shù)采用中介者模式，構(gòu)建集成化數(shù)據(jù)中間層，統(tǒng)一采集、格式化處理日志，集中對(duì)分布式數(shù)據(jù)存儲(chǔ)點(diǎn)進(jìn)行統(tǒng)一管理和調(diào)度；采用分表結(jié)構(gòu)，更好的發(fā)揮多線程處理的優(yōu)勢(shì)，建立獨(dú)有的分表索引機(jī)制，與各數(shù)據(jù)存儲(chǔ)點(diǎn)的MariaDB數(shù)據(jù)庫(kù)索引一起，構(gòu)成超大量數(shù)據(jù)分級(jí)索引體系，同時(shí)利用分布式服務(wù)器性能優(yōu)勢(shì)，極大地提高了日志數(shù)據(jù)的存儲(chǔ)與查詢性能。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及一種分布式設(shè)備日志采集方法，屬于計(jì)算機(jī)系統(tǒng)集成及應(yīng)用
?
技術(shù)介紹
隨著網(wǎng)絡(luò)環(huán)境規(guī)模的日益擴(kuò)大，網(wǎng)絡(luò)中各種設(shè)備的數(shù)量急劇增加，來(lái)自外部和內(nèi)部的各種安全和攻擊也在急劇增加，威脅著網(wǎng)絡(luò)信息安全。為了不斷應(yīng)對(duì)新的安全挑戰(zhàn)，企業(yè)和組織先后部署了防病毒系統(tǒng)、防火墻、入侵檢測(cè)系統(tǒng)、漏洞掃描系統(tǒng)、UTM?等等。在這種復(fù)雜的安全體系下，安全審計(jì)變的極為重要。安全審計(jì)的數(shù)據(jù)基礎(chǔ)是防病毒系統(tǒng)、防火墻、入侵檢測(cè)系統(tǒng)、漏洞掃描系統(tǒng)、UTM、運(yùn)行主機(jī)、交換機(jī)、路由器、數(shù)據(jù)庫(kù)系統(tǒng)、中間件等日志事件、狀態(tài)事件和網(wǎng)絡(luò)數(shù)據(jù)包信息。在目前的網(wǎng)絡(luò)環(huán)境中，各種設(shè)備的日志已經(jīng)成為海量數(shù)據(jù)，syslog作為主要的日志類型，被各種操作系統(tǒng)，網(wǎng)絡(luò)設(shè)備和安全設(shè)備廣泛支持，成為日志的重要標(biāo)準(zhǔn)，對(duì)于其他類型的日志，也可以轉(zhuǎn)換為日志格式，便于統(tǒng)一分析。由于目前的日志量極大，因此如何有效地進(jìn)行處理和存儲(chǔ)變得極為重要，在一個(gè)中型的企業(yè)中，一天的日志量可以達(dá)到幾十G甚至上百G，而一般要求這些日志至少保持3個(gè)月，那么在一個(gè)安全審計(jì)系統(tǒng)中，這些日志的存儲(chǔ)成為最基礎(chǔ)和最重要的一環(huán)，傳統(tǒng)的單點(diǎn)存儲(chǔ)方案已經(jīng)無(wú)法滿足需求。另外由于日志量極大，日志的高效查詢也是一個(gè)嚴(yán)重的課題，尤其是在單點(diǎn)存儲(chǔ)方案中，對(duì)單個(gè)數(shù)據(jù)庫(kù)在快速存儲(chǔ)的同時(shí)進(jìn)行查詢，查詢效率非常低下。傳統(tǒng)的日志存儲(chǔ)于查詢技術(shù)一般采用單點(diǎn)存儲(chǔ)方案，限于磁盤I/O性能，在服務(wù)器性能和數(shù)據(jù)庫(kù)性能達(dá)到極限的情況下，也很難滿足當(dāng)前日志量巨大的要求。目前已有的分布式存儲(chǔ)技術(shù)，往往采用分散存儲(chǔ)，單點(diǎn)查詢，無(wú)法均衡利用各個(gè)數(shù)據(jù)存儲(chǔ)點(diǎn)的性能，也無(wú)法對(duì)全局?jǐn)?shù)據(jù)進(jìn)行綜合審計(jì)查詢。因此需要找到一種更高效率的分布式日志數(shù)據(jù)存儲(chǔ)與查詢技術(shù)，滿足海量日志存儲(chǔ)與查詢的需求。?
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的是：提供一種分布式設(shè)備日志采集方法，它采用中介者模式，構(gòu)建集成化數(shù)據(jù)中間層，統(tǒng)一采集、格式化處理日志，集中對(duì)分布式數(shù)據(jù)存儲(chǔ)點(diǎn)進(jìn)行統(tǒng)一管理和調(diào)度；采用分表結(jié)構(gòu)，更好的發(fā)揮多線程處理的優(yōu)勢(shì)，建立獨(dú)有的分表索引機(jī)制，與各數(shù)據(jù)存儲(chǔ)點(diǎn)的MariaDB數(shù)據(jù)庫(kù)索引一起，構(gòu)成超大量數(shù)據(jù)分級(jí)索引體系，同時(shí)利用分布式服務(wù)器性能優(yōu)勢(shì)，極大地提高了日志數(shù)據(jù)的存儲(chǔ)與查詢性能。本專利技術(shù)的技術(shù)方案一種分布式設(shè)備日志采集方法，該方法通過分布式日志處理框架采用中介者模式構(gòu)建集成化數(shù)據(jù)中間層，形成集成數(shù)據(jù)中介管理服務(wù)，該數(shù)據(jù)中介服務(wù)采集設(shè)備日志進(jìn)行分布式存儲(chǔ)在各分布式存儲(chǔ)點(diǎn)上并進(jìn)行數(shù)據(jù)連接，若需增加分布式存儲(chǔ)點(diǎn)時(shí)，采用分布式存儲(chǔ)點(diǎn)動(dòng)態(tài)擴(kuò)展機(jī)制實(shí)現(xiàn)。前述的分布式設(shè)備日志采集方法，所述的分布式日志處理框架為經(jīng)過格式化后的syslog處理框架，異構(gòu)的syslog經(jīng)過格式化后采用統(tǒng)一的事件數(shù)據(jù)表結(jié)構(gòu)進(jìn)行存儲(chǔ)；syslog協(xié)議本身非常簡(jiǎn)潔高效，單點(diǎn)syslog的采集不會(huì)形成瓶頸。其中syslog的格式化方法，?syslog格式化字段解析結(jié)構(gòu)如下：<zone?indes=\5\?name=ype\?desp=\類型\?analysis=\\?default?=\\?><field?match=\^[0,1]\?value=\aa\?/><field?match?=\^[2-4]\?value?=\bb\?/><field?match?=\^[5-7]\?value?=\cc\?/></?zone?>其中zone字段定義如下：index：對(duì)應(yīng)第一次提取的字段索引，對(duì)應(yīng)event的Match中的正則表達(dá)式的組數(shù)，從1開始；name：對(duì)應(yīng)字段名稱；analysis：目前針對(duì)時(shí)間格式，只對(duì)時(shí)間字段有效；default：對(duì)于此字段直接賦值；如果直接采用提取的結(jié)果，就不需要配置field，如果需要根據(jù)提取的結(jié)果作二次提取，需要配置field；field定義如下：match：從已經(jīng)提取的字段中進(jìn)行提取該字段的正則表達(dá)式；value：字段賦值，根據(jù)Match匹配的結(jié)果賦值，如果為空，直接采用提取的結(jié)果。而數(shù)據(jù)表結(jié)構(gòu)由基礎(chǔ)字段與動(dòng)態(tài)擴(kuò)展字段組成，其中基礎(chǔ)字段包括：??事件ID、事件接收時(shí)刻、聚合事件數(shù)、關(guān)聯(lián)事件數(shù)；???事件名、事件分類、等級(jí)、規(guī)則名；??對(duì)象、方法、意圖；???操作、資源、結(jié)果；???設(shè)備動(dòng)作、獲取方式；?事件原始等級(jí)、事件原始類型；??漏洞信息、漏洞編號(hào)；??事件原始分類號(hào)；???事件產(chǎn)生時(shí)刻、事件發(fā)送時(shí)刻、事件持續(xù)時(shí)刻；???發(fā)送字節(jié)數(shù)、接收字節(jié)數(shù)；???協(xié)議、應(yīng)用協(xié)議；???源地址、源名稱、源端口、目的地址、目的名稱、目的端口。基礎(chǔ)字段反應(yīng)了各類IT設(shè)備和IT資源日志的基本內(nèi)容。動(dòng)態(tài)字段的設(shè)計(jì)如下：動(dòng)態(tài)字段預(yù)留6個(gè)，全部為varchar類型，長(zhǎng)度為1024字節(jié)，每個(gè)字段存儲(chǔ)信息采用XML字串信息?，格式設(shè)計(jì)如下：<info?num=\5\?description?=\備用1\><field??desc=\廠商\?value=\aa\?/><field??desc?=\產(chǎn)品\?value?=\bb\?/><field??desc?=\模塊名\?value?=\cc\?/><field??desc?=\進(jìn)程名\?value?=\dd\?/><field??desc?=\軟件版本\?value?=\ee\?/></info?>其中info的含義如下：num：表示該字段包含的動(dòng)態(tài)子字段個(gè)數(shù)；description：表示該擴(kuò)展字段的顯示名稱；動(dòng)態(tài)子字段field?定義如下：desc：字段顯示名value：字段值通過基礎(chǔ)字段和動(dòng)態(tài)字段相結(jié)合的數(shù)據(jù)表結(jié)構(gòu)，可以充分適應(yīng)復(fù)雜IT環(huán)境下日志信息的格式化和存儲(chǔ)。前述的分布式設(shè)備日志采集方法，所述集成化數(shù)據(jù)中間層獨(dú)立運(yùn)行于高性能服務(wù)器上，主要負(fù)責(zé)日志進(jìn)行采集、格式化、緩存并分發(fā)存儲(chǔ)于分布式存儲(chǔ)節(jié)點(diǎn)上，同時(shí)，針對(duì)分布式存儲(chǔ)日志的檢索也通過集成化數(shù)據(jù)中間層實(shí)現(xiàn)，異構(gòu)的syslog經(jīng)過格式化后采用統(tǒng)一的事件數(shù)據(jù)表結(jié)構(gòu)進(jìn)行存儲(chǔ)，數(shù)據(jù)中間層建立事件分表索引，當(dāng)存儲(chǔ)一條syslog數(shù)據(jù)時(shí)，數(shù)據(jù)中間層會(huì)檢查分表索引確定該數(shù)據(jù)所需要存入的存儲(chǔ)點(diǎn)，并調(diào)用該存儲(chǔ)點(diǎn)對(duì)應(yīng)的線程進(jìn)行高效存儲(chǔ)。當(dāng)對(duì)數(shù)據(jù)發(fā)起查詢請(qǐng)求時(shí)，數(shù)據(jù)中間層會(huì)檢索分表索引獲取所查詢信息所在的存儲(chǔ)點(diǎn)，并調(diào)用對(duì)應(yīng)的線程進(jìn)行查詢。前述的分布式設(shè)備日志采集方法，所述分布式數(shù)據(jù)存儲(chǔ)點(diǎn)是通過MariaDB開源存儲(chǔ)引擎建立；存儲(chǔ)節(jié)點(diǎn)運(yùn)行于較低性能的服務(wù)器上，分布式存儲(chǔ)節(jié)點(diǎn)之間不進(jìn)行通訊，。前述的分布式設(shè)備日志采集方法，集成化數(shù)據(jù)中間層采用JDBC協(xié)議對(duì)各分布式數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)進(jìn)行連接，每個(gè)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種分布式設(shè)備日志采集方法，其特征在于：該方法通過分布式日志處理框架采用中介者模式構(gòu)建集成化數(shù)據(jù)中間層，形成集成數(shù)據(jù)中介管理服務(wù)，該數(shù)據(jù)中介服務(wù)采集設(shè)備日志進(jìn)行分布式存儲(chǔ)在各分布式存儲(chǔ)點(diǎn)上并進(jìn)行數(shù)據(jù)連接，若需增加分布式存儲(chǔ)點(diǎn)時(shí)，采用分布式存儲(chǔ)點(diǎn)動(dòng)態(tài)擴(kuò)展機(jī)制實(shí)現(xiàn)。

【技術(shù)特征摘要】
1.一種分布式設(shè)備日志采集方法，其特征在于：該方法通過分布式日志處理框架采用中介者模式構(gòu)建集成化數(shù)據(jù)中間層，形成集成數(shù)據(jù)中介管理服務(wù)，該數(shù)據(jù)中介服務(wù)采集設(shè)備日志進(jìn)行分布式存儲(chǔ)在各分布式存儲(chǔ)點(diǎn)上并進(jìn)行數(shù)據(jù)連接，若需增加分布式存儲(chǔ)點(diǎn)時(shí)，采用分布式存儲(chǔ)點(diǎn)動(dòng)態(tài)擴(kuò)展機(jī)制實(shí)現(xiàn)。
2.根據(jù)權(quán)利要求1所述的分布式設(shè)備日志采集方法，其特征在于：所述的分布式日志處理框架為經(jīng)過格式化后的syslog處理框架，異構(gòu)的syslog經(jīng)過格式化后采用統(tǒng)一的事件數(shù)據(jù)表結(jié)構(gòu)進(jìn)行存儲(chǔ)。
3.根據(jù)權(quán)利要求1所述的分布式設(shè)備日志采集方法，其特征在于：所述集成化數(shù)據(jù)中間層獨(dú)立運(yùn)行于高性能服務(wù)器上，主要負(fù)責(zé)日志進(jìn)行采集、格式化、緩存并分發(fā)存儲(chǔ)于分布式存儲(chǔ)節(jié)點(diǎn)上，同時(shí)，針對(duì)分布式存儲(chǔ)日志的檢索也通過集成化數(shù)據(jù)中間層實(shí)現(xiàn)。
4.根據(jù)權(quán)利要求1所述的分布式設(shè)備日志采集方法，其特征在于：所述分布式數(shù)據(jù)存儲(chǔ)點(diǎn)是通過MariaDB開源存儲(chǔ)引擎建立；存儲(chǔ)節(jié)點(diǎn)運(yùn)行于較低性能的服務(wù)器上，分布式存儲(chǔ)節(jié)點(diǎn)之間不進(jìn)行通訊。
5.根據(jù)權(quán)利要求1所述的分布式設(shè)備日志采集方法，其特征在于：集成化數(shù)據(jù)中間層采用JDBC協(xié)議對(duì)各分布式數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)進(jìn)行連接，每個(gè)數(shù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王皓然，文才豪，
申請(qǐng)(專利權(quán))人：貴州電網(wǎng)公司信息通信分公司，
類型：發(fā)明
國(guó)別省市：貴州;52