一種基于Hadoop的分布式入侵檢測系統技術方案

本發明專利技術公開了一種基于Hadoop的分布式入侵檢測系統，包括數據采集模塊、數據存儲模塊、控制中心和數據分析模塊，其中控制中心包括系統管理模塊、系統監控模塊、任務調度模塊和報警響應模塊。本發明專利技術利用Hadoop的分布式計算框架，使系統具有良好的互操作性，提高了系統的可靠性；系統采用分布式方式進行數據并行采集，提高數據采集能力，降低丟包率；系統采用的算法中根據結點的能力和負載分配數據，并采用動態負載均衡策略進行調整，有效發揮結點的數據處理能力，維持系統的負載均衡；利用本算法避免了將包含同一攻擊的數據分發到兩個或多個檢測結點分別處理而破壞數據的完整性，有效提高檢測率。

【技術實現步驟摘要】

本專利技術涉及計算機網絡安全領域，尤其涉及一種基于Hadoop的分布式入侵檢測系統。
技術介紹
傳統的入侵檢測系統因難以處理日益增長的海量網絡數據，系統性能下降，丟包率增加，檢測率降低，已無法滿足人們的安全需求。分布式入侵檢測系統(DistributedInstructionDetectionSystem，DIDS)采用分布式結構進行數據采集和并行處理，有效提高了在高速網絡環境下的入侵檢測效率，已成為目前入侵檢測技術研究的主流。然而，現有DIDS存在系統架構不合理、接口標準化低、關鍵算法不完善等問題，這降低了DIDS的并行處理能力和系統的互操作性，阻礙了其能力的發揮，不能有效提高系統的檢測率。Hadoop是Apache軟件基金會下的一個分布式計算框架，主要組件包括HDFS、MapReduce、ZooKeeper、Pig、HIVE、HBase等。其中，HDFS(HadoopDistributedFileSystem)和MapReduce是Hadoop的兩項關鍵技術。HDFS是一個分布式的文件系統，它為分布式計算模型提供底層的存儲支持。MapReduce是一個分布式的計算模型，可以方便地實現任務的分解和并行化處理。Hadoop能夠處理TB或PB級別的海量數據。目前，越來越多企業和研究機構的項目圍繞著Hadoop核心框架展開。將Hadoop技術運用于入侵檢測，可以利用其框架較好地實現分布式入侵檢測系統的部署，獲得強大的分布式數據處理和并行計算能力支持，提高系統性能，降低丟包率，提高檢測率。
技術實現思路
本專利技術的目的是針對現有DIDS存在的問題，提供一種基于Hadoop的分布式入侵檢測系統，該系統主要包括兩個部分：一是提出一種高效的基于能力與負載的數據分割算法，實現海量數據的有效分割和數據分配；二是提出一種基于Hadoop的分布式入侵檢測體系結構，實現入侵檢測系統各模塊的分布式部署和數據并行處理，并以提出的算法作為系統的任務調度器進行數據分割，實現海量數據的分布式處理，提高入侵檢測效率，維持負載均衡。算法方面，基于對數據分析子結點的狀態監控信息，計算結點的數據處理能力和負載；根據系統對不同應用層協議數據的分類檢測思想，將數據分析子結點進行分組，計算各分組的平均負載；針對各分組的負載情況，建立過載隊列和輕載隊列，若檢測出現連續過載則報警，并根據分組待處理數據量大小對過載隊列中的分組進行過濾；采用一種動態負載均衡的策略，針對過載隊列中的分組，從輕載的分組中選擇合適的結點進行遷移，維持系統負載均衡；若無輕載分組，則降低過載隊列中各分組待處理的數據集；針對動態負載均衡調整后的結點分組，在組內根據結點的數據處理能力和負載情況，從分組待處理的數據集中分割相適應的數據子集，分配給各結點進行并行處理，有效發揮結點的能力，提高系統效率，維持系統負載均衡。體系結構方面，本專利技術利用Hadoop架構帶來的高性能、接口標準規范、良好的互操作性等特點，實現入侵檢測系統的分布式部署及系統各模塊的通信與數據傳輸。實現本專利技術目的的技術方案為：一種基于Hadoop的分布式入侵檢測系統包括：數據采集模塊、數據存儲模塊、控制中心和數據分析模塊，其中控制中心包括系統管理模塊、系統監控模塊、任務調度模塊和報警響應模塊；數據采集模塊由分布在網絡上的多個相互獨立的傳感器組成，通過傳感器實現網絡數據的捕獲和處理后，將采集的數據上傳至數據存儲模塊的HDFS數據子結點，即存儲至HDFS數據集中；所述傳感器的工作步驟為：首先，通過網絡監聽采集所在網絡的原始數據包；其次，解析數據包，計算數據包的唯一連接標識；第三，識別數據包的傳輸協議標識并進行數據處理，將數據包存儲在以唯一連接標識命名的數據文件中；第四，按照數據包的應用層協議標識，將數據文件分類存儲到傳感器初始化時設置的目錄結構中；最后，按照指定的周期將采集的數據以FTP方式上傳至本系統的HDFS數據子結點，進行分類存儲；HDFS數據子結點通過MapReduce機制，向任務調度模塊的結點Master提交數據檢測分析的任務；系統監控模塊對分布式Hadoop集群各結點的狀態監控，記錄監控結果，并將結果存儲到數據存儲模塊的HBase數據庫，為任務調度提供任務分配決策支持；同時，完成對報警響應顯示，并實現對系統的管理配置；任務調度模塊根據系統監控獲取的結點狀態和待處理數據的規模大小，根據設計的基于能力與負載的數據分割算法將大數據分割成數據子集，合理地將數據子集分發給不同數據分析子結點進行并行數據檢測分析，最后把各個數據分析子結點的處理結果進行匯集；數據分析模塊中的數據分析由分布在Hadoop集群中的多個數據分析子結點并行完成，數據分析子結點根據任務調度模塊中所分配的數據子集地址信息，從對應的HDFS數據子結點上讀取由傳感器采集并上傳的數據子集，根據建立的特征檢測規則集進行數據檢測分析；報警響應模塊中由報警響應結點并行接收數據分析子結點傳送的入侵檢測結果，存儲到HBase中；并對非法入侵行為進行報警響應，在系統監控的界面中顯示報警信息；系統管理模塊采用Web方式完成Hadoop集群的配置、用戶管理、日志查詢功能。具體地，系統各模塊如下：A)數據采集模塊由傳感器實現網絡數據的分布式并行采集，并將采集的數據按連接進行分離，再分類提交到HDFS數據子結點，以便進行數據檢測分析處理。傳感器工作步驟如下：(1)配置與本傳感器最近的HDFS數據子結點的連接信息，由于傳感器采用FTP協議進行數據傳輸，HDFS數據子結點也作為一個FTP服務器存在，連接信息包括結點名稱、IP地址、用戶名和密碼、目錄；(2)啟動傳感器進行監聽，采集結點所在網絡的原始數據包；(3)解析數據包，計算數據包的唯一連接標識。從數據包中提取四元組<源IP地址，源端口，目的IP地址，目的端口>，采用哈希函數計算該四元組的哈希值，并將其作為數據包的唯一連接標識ID_Hash；(4)識別數據包傳輸協議標識并進行數據處理，按ID_Hash進行數據存儲。提取數據包的傳輸協議標識，針對TCP協議標識的數據包，采用TCP流重組的方式進行數據重組，以ID_Hash作為TCP連接的唯一標識，結合數據包中的連接序號，將捕獲的數據包還原成一個個完整的數據鏈，實現正確的TCP流重組，并將具有同一ID_Hash的數據存儲在同一個以ID_Hash命名的txt文件中；對于非TCP協議的數據，同樣存儲在同一個以ID_Hash命名的txt文件中。將所有具有相同ID_Hash的數本文檔來自技高網...

【技術保護點】
一種基于Hadoop的分布式入侵檢測系統，其特征在于，包括數據采集模塊、數據存儲模塊、控制中心和數據分析模塊，其中控制中心包括系統管理模塊、系統監控模塊、任務調度模塊和報警響應模塊；數據采集模塊由分布在網絡上的多個相互獨立的傳感器組成，通過傳感器實現網絡數據的捕獲和處理后，將采集的數據上傳至數據存儲模塊的HDFS數據子結點，即存儲至HDFS數據集中；HDFS數據子結點通過MapReduce機制，向任務調度模塊的結點Master提交數據檢測分析的任務；系統監控模塊對分布式Hadoop集群各結點的狀態監控，記錄監控結果，并將結果存儲到數據存儲模塊的HBase數據庫，為任務調度提供任務分配決策支持；同時，完成對報警響應顯示，并實現對系統的管理配置；任務調度模塊根據系統監控獲取的結點狀態和待處理數據的規模大小，將大數據分割成數據子集，再將數據子集分發給數據分析子結點進行數據檢測分析，最后把各個數據分析子結點的處理結果進行匯集；數據分析模塊中的數據分析由分布在Hadoop集群中的多個數據分析子結點并行完成，數據分析子結點根據任務調度模塊中所分配的數據子集地址信息，從給定地址的HDFS數據子結點上讀取分配的來自傳感器采集并上傳的數據子集，根據建立的特征檢測規則集進行數據檢測分析。...

【技術特征摘要】
1.一種基于Hadoop的分布式入侵檢測系統，其特征在于，包括數據采集模塊、數據存儲模塊、控制中心和數據分析模塊，其中控制中心包括系統管理模塊、系統監控模塊、任務調度模塊和報警響應模塊；
數據采集模塊由分布在網絡上的多個相互獨立的傳感器組成，通過傳感器實現網絡數據的捕獲和處理后，將采集的數據上傳至數據存儲模塊的HDFS數據子結點，即存儲至HDFS數據集中；
HDFS數據子結點通過MapReduce機制，向任務調度模塊的結點Master提交數據檢測分析的任務；
系統監控模塊對分布式Hadoop集群各結點的狀態監控，記錄監控結果，并將結果存儲到數據存儲模塊的HBase數據庫，為任務調度提供任務分配決策支持；同時，完成對報警響應顯示，并實現對系統的管理配置；
任務調度模塊根據系統監控獲取的結點狀態和待處理數據的規模大小，將大數據分割成數據子集，再將數據子集分發給數據分析子結點進行數據檢測分析，最后把各個數據分析子結點的處理結果進行匯集；
數據分析模塊中的數據分析由分布在Hadoop集群中的多個數據分析子結點并行完成，數據分析子結點根據任務調度模塊中所分配的數據子集地址信息，從給定地址的HDFS數據子結點上讀取分配的來自傳感器采集并上傳的數據子集，根據建立的特征檢測規則集進行數據檢測分析。
2.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，還包括報警響應模塊和系統管理模塊，報警響應模塊中由報警響應結點并行接收數據分析子結點傳送的入侵檢測結果，存儲到HBase中；并對非法入侵行為進行報警響應，在系統監控的界面中顯示報警信息；
系統管理模塊用于完成Hadoop集群的配置、用戶管理、日志查詢。
3.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，所述數據采集模塊中傳感器的工作步驟為：
首先，通過網絡監聽采集所在網絡的原始數據包；
其次，解析數據包，計算數據包的唯一連接標識；
第三，識別數據包的傳輸協議標識并進行數據處理，將數據包存儲在以唯一連接標識命名的txt數據文件中；
第四，按照數據包的應用層協議標識，將數據文件分類存儲到傳感器初始化時設置的目錄結構中；
最后，按照指定的周期將采集的數據以FTP方式上傳至本系統的HDFS數據子結點，進行分類存儲。
4.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，所述數據存儲模塊中數據的存儲方式包括在HDFS、HBase和MySQL數據庫上的存儲；HDFS存儲由多個傳感器采集并上傳的數據文件；HBase存儲入侵特征規則庫、系統監控對Hadoop集群監測的結點狀態信息、非法入侵數據檢測結果；MySQL存儲用戶信息和系統相關配置信息。
5.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，所述系統監控模塊采用Ganglia組件實現對分布式Hadoop集群的狀態監控，過程如下：
(1)配置Ganglia組件，明確要監控的Hadoop集群結點信息，并確定各結點待監控的具體對象，如結點CPU/內存/硬盤的大小和利用率，I/O負載和網絡流量情況；
(2)啟動Ganglia組件實現對分布式Hadoop集群各結點的狀態監控，記錄監控結果，并將結果存儲到HBase數據庫；
(3)系統可以通過曲線圖查詢顯示被監控的每個結點一段時期的波動變化情況；
(4)系統針對數據分析異常的報警，給出報警響應顯示。
6.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，所述任務調度模塊采用基于能力與負載的數據分割算法實現調度器，完成系統任務調度，過程如下：
(1)將Hadoop集群中進行任務調度的結點稱為任務調度結點Master，提交任務的子結點Slave則是HDFS數據子結點，其存儲了來自傳感器采集并提交的待檢測的海量數據；
(2)各Slave將自身待檢測的數據狀態，包括協議類型、目錄、不同目錄下的文件數量及相應目錄中的文件數據量大小，通過MapReduce機制，提交給Master；
(3)Master收集系統監控采集到的各數據分析子結點狀態及其能夠檢測分析的協議類型；
(4)Master統計各Slave提交的數據信息，并結合收集的數據分析子結點狀態，采用設計的基于能力與負載的數據分割算法，根據結點的數據處理能力和實際負載情況進行數據分割和分配；
(5)Master匯集各數據分析子結點反饋的入侵檢測結果，將匯集的最終結果發送給報警響應結點顯示入侵檢測情況。
7.如權利要求1所述的一種基于Hadoop的分布式入侵檢測系統，其特征在于，所述數據分析模塊中數據并行處理過程如下：
(1)建立不同應用層協議的特征檢測規則集；
(2)按照協議類型的不同，將數據分析子結點分組，不同分組中的結點加載對應協議的特征檢測規則集，對待處理的數據進行入侵檢測；設置一類缺省的數據分析子結點，加載各種協議特征檢測規則集，檢測分析未被識別出協議類型的數據；數據分析子結點也可以切換加載其它應用層協議的特征檢測規則...

【專利技術屬性】
技術研發人員：武小年，張潤蓮，李豪，張鑫，孟川，
申請(專利權)人：桂林電子科技大學，
類型：發明
國別省市：廣西;45