數據實時監測系統及方法技術方案

本發明專利技術實施例提供的一種數據實時監測系統及方法，涉及數據處理技術領域。所述系統包括采集模塊、實時緩存隊列模塊、實時分布存儲模塊以及統計分析模塊。所述實時分布存儲模塊用于監測數據的集群存儲。所述實時緩存隊列模塊用于待計算數據的實時冗余存儲，以滿足實時計算要求，分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊。所述統計分析模塊用于提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析。所述統計分析模塊還用于基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。通過緩存隊列和統計分析，滿足了個性化實時統計分析需求，也提高了系統的可靠性和執行效率。

Data real-time monitoring system and method

The invention provides a data real-time monitoring system and a method provided by an embodiment of the invention, relating to the technical field of data processing. The system comprises an acquisition module, a real-time buffer queue module, a real-time distribution storage module and a statistical analysis module. The real-time distributed storage module is used for monitoring the cluster storage of data. The real-time buffer queue module is used for the real-time redundant storage of the data to be calculated, so as to meet the requirements of real-time calculation, and are loosely coupled and communicated with the acquisition module and the statistical analysis module respectively. The statistical analysis module is used for extracting and calculating the data cached by the buffer queue module, so as to obtain real-time monitoring information of the data and carry out real-time statistical analysis. The statistical analysis module is also used for verifying the alarm rules and issuing alarm information based on the data stored by the extracted real-time distribution storage module. Through the cache queue and statistical analysis, it meets the needs of personalized real-time statistical analysis, and also improves the reliability and efficiency of the system.

【技術實現步驟摘要】
數據實時監測系統及方法
本專利技術涉及數據處理
，具體而言，涉及一種數據實時監測系統及方法。
技術介紹
現有軟件架構如Spark、Phoenix、Disco、Mars將大型計算任務分解為并行分布式計算片段，并整合分解計算結果。其適用于海量數據的分布式計算，其計算具備普適性，但是無法滿足監測數據實時處理的特殊性以及應用數據實時處理的系統可靠性不高。
技術實現思路
有鑒于此，本專利技術實施例的目的在于提供一種數據實時監測系統及方法，以改善上述問題。為了實現上述目的，本專利技術實施例采取的技術方案如下：第一方面，本專利技術實施例提供了一種數據實時監測系統，所述系統包括采集模塊、實時緩存隊列模塊、實時分布存儲模塊以及統計分析模塊。所述實時分布存儲模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊。所述實時緩存隊列模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊。所述采集模塊用于實時采集多個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊。所述實時緩存隊列模塊用于緩存所述采集模塊發送的多個待測點的數據。所述統計分析模塊用于提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析。所述實時分布存儲模塊用于存儲所述采集模塊發送的多個待測點的數據。所述統計分析模塊還用于基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。在本專利技術較佳的實施例中，上述實時緩存隊列模塊用于基于內存關系數據庫的二維表，按照預設規則將所述采集模塊發送的多個待測點的數據緩存到表中。在本專利技術較佳的實施例中，上述采集模塊包括多個監測設備，每個所述監測設備分別與所述實時緩存隊列模塊、所述實時分布存儲模塊采用松耦合聯系并交互通訊；每個監測設備用于采集每個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊。在本專利技術較佳的實施例中，上述統計分析模塊包括層次森林模塊。所述層次森林模塊基于實際業務層次關系，建立多個層次樹，并通過所述層次樹上的葉子節點配置為設備實現業務數據的實時匯總。。在本專利技術較佳的實施例中，上述統計分析模塊還包括設備層次映射表模塊。所述設備層次映射表模塊與所述層次森林模塊采用松耦合聯系并交互通訊。所述設備層次映射表模塊用于預存每一個監測設備與所述層次森林模塊中層次樹計算依賴關系并生成設備層次映射表。在本專利技術較佳的實施例中，上述實時緩存隊列模塊包括多個緩存隊列子模塊，所述系統還包括分布式統計模塊，所述分布式統計模塊包括與所述多個緩存隊列子模塊一一對應耦合的多個分布式統計子模塊，每個所述分布式統計子模塊用于根據與該分布式統計子模塊對應的緩存隊列子模塊中的設備數生成多個線程，使得一個線程來計算一個設備。在本專利技術較佳的實施例中，上述系統還包括組態式報警模塊，所述組態式報警模塊與所述統計分析模塊采用松耦合聯系并交互通訊，所述組態式報警模塊用于監聽并驗證所述統計分析模塊得到的數據實時監測信息，若所述統計分析模塊得到的數據實時監測信息滿足告警規則觸發條件，則發布報警通知。在本專利技術較佳的實施例中，上述組態式報警模塊包括數據監控子模塊和與所述數據監控子模塊耦合的報警提醒子模塊，數據監控子模塊包括監聽組件和與所述監聽組件耦合的數據驗證組件，所述監聽組件與所述統計分析模塊耦合，所述報警提醒子模塊包括報警組件；所述監聽組件用于實時或定時監聽所述統計分析模塊得到的數據實時監測信息，所述數據驗證組件用于驗證所述統計分析模塊得到的數據實時監測信息是否滿足告警規則觸發條件，所述報警組件用于通過預設的通信方式發布報警信息。在本專利技術較佳的實施例中，上述實時分布存儲模塊采用HBase集群存儲所述采集模塊發送的多個待測點的數據。第二方面，本專利技術實施例提供了一種數據實時監測方法，應用于上述的系統，所述方法包括：實時采集多個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊；緩存所述采集模塊發送的多個待測點的數據；提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析；存儲所述采集模塊發送的多個待測點的數據；基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。本專利技術實施例提供的一種數據實時監測系統及方法，所述系統包括采集模塊、實時緩存隊列模塊、實時分布存儲模塊以及統計分析模塊。所述實時分布存儲模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊。所述實時緩存隊列模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊。所述采集模塊用于實時采集多個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊。所述實時緩存隊列模塊用于緩存所述采集模塊發送的多個待測點的數據。所述統計分析模塊用于提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析。所述實時分布存儲模塊用于存儲所述采集模塊發送的多個待測點的數據。所述統計分析模塊還用于基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。通過緩存隊列和統計分析，滿足了個性化實時統計分析，也提高了系統的可靠性和執行效率。本專利技術的其他特征和優點將在隨后的說明書闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本專利技術實施例了解。本專利技術的目的和其他優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。附圖說明為了更清楚地說明本專利技術實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本專利技術的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。圖1為本專利技術第一實施例提供的一種數據實時監測系統的結構框圖；圖2為本專利技術第一實施例提供的另一種數據實時監測系統的結構框圖；圖3為本專利技術第一實施例提供的數據實時監測系統的采集模塊與實時緩存隊列模塊的關系示意圖；圖4為本專利技術第一實施例提供的數據實時監測系統的層次森林模塊的層次樹結構示意圖；圖5為本專利技術第一實施例提供的層次森林的一顆樹的示意圖；圖6為本專利技術第一實施例提供的數據實時監測系統的實時緩存隊列模塊和分布式統計模塊的關系示意圖；圖7為本專利技術第二實施例提供的數據實時監測方法的流程圖。圖中：100-系統；110-采集模塊；112-第一監測設備；114-第二監測設備；116-第M監測設備；120-實時緩存隊列模塊；130-實時分布存儲模塊；140-統計分析模塊；142-層次森林模塊；144-設備層次映射表模塊；150-組態式報警模塊；151-數據監控子模塊；152-監聽組件；153-數據驗證組件；154-報警提醒子模塊；155-報警組件；160-分布式統計模塊。具體實施方式下面將結合本專利技術實施例中附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本專利技術實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本專利技術的實施例的詳細描述并非旨在限制要求保護的本專利技術的范圍，而是僅僅表示本專利技術的選定實施例。基于本專利技術的實施例，本領域技術人員在沒有做本文檔來自技高網...

【技術保護點】
一種數據實時監測系統，其特征在于，所述系統包括采集模塊、實時緩存隊列模塊、實時分布存儲模塊以及統計分析模塊，所述實時分布存儲模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊，所述實時緩存隊列模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊；所述采集模塊用于實時采集多個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊，所述實時緩存隊列模塊用于緩存所述采集模塊發送的多個待測點的數據，所述統計分析模塊用于提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析，所述實時分布存儲模塊用于存儲所述采集模塊發送的多個待測點的數據，所述統計分析模塊還用于基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。

【技術特征摘要】
1.一種數據實時監測系統，其特征在于，所述系統包括采集模塊、實時緩存隊列模塊、實時分布存儲模塊以及統計分析模塊，所述實時分布存儲模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊，所述實時緩存隊列模塊分別與所述采集模塊、所述統計分析模塊采用松耦合聯系并交互通訊；所述采集模塊用于實時采集多個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊，所述實時緩存隊列模塊用于緩存所述采集模塊發送的多個待測點的數據，所述統計分析模塊用于提取并計算所述緩存隊列模塊緩存的數據，以得到數據實時監測信息并進行實時統計分析，所述實時分布存儲模塊用于存儲所述采集模塊發送的多個待測點的數據，所述統計分析模塊還用于基于提取的所述實時分布存儲模塊存儲的數據，驗證告警規則并發布告警信息。2.根據權利要求1所述的系統，其特征在于，所述實時緩存隊列模塊用于基于內存關系數據庫的二維表，按照預設規則將所述采集模塊發送的多個待測點的數據緩存到表中。3.根據權利要求1所述的系統，其特征在于，所述采集模塊包括多個監測設備，每個所述監測設備分別與所述實時緩存隊列模塊、所述實時分布存儲模塊采用松耦合聯系并交互通訊；每個監測設備用于采集每個待測點的數據并同時發送給所述實時緩存隊列模塊和所述實時分布存儲模塊。4.根據權利要求1所述的系統，其特征在于，所述統計分析模塊包括層次森林模塊，所述層次森林模塊基于實際業務層次關系，建立多個層次樹，并通過所述層次樹上的葉子節點配置為設備實現業務數據的實時匯總。5.根據權利要求4所述的系統，其特征在于，所述統計分析模塊還包括設備層次映射表模塊，所述設備層次映射表模塊與所述層次森林模塊采用松耦合聯系并交互通訊，所述設備層次映射表模塊用于預存每一個監測設備與所述層次森林模塊中層次樹計算依賴關系并生成設備層次映射表。6.根據權利要求1所...

【專利技術屬性】
技術研發人員：何曉曄，
申請(專利權)人：重慶市通信建設有限公司，
類型：發明
國別省市：重慶,50