一種日志數據監控管理方法技術

本發明專利技術屬于數據處理技術領域，尤其涉及一種日志數據監控管理方法。本發明專利技術的日志數據監控管理方法通過分層節點布置避免了海量節點數據采集的弊端，提高數據實時處理的效率，降低日志數據管理以及監控的難度，利用分布式鎖等相應結構和內容協調任務流程的管理和數據傳遞的過程，提高了多流程管理以及組織的效率，降低了設備負載。

【技術實現步驟摘要】
一種日志數據監控管理方法
本專利技術屬于數據處理
，尤其涉及一種日志數據監控管理方法。
技術介紹
日志是系統內反映各設備或節點運行狀態、數據傳輸狀態以及異常時間狀態等多種數據信息的重要載體，一般情況下，日志數據存儲在相應的節點設備上，在需要時，例如在評價或者分析系統整體運行狀態以及運行歷史數據等工作時，需要將各設備或節點上的日志數據進行提取和分析。但隨著系統設備的不斷增多以及節點種類以及數目的擴展，傳統的日志數據提取以及存儲方法將消耗大量的系統資源去完成，整個過程消需要耗很長的時間，其間對整個系統的運行會產生很大影響，在以下重要關鍵系統中更是會引起巨大的不利影響，同時整個系統內日志數據的后期處理以及存儲等都將地來持續的執行壓力，不利于在一些實時性、高負載的系統內使用。
技術實現思路
本專利技術創造的目的在于，提供一種對系統資源消耗低，數據處理便捷的日志數據監控管理方法。為實現上述目的，本專利技術創造采用如下技術方案。本專利技術的一種日志數據監控管理方法，包括如下步驟：用于建立規范化的日志格式的步驟，所述日志由點區、內容區和標志區構成，節點區內存儲有日志優先級、時間和代碼行字節，為便于日志的兼容使用，時間采用標準的ISO8601格式；內容區用于表述日志輸出目的；標志區由多各鍵值對構成，鍵值對之間相互分割；對于不符合格式要求的日志使用正則表達式進行處理，用于建立數據監控服務的步驟，包括數據采集、具體是指在需要采集的各節點構建采集層，在采集層之間的部分中心節點布置中間層，中間層收集采集層獲取的數據(即日志文件)，并根據配置數據發送至不同的KafkaTopic分組；采集層以及中間層相互配置可以實現靈活高效的系統結構，利用中間層集中處理，減少采集層文件配置的內容，同時集中管理權限，減少系統隱患；在節點設備服務異常時，中間層設備重試連接其他節點；數據處理、具體是指對不同的KafkaTopic分組分別進行實時計算，根據傳入的任務地址查詢任務配置信息，包括Topic、任務名、任務內容，根據已配置的Topic信息創建前端數據產生器，前端數據產生器定時的訪問數據庫以獲取最新的任務配置信息并下發至多個轉發節點器，轉發節點器根據更新后的任務配置信息進行更新；轉發節點器中至少包括用于根據配置要求進行規則匹配過濾的第一轉發節點器；用于按照鍵值對將數據進行組合的第二轉發節點器；用于調用API將統計數據寫入數據庫的第三轉發節點器；利用Kafka作為緩存裝置，降低后置服務的壓力；數據監管，具體是指啟動分發任務流程、設置單獨的線程進行異常問題檢查、在發現設備異常時將相應任務調度至其他同級，同時利用MySQL服務機制實現分布式鎖，在任務調度過程中利用獲取鎖提高調度效率，降低設備傳輸存儲的資源消耗；在具體實施過程中，服務器部署于多個節點之上，應用前端節點以及分發服務采用雙機部署HTTP和反向代理服務，各節點之間采用分布式鎖實現數據同步；為便于實現管理以及信息獲取，本實施例還包括用于實現可視化功能的步驟，包括在系統內構建ID管理、視圖管理、接口管理、監控管理四個模塊，ID管理模塊建立關于操作者和使用者ID的異常數據接收管理，用于實現人員的管理和分組、添加或刪除數據傳遞的路徑；視圖管理模塊顯示各模塊配置以及狀態等數據視圖，提供快捷操作接口；接口管理模塊創建和管理接口探活任務以及探活報警數據，包括在接口探活過程中創建接口地址，設定檢查周期以及報警設置；監控管理創建不同的監控項目，并完成監控數據的管理。其有益效果在于：本專利技術的日志數據監控管理方法通過分層節點布置避免了海量節點數據采集的弊端，提高數據實時處理的效率，降低日志數據管理以及監控的難度，利用分布式鎖等相應結構和內容協調任務流程的管理和數據傳遞的過程，提高了多流程管理以及組織的效率，降低了設備負載。附圖說明圖1是數據處理流程中的配置數據管理流程示意圖；圖2是實施例中異常檢查和調度原理示意圖。具體實施方式以下結合具體實施例對本專利技術創造作詳細說明。本專利技術的一種日志數據監控管理方法，包括如下步驟：用于建立規范化的日志格式的步驟，所述日志由節點區、內容區和標志區構成，節點區內存儲有日志優先級、時間和代碼行字節，為便于日志的兼容使用，時間采用標準的ISO8601格式；內容區用于表述日志輸出目的；標志區由多各鍵值對構成，鍵值對之間相互分割；對于不符合格式要求的日志使用正則表達式進行處理，用于建立數據監控服務的步驟，包括數據采集、具體是指在需要采集的各節點構建采集層，在采集層之間的部分中心節點布置中間層，中間層收集采集層獲取的數據(即日志文件)，并根據配置數據發送至不同的KafkaTopic分組；采集層以及中間層相互配置可以實現靈活高效的系統結構，利用中間層集中處理，減少采集層文件配置的內容，同時集中管理權限，減少系統隱患；在節點設備服務異常時，中間層設備重試連接其他節點；數據處理、具體是指對不同的KafkaTopic分組分別進行實時計算，根據傳入的任務地址查詢任務配置信息，包括Topic、任務名、任務內容，如圖1所示，根據已配置的Topic信息創建前端數據產生器，前端數據產生器定時的訪問數據庫以獲取最新的任務配置信息并下發至多個轉發節點器，轉發節點器根據更新后的任務配置信息進行更新；轉發節點器中至少包括用于根據配置要求進行規則匹配過濾的第一轉發節點器；用于按照鍵值對將數據進行組合的第二轉發節點器；用于調用API將統計數據寫入數據庫的第三轉發節點器；利用Kafka作為緩存裝置，降低后置服務的壓力；數據監管，具體是指啟動分發任務流程、設置單獨的線程進行異常問題檢查、在發現設備異常時將相應任務調度至其他同級，同時利用MySQL服務機制實現分布式鎖，如圖2所示，在任務調度過程中利用獲取鎖提高調度效率，降低設備傳輸存儲的資源消耗，包括在獲取鎖后檢查系統可用狀態，并根據其可用狀態進行不同操作，在操作完成后釋放鎖；在具體實施過程中，服務器部署于多個節點之上，應用前端節點以及分發服務采用雙機部署HTTP和反向代理服務，各節點之間采用分布式鎖實現數據同步；為便于實現管理以及信息獲取，本實施例還包括用于實現可視化功能的步驟，包括在系統內構建ID管理、視圖管理、接口管理、監控管理四個模塊，ID管理模塊建立關于操作者和使用者ID的異常數據接收管理，用于實現人員的管理和分組、添加或刪除數據傳遞的路徑；視圖管理模塊顯示各模塊配置以及狀態等數據視圖，提供快捷操作接口；接口管理模塊創建和管理接口探活任務以及探活報警數據，包括在接口探活過程中創建接口地址，設定檢查周期以及報警設置；監控管理創建不同的監控項目，并完成監控數據的管理。最后應當說明的是，以上實施例僅用以說明本專利技術創造的技術方案，而非對本專利技術創造保護范圍的限制，盡管參照較佳實施例對本專利技術創造作了詳細地說明，本領域的普通技術人員應當理解，可以對本專利技術創造的技術方案進行修改或者等同替換，而不脫離本專利技術創造技術方案的實質和范圍。本文檔來自技高網...

【技術保護點】
1.一種日志數據監控管理方法，其特征在于，包括：用于建立規范化的日志格式的步驟，所述日志由節點區、內容區和標志區構成，節點區內存儲有日志優先級、時間和代碼行字節，時間采用標準的ISO8601格式；內容區用于表述日志輸出目的；標志區由多各鍵值對構成，鍵值對之間相互分割；對于不符合格式要求的日志使用正則表達式進行處理；用于建立數據監控服務的步驟，包括數據采集、具體是指在需要采集的各節點構建采集層，在采集層之間的部分中心節點布置中間層，中間層收集采集層獲取的數據，并根據配置數據發送至不同的KafkaTopic分組；采集層以及中間層相互配置可以實現靈活高效的系統結構，利用中間層集中處理，減少采集層文件配置的內容，同時集中管理權限，減少系統隱患；在節點設備服務異常時，中間層設備重試連接其他節點；以及，數據處理、具體是指對不同的KafkaTopic分組分別進行實時計算，根據傳入的任務地址查詢任務配置信息，包括Topic、任務名、任務內容，根據已配置的Topic信息創建前端數據產生器，前端數據產生器定時的訪問數據庫以獲取最新的任務配置信息并下發至多個轉發節點器，轉發節點器根據更新后的任務配置信息進行更新；轉發節點器中至少包括用于根據配置要求進行規則匹配過濾的第一轉發節點器；用于按照鍵值對將數據進行組合的第二轉發節點器；用于調用API將統計數據寫入數據庫的第三轉發節點器；利用Kafka作為緩存裝置，降低后置服務的壓力；以及，數據監管，具體是指啟動分發任務流程、設置單獨的線程進行異常問題檢查、在發現設備異常時將相應任務調度至其他同級，同時利用MySQL服務機制實現分布式鎖，在任務調度過程中利用獲取鎖提高調度效率，降低設備傳輸存儲的資源消耗；在具體實施過程中，服務器部署于多個節點之上，應用前端節點以及分發服務采用雙機部署HTTP和反向代理服務，各節點之間采用分布式鎖實現數據同步。...

【技術特征摘要】
1.一種日志數據監控管理方法，其特征在于，包括：用于建立規范化的日志格式的步驟，所述日志由節點區、內容區和標志區構成，節點區內存儲有日志優先級、時間和代碼行字節，時間采用標準的ISO8601格式；內容區用于表述日志輸出目的；標志區由多各鍵值對構成，鍵值對之間相互分割；對于不符合格式要求的日志使用正則表達式進行處理；用于建立數據監控服務的步驟，包括數據采集、具體是指在需要采集的各節點構建采集層，在采集層之間的部分中心節點布置中間層，中間層收集采集層獲取的數據，并根據配置數據發送至不同的KafkaTopic分組；采集層以及中間層相互配置可以實現靈活高效的系統結構，利用中間層集中處理，減少采集層文件配置的內容，同時集中管理權限，減少系統隱患；在節點設備服務異常時，中間層設備重試連接其他節點；以及，數據處理、具體是指對不同的KafkaTopic分組分別進行實時計算，根據傳入的任務地址查詢任務配置信息，包括Topic、任務名、任務內容，根據已配置的Topic信息創建前端數據產生器，前端數據產生器定時的訪問數據庫以獲取最新的任務配置信息并下發至多個轉發節點器，轉發節點器根據更新后的任務配置信息進行更新；轉發節點器中至少包括用于根據配置要求...

【專利技術屬性】
技術研發人員：李剛，石淮，
申請(專利權)人：武漢雨滴科技有限公司，
類型：發明
國別省市：湖北,42