【技術實現步驟摘要】
本專利技術涉及微服務實時監測，具體涉及一種基于微服務的日志實時監測方法及系統。
技術介紹
1、在當今信息技術飛速發展的背景下，微服務架構因高內聚、低耦合的特性，在眾多領域得到了廣泛的應用，特別是在日志監測領域，傳統的日志處理方法往往存在著處理效率低下、實時性不強的問題；近年來，隨著大數據技術的不斷成熟，基于微服務的日志監測技術逐漸成為研究熱點，現有技術中，通常采用日志采集系統實時收集設備運行日志，并通過各種消息隊列技術進行數據傳輸和存儲，但在數據處理、故障預測以及服務協同方面仍存在局限性。
2、然而，現有的相關技術在以下幾個方面存在不足：首先，雖然已有技術能夠實現日志數據的實時采集和傳輸，但在特征提取和故障預測模型的構建上，往往依賴于傳統的機器學習方法，這些方法在處理大規模、高維度日志數據時，預測準確率和實時性難以滿足實際需求；其次，現有的日志監測系統在報警閾值的設定上較為固定，無法根據實時監測數據和模型預測結果進行動態調整，這影響了故障預警的準確性；最后，微服務間的通信機制和可視化展示方面，現有技術尚未形成一套完整的解決方案，導致運維人員在進行設備監控和分析電網狀態時，難以迅速做出決策。本專利技術針對上述問題，提出了一種基于微服務的日志實時監測方法及系統，有望在故障預測、閾值動態調整和服務協同方面帶來顯著的有益效果。
技術實現思路
1、鑒于上述現有存在的問題，本專利技術提供了一種基于微服務的日志實時監測方法及系統，用以解決現有技術中在故障預測、閾值動態調整和服務協同方
2、為解決上述技術問題，提出了一種基于微服務的日志實時監測方法，包括，
3、采集第一設備運行日志數據，并儲存到數據庫，進行特征提取獲得第二特征數據，并利用第二特征數據訓練故障模型；分析第一設備運行日志數據，并利用故障模型輸出第三預測數據，并根據第三預測數據調整報警閾值；傳遞第三預測數據，并進行微服務間的協同工作，通過監控界面分析電網狀態。
4、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述采集第一設備運行日志包括，實時采集設備狀態數據、電壓數據、電流數據、頻率數據、歷史故障數據、操作日志、環境數據和時間序列數據；
5、所述設備狀態數據包括設備的運行狀態、負載情況、溫度和濕度；所述故障歷史數據包括故障類型、發生時間和持續時間；所述操作日志包括開關機時間、維護記錄和配置更改；所述環境數據包括溫度、濕度和氣壓。
6、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述儲存到數據庫包括，將收集到的第一設備運行數據通過消息隊列進行傳輸，并將數據存儲到分布式數據庫中。
7、所述分布式數據庫包括數據節點、數據分片、數據復制、分布式事務管理、數據一致性保證、查詢處理、故障恢復、負載均衡、數據同步和網絡通信；
8、所述數據節點包括存儲節點和處理節點；所述數據分片包括水平分片和垂直分片；所述數據復制包括主從復制、多主復制、同步復制和異步復制；所述分布式事務管理包括事務協調器和兩階段提交；所述數據一致性保證包括強一致性和最終一致性；所述查詢處理包括查詢優化器和分布式執行計劃；所述故障恢復包括故障檢測和故障轉移；所述負載均衡包括數據負載均衡和查詢負載均衡；所述網絡通信包括內部網絡和外部網絡。
9、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述進行特征提取獲得第二特征數據包括，從分布式數據庫中提取時間序列數據、結構化數據、非結構化數據、數值特征、類別特征、時間特征、統計特征和文本特征，將提取到的數據進行預處理，分析數據的統計特性并利用可視化工具理解數據的結構和特征，利用相關性分析選擇與目標變量相關性最高的特征，并通過遞歸特征消除算法自動選擇特征，根據領域知識和業務邏輯構造新的特征并利用時間窗口技術，創建基于時間序列的特征，利用歸一化統一特征尺度，并對類別特征進行編碼，并將處理好的特征用于訓練卷積神經網絡的故障預測模型。
10、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述利用第二特征數據訓練故障模型包括，利用提取獲得的第二特征數據構建卷積神經網絡模型，選擇卷積層、池化層和全連接層，初始化權重，并進行卷積神經網絡模型的訓練；
11、所述預處理包括數據清洗和數據轉換；其中，數據轉換是指利用獨特編碼將非數值數據轉換為數值數據；
12、所述相關性分析包括，收集需要比較的兩個變量的數據集，并轉換為數值型，并利用皮爾遜相關系數計算相關性；
13、所述皮爾遜相關系數計算公式表示為：
14、
15、其中，rxy為x和y之間的相關系數，xi和yi為x和y中的單個觀測值，為x的樣本均值，為y的樣本均值，n為觀測值的數量；
16、所述遞歸特征消除算法公式表示為：
17、
18、其中，zt為在第t次迭代后保留的特征集，為在第t+1次迭代中被剔除的最不重要的特征，zt+1為在第t+1次迭代后保留的特征集。
19、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述利用故障模型輸出第三預測數據，并根據第三預測數據調整報警閾值包括，分析實時收集的第一日志數據，并利用卷積神經網絡的故障預測模型進行故障預測，并獲得第三預測數據，并根據第三預測結果動態調整報警閾值；
20、其中，根據設定初始報警閾值t0，在每個時間點c計算f(c)，比較f(c與當前報警閾值tx，當f(c)>tx時，應提高報警閾值，當f(c)<tx時，應降低報警閾值，閾值調整應遵循動態調整規則：
21、tnew＝tx+α·(f(c)-tx)
22、其中，tnew為動態調整后的報警閾值，tx為當前報警閾值，α為動態調整因子，f(c)為c時間點的報警閾值。
23、作為本專利技術所述的基于微服務的日志實時監測方法的一種優選方案，其中：所述通過監控界面分析電網狀態包括，利用消息隊列作為微服務間通信的中介，并定義消息格式和協議，建立通信機制，日志監測服務將收集的數據及計算獲得的f(c)發送到消息隊列，報警閾值調整服務監聽消息隊列，接收監測結果，將閾值調整指令發送給剩余微服務，微服務根據接收的閾值調整指令更新內部報警閾值，數據可視化服務訂閱消息隊列，接收實時監測數據和閾值調整指令，將數據轉換為可視化格式，前端界面通過輪詢機制從數據可視化服務獲取更新的數據，運維人員通過界面監控設備狀態和分析電網狀態。
24、本專利技術的另外一個目的是提供了一種基于微服務的日志實時監測系統，本專利技術優化系統的可擴展性、靈活性、穩定性和數據分析能力；本專利技術系統通過實時獲取實時日志數據、故障預測、監控預警，并動態調整報警閾值，解決了日志監測系統中實時性不足、故障預測準確性低、報警閾值靜態化、系統擴展性差、數據處理效率低下、服務協同不足、可視化展示不充分以及資源利用率低的問題，顯著提升了本文檔來自技高網...
【技術保護點】
1.一種基于微服務的日志實時監測方法，其特征在于：包括，
2.如權利要求1所述的一種基于微服務的日志實時監測方法，其特征在于：所述采集第一設備運行日志包括，實時采集設備狀態數據、電壓數據、電流數據、頻率數據、歷史故障數據、操作日志、環境數據和時間序列數據；
3.如權利要求2所述的一種基于微服務的日志實時監測方法，其特征在于：所述儲存到數據庫包括，將收集到的第一設備運行數據通過消息隊列進行傳輸，并將數據存儲到分布式數據庫中；
4.如權利要求3所述的一種基于微服務的日志實時監測方法，其特征在于：所述進行特征提取獲得第二特征數據包括，從分布式數據庫中提取時間序列數據、結構化數據、非結構化數據、數值特征、類別特征、時間特征、統計特征和文本特征，將提取到的數據進行預處理，分析數據的統計特性并利用可視化工具理解數據的結構和特征，利用相關性分析選擇與目標變量相關性最高的特征，并通過遞歸特征消除算法自動選擇特征，根據領域知識和業務邏輯構造新的特征并利用時間窗口技術，創建基于時間序列的特征，利用歸一化統一特征尺度，并對類別特征進行編碼，并將處理好的特征用于訓練卷
5.如權利要求4所述的一種基于微服務的日志實時監測方法，其特征在于：所述利用第二特征數據訓練故障模型包括，利用提取獲得的第二特征數據構建卷積神經網絡模型，選擇卷積層、池化層和全連接層，初始化權重，并進行卷積神經網絡模型的訓練。
6.如權利要求5所述的一種基于微服務的日志實時監測方法，其特征在于：所述利用故障模型輸出第三預測數據，并根據第三預測數據調整報警閾值包括，分析實時收集的第一日志數據，并利用卷積神經網絡的故障預測模型進行故障預測，并獲得第三預測數據，并根據第三預測結果動態調整報警閾值；
7.如權利要求6所述的一種基于微服務的日志實時監測方法，其特征在于：所述通過監控界面分析電網狀態包括，利用消息隊列作為微服務間通信的中介，并定義消息格式和協議，建立通信機制，日志監測服務將收集的數據及計算獲得的F(c)發送到消息隊列，報警閾值調整服務監聽消息隊列，接收監測結果，將閾值調整指令發送給剩余微服務，微服務根據接收的閾值調整指令更新內部報警閾值，數據可視化服務訂閱消息隊列，接收實時監測數據和閾值調整指令，將數據轉換為可視化格式，前端界面通過輪詢機制從數據可視化服務獲取更新的數據，運維人員通過界面監控設備狀態和分析電網狀態。
8.一種采用如權利要求1～7任一所述的一種基于微服務的日志實時監測方法的系統，其特征在于：包括日志數據采集與傳輸模塊、特征提取與預處理模塊、故障預測模型訓練模塊、故障預測與閾值調整模塊以及微服務間通信與協同模塊；
9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的一種基于微服務的日志實時監測方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的一種基于微服務的日志實時監測方法的步驟。
...【技術特征摘要】
1.一種基于微服務的日志實時監測方法，其特征在于：包括，
2.如權利要求1所述的一種基于微服務的日志實時監測方法，其特征在于：所述采集第一設備運行日志包括，實時采集設備狀態數據、電壓數據、電流數據、頻率數據、歷史故障數據、操作日志、環境數據和時間序列數據；
3.如權利要求2所述的一種基于微服務的日志實時監測方法，其特征在于：所述儲存到數據庫包括，將收集到的第一設備運行數據通過消息隊列進行傳輸，并將數據存儲到分布式數據庫中；
4.如權利要求3所述的一種基于微服務的日志實時監測方法，其特征在于：所述進行特征提取獲得第二特征數據包括，從分布式數據庫中提取時間序列數據、結構化數據、非結構化數據、數值特征、類別特征、時間特征、統計特征和文本特征，將提取到的數據進行預處理，分析數據的統計特性并利用可視化工具理解數據的結構和特征，利用相關性分析選擇與目標變量相關性最高的特征，并通過遞歸特征消除算法自動選擇特征，根據領域知識和業務邏輯構造新的特征并利用時間窗口技術，創建基于時間序列的特征，利用歸一化統一特征尺度，并對類別特征進行編碼，并將處理好的特征用于訓練卷積神經網絡的故障預測模型；
5.如權利要求4所述的一種基于微服務的日志實時監測方法，其特征在于：所述利用第二特征數據訓練故障模型包括，利用提取獲得的第二特征數據構建卷積神經網絡模型，選擇卷積層、池化層和全連接層，初始化權重，并進行卷積神經網絡模型的訓練。
6.如權利要求5所述的一種基于微服務的日志實時監測方法，其特征在于：所述...
【專利技術屬性】
技術研發人員：潘麗君，李洵，王策，湯杰，何熙，
申請(專利權)人：貴州電網有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。