【技術實現步驟摘要】
本申請涉及大數據分析及金融科技，尤其是涉及到一種動態日志數據處理方法、裝置、存儲介質及計算機設備。
技術介紹
1、在現代軟件開發與運維環境中，日志分析與故障檢測是確保系統穩定運行的關鍵環節。隨著云計算、大數據等技術的普及，系統產生的日志數據量急劇增加，對日志處理和分析能力提出了更高要求。為了應對這一挑戰，業界已開發出一系列工具，如elk?stac等靜態日志分析工具，以及new?relic等故障檢測工具，旨在通過監控和分析系統日志及性能指標，及時發現并處理潛在問題。
2、在現有技術中，主要通過兩種方式實現日志的分析與故障檢測。其中，一種方法為采用靜態日志分析工具，該方法主要通過收集、存儲和查詢日志數據，為用戶提供日志的靜態分析功能，幫助用戶理解系統行為。第二種方法為采用基于規則的故障檢測系統，該方法通過預設的規則和閥值的方式來監控系統指標，一旦檢測到異常即觸發警報。此外，還有如new?relic等綜合性工具，不僅能夠監控日志，還監控應用性能，以提供更全面的故障檢測服務。
3、然而，現有的日志分析和故障檢測方法仍然存在諸多不足。首先，靜態日志分析工具在處理大量數據時實時性不足，往往無法即時反饋分析結果，導致問題發現滯后。其次，基于規則的故障檢測系統過于依賴預定義規則，難以適應復雜多變的應用環境，容易造成誤報或漏報。
技術實現思路
1、有鑒于此，本申請實施例提供了一種動態日志數據處理方法、裝置、存儲介質及計算機設備，主要目的在于解決現有的日志分析與故障檢測方法實時
2、根據本申請的一個方面，提供了一種動態日志數據處理方法，該方法包括：
3、實時采集待測事項的日志流數據，并基于預訓練的機器學習模型，識別出所述待測事項在多個維度的特征值；
4、基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值；
5、將所述待測事項在多個維度的特征值與所述多個維度的目標特征閾值進行逐一比對，得到所述待測事項在多個維度的特征比對結果；
6、基于所述待測事項在多個維度的特征比對結果以及預設的多種異常模式對應的特征檢測維度，得到所述待測事項的異常檢測結果。
7、根據本申請的另一方面，提供了一種動態日志數據處理裝置，該裝置包括：
8、特征識別模塊，用于實時采集待測事項的日志流數據，并基于預訓練的機器學習模型，識別出所述待測事項在多個維度的特征值；
9、閾值調整模塊，用于基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值；
10、特征比對模塊，用于將所述待測事項在多個維度的特征值與所述多個維度的目標特征閾值進行逐一比對，得到所述待測事項在多個維度的特征比對結果；
11、異常檢測模塊，用于基于所述待測事項在多個維度的特征比對結果以及預設的多種異常模式對應的特征檢測維度，得到所述待測事項的異常檢測結果。
12、依據本申請又一個方面，提供了一種存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現上述動態日志數據處理方法。
13、依據本申請再一個方面，提供了一種計算機設備，包括存儲介質、處理器及存儲在存儲介質上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述動態日志數據處理方法。
14、借由上述技術方案，本申請實施例提供的一種動態日志數據處理方法及裝置、存儲介質及計算機設備，通過實時采集日志流數據，并通過機器學習模型對日志流數據進行特征識別，可以提高特征識別的準確性和可靠性。通過在異常檢測的過程中動態調整多個維度的特征閾值，能夠更好地適應不同的環境和時間特征，從而避免固定閾值在不同場景下可能導致的誤報或漏報問題。通過將待測事項在多個維度的特征值與對應的目標特征閾值進行逐一比對，并將比對結果與預設的多種異常模式對應的特征檢測維度進行對照，可以實時的檢測出待測事項是否發生了異常，從而能夠及時采取措施，以此減少故障響應時間，提高異常檢測的及時性。上述方法可以實現對日志流數據從數據采集到異常檢測全流程自動化處理，提高異常檢測的實時性和準確性，減少誤報或漏報問題的發生，為業務穩定運行提供有力保障。
15、上述說明僅是本申請技術方案的概述，為了能夠更清楚了解本申請的技術手段，而可依照說明書的內容予以實施，并且為了讓本申請的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本申請的具體實施方式。
本文檔來自技高網...【技術保護點】
1.一種動態日志數據處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述待測事項包括待測系統，所述多個維度的特征閾值包括流量變化閾值和網絡攻擊閾值；則所述基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值，包括：
3.根據權利要求2所述的方法，其特征在于，所述基于所述待測事項在多個維度的特征比對結果以及預設的多種異常模式對應的特征檢測維度，得到所述待測事項的異常檢測結果，包括：
4.根據權利要求1所述的方法，其特征在于，所述待測事項包括待測業務，所述多個維度的特征閾值包括交易流水閾值、交易行為閾值和交易環境閾值；則所述基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值，包括：
5.根據權利要求4所述的方法，其特征在于，所述基于所述待測事項在多個維度的特征比對結果以及預設的多種異常模式對應的特征檢測維度，得到所述待測事項的異常檢測結果，包括：
6.根據權利要
7.根據權利要求1至5任一項所述的方法，其特征在于，在得到所述待測事項的異常檢測結果之后，所述方法還包括：
8.一種動態日志數據處理裝置，其特征在于，所述裝置包括：
9.一種存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法。
10.一種計算機設備，包括存儲介質、處理器及存儲在存儲介質上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種動態日志數據處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述待測事項包括待測系統，所述多個維度的特征閾值包括流量變化閾值和網絡攻擊閾值；則所述基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值，包括：
3.根據權利要求2所述的方法，其特征在于，所述基于所述待測事項在多個維度的特征比對結果以及預設的多種異常模式對應的特征檢測維度，得到所述待測事項的異常檢測結果，包括：
4.根據權利要求1所述的方法，其特征在于，所述待測事項包括待測業務，所述多個維度的特征閾值包括交易流水閾值、交易行為閾值和交易環境閾值；則所述基于當前的時間特征和環境特征、以及所述待測事項的事項特征，對多個維度的特征閾值進行動態調整，得到多個維度的目標特征閾值...
【專利技術屬性】
技術研發人員：楊超群，
申請(專利權)人：平安健康保險股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。