【技術實現步驟摘要】
本專利技術涉及計算機系統運行分析領域，具體為一種基于呼叫場景大模型和日志收集的性能分析方法。
技術介紹
1、隨著計算機技術的快速發展，系統整體運行情況成為了一個重要的研究方向。傳統的性能分析方法往往依賴于人工經驗和簡單的統計手段，無法全面、準確地反映系統性能狀況。近年來，隨著大數據和人工智能技術的不斷發展，大模型在性能分析領域的應用逐漸受到關注。
2、然而，如何有效地收集和利用日志數據，以支持大模型進行性能分析，仍然是一個亟待解決的問題。
技術實現思路
1、本專利技術的目的在于提供一種基于呼叫場景大模型和日志收集的性能分析方法，解決現有運維日志分析方法在處理大規模數據時的效率問題，以及在可預測性、性能指標統計、運營指標統計和后臺審計等場景下不足。
2、為實現上述目的，本專利技術提供如下技術方案：
3、一種基于呼叫場景大模型和日志收集的性能分析方法，包括如下步驟：
4、1）日志采集，收集來自各個呼叫場景的日志數據，包括系統日志、應用日志、安全日志；
5、2）日志處理與存儲，采集到的日志數據采用pandas或datacleaner經過清洗、過濾轉換處理，消除冗余信息、使數據格式標準化、提取出有價值信息，處理后的數據存儲在數據庫或分布式存儲系統中；
6、3）日志模型訓練，使用k-均值聚類或dbscan算法對處理后的日志數據進行訓練：dbscan算法步驟：
7、初始化：假設有一個包含多個數據點的數據集。設定
8、核心點識別：遍歷數據集中的每個點，計算其eps鄰域內的點數；如果某個點的eps鄰域內點數大于等于minpts，則將該點標記為核心點。
9、聚類開始：隨機選擇一個核心點作為起始點，開始一個新的聚類過程；將該核心點的eps鄰域內的所有點加入到當前聚類簇中；密度可達與密度相連：從已加入聚類簇的點出發，尋找所有密度可達的點；如果兩個點之間存在一個核心點序列，使得它們都能通過該序列密度可達，則稱這兩個點是密度相連的，將所有密度相連的點都加入到當前聚類簇中；
10、繼續聚類：重復上述過程，直到所有的核心點都被訪問過，并且它們所屬的聚類簇都已確定，剩余的點被標記為噪聲點；
11、結果展示：最終，數據集被劃分為多個聚類簇和一組噪聲點。聚類簇由密度相連的點組成；
12、4）數據注入，通過數據注入來補充缺失的數據或模擬某些特定場景下的日志數據；
13、5）日志推理與訓練，通過日志推理，可以對系統性能進行深入的剖析，性能分析指標包括響應時間、吞吐量、cpu利用率、內存利用率；
14、6）性能看板與交互問答，使用grafana構建性能看板，構建性能看板的步驟包括需求分析、數據源準備、看板設計、性能監控、用戶交互、優化與迭代，其中看板設計的步驟為在grafana中創建新的dashboard，設計看板的布局，包括面板的排列、大小、顏色，為每個性能指標創建對應的panel，配置數據源、查詢語句、圖表類型。
15、優選的，所述2）中提取有用信息通過使用正則表達式、日志分析工具或自定義腳本解析數據，日志分析工具采用elk或splunk。
16、優選的，所述3）模型需要評估、超參數調優，在訓練過程中，需要使用驗證集對模型進行評估，以確保模型的泛化能力；通過調整模型的超參數來優化模型的性能，超參數包括學習率、批處理大小、迭代次數，模型選擇根據問題的具體需求和數據的特性。
17、優選的，所述6）中構架性能看板：
18、需求分析的性能指標包括響應時間、吞吐量、cpu使用率、內存使用率；
19、數據源準備是將日志分析的結果整理成grafana支持的時間序列或json數據格式；配置數據源是將grafana連接到存儲日志分析結果的數據庫或系統，包括elasticsearch、prometheus、mysql；
20、性能監控：實時更新panel中的數據，展示系統的實時運行狀態；設置警報，當性能指標超出預設閾值時，及時通知相關人員；
21、用戶交互：通過grafana的變量和鏈接功能，實現跨panel或跨dashboard的交互。
22、與現有技術相比，本專利技術的有益效果是：
23、自動化程度高：通過日志采集工具和大模型的自動化處理，實現了對系統日志數據的自動化收集和分析，提高了性能分析的效率和準確性；
24、分析全面準確：大模型具有深度學習和自然語言處理能力，能夠自動識別和分析日志數據中的關鍵信息，為運維人員提供全面、準確的性能分析依據；
25、可擴展性強：本專利技術的方法可以應用于不同類型的系統和場景，只需根據實際需求調整日志采集工具和大模型的配置即可。
本文檔來自技高網...【技術保護點】
1.一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，所述2）中提取有用信息通過使用正則表達式、日志分析工具或自定義腳本解析數據，日志分析工具采用ELK或Splunk。
3.根據權利要求1所述的一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，所述3）模型需要評估、超參數調優，在訓練過程中，需要使用驗證集對模型進行評估，以確保模型的泛化能力；通過調整模型的超參數來優化模型的性能，超參數包括學習率、批處理大小、迭代次數，模型選擇根據問題的具體需求和數據的特性。
4.根據權利要求1所述上的一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，所述6）中構架性能看板：
【技術特征摘要】
1.一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于呼叫場景大模型和日志收集的性能分析方法，其特征在于，所述2）中提取有用信息通過使用正則表達式、日志分析工具或自定義腳本解析數據，日志分析工具采用elk或splunk。
3.根據權利要求1所述的一種基于呼叫場景大模型和日志收集的性能...
【專利技術屬性】
技術研發人員：劉傳勇，何綿大，張紅，
申請(專利權)人：八度云計算安徽有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。