【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及深度學習和自然語言處理技術，特別涉及大模型技術，具體涉及一種基于語義推薦的日志建模方法。
技術介紹
1、日志建模是一種關鍵的網絡安全和數據分析技術，其核心在于理解和預測系統的行為，同時檢測可能存在的異常活動。這一過程始于對系統產生的日志數據進行收集，這些數據可以來自服務器、網絡設備或應用程序等不同來源。進而從原始日志數據中提取或構建能夠反映系統狀態或行為的特征。這可能包括時間序列數據、ip地址、操作類型、響應時間等。特征的選擇和構建直接影響模型的性能。使用基于統計的模型、聚類模型或機器學習模型，去分析并發現異常。
2、在日志建模領域，現有技術方案主要圍繞機器學習、自然語言處理(nlp)以及深度學習模型展開，旨在從海量日志數據中提取有價值的信息，進行異常檢測、趨勢分析和預測。
3、傳統的機器學習方法，如支持向量機(svm)、隨機森林(rf)等，通過特征工程對日志數據進行預處理，將其轉換為可計算的特征向量，再利用模型進行分類或回歸分析，以識別異常行為或預測系統狀態。然而，這些方法在處理非結構化或半結構化日志數據時，往往需要大量人工參與特征選擇，且模型泛化能力有限。
4、nlp技術的引入，尤其是基于深度學習的序列模型如長短時記憶網絡(lstm)和transformer，能夠更好地理解和處理日志中的語義信息，通過學習日志文本的序列特征，自動捕捉日志間的關聯性，提高異常檢測的準確性。同時，通過計算文本的語義相似度，可以輔助進行日志聚類和異常檢測，減少人工干預。然而，這種方
5、基于通用大模型的建模生成技術，雖然能夠在一定程度上自動化建模語句的生成，減輕數據分析師的工作負擔，但這種技術在垂直領域應用時，由于缺乏對具體業務場景的理解，生成的建模語句可能無法滿足特定需求，且缺乏直觀性和可視化交互，增加了學習和使用的門檻。為解決這一問題，需要結合領域知識，對模型進行微調或開發專門的領域模型，但這同樣增加了實施的復雜性和成本。
6、綜上所述，基于傳統機器學習和nlp的模型，雖然能夠進行文本語義相似度計算，但在處理垂直領域的復雜日志數據時，往往需要依賴人工干預進行置信度判別，或者模型的準確度受限于特定領域的知識深度，導致泛化能力和適應性不足。此外，基于通用大模型的建模生成技術，雖然旨在自動化建模語句的生成，減少人工編寫建模的負擔，但由于缺乏對特定業務場景的深入理解，生成的建模語句可能無法精確匹配實際需求，且其非直觀性和高學習門檻，以及缺乏可視化交互，使得技術應用的普及性和用戶體驗受到影響。
7、由此可見，日志建模技術的發展正面臨如何在保持模型泛化能力的同時，提高對特定業務場景的適應性，以及如何降低模型應用的成本和門檻的挑戰。未來的技術趨勢可能更多地聚焦于模型的自適應性、可視化交互和領域知識的融合，以實現更高效、更智能的日志分析與處理。鑒于此，本專利技術方案提出了一種基于語義推薦的日志建模方法。
技術實現思路
1、本專利技術旨在解決現有技術中的日志建模方法存在模型泛化能力和適應性不足，無法精確匹配實際需求，使技術應用的普及性和用戶體驗受到影響等問題，提出一種基于語義推薦的日志建模方法，通過深度學習技術，結合語義推理算法，對日志數據進行深度解析，能夠快速適應不同垂直領域的業務數據，保證數據處理的準確性和效率。
2、為了實現上述專利技術目的，本專利技術的技術方案如下：
3、一種基于語義推薦的日志建模方法，其特征在于，包括如下步驟：
4、步驟a、從常規的建模工作中提取包含場景描述文本和日志建模語句在內的文本內容；
5、步驟b、依據建模目標對上述文本內容進行分類整理，并基于分類后的文本內容構建特殊結構的問答對；
6、步驟c、將建模工作所需的文本內容以及構造的問答對，對應整合到一個知識庫中；
7、步驟d、當用戶提出具體建模問題時，利用大模型和提示詞技術，理解該問題并推測其涉及的文本內容；
8、步驟e、利用深度學習和語義推理技術，從知識庫中獲取與該文本內容相關的問答對，并推薦與該提問相似、相近的問答對；
9、步驟f、對于推薦的問答對，系統自動解析回答并讀取其關聯屬性，聯合可視化組件進行渲染；或利用大模型和提示詞技術，根據用戶提問中的特定約束條件修改問答對內容，生成適應性答案并填充到可視化組件中，直觀展示數據處理結果。
10、進一步的，所述場景描述文本和日志建模語句至少包括建模目標場景描述性文本、數據庫描述文本、數據庫字段文本、數據字段文本、業務需求文本、數據分析描述文本和日志建模sql語句。
11、進一步的，所述場景描述文本和日志建模語句包含的數據內容至少包括：
12、建模目標描述，包括建模需要達到的業務預期結果、方向、目的；
13、建模sql描述，包括數據分析過程中編寫的具體sql語句以及語句備注信息；
14、建模過程描述，包括數據建模過程中，對數據的理解、場景的理解，以及使用的數據計算邏輯、判斷邏輯、分析邏輯；
15、日志數據結構，包括數據建模時的分析數據的數據庫、表結構的描述；
16、建模算子描述，包括用于查詢和處理數據庫中數據的操作符或函數；
17、建模參考文本，包括建模過程中用于指導、幫助建模所用到的其他文檔、文本。
18、進一步的，步驟b中，問答對中的問題部分來源于場景描述和建模過程描述文本，回答部分包含實現需求的具體建模語句或數據處理邏輯。
19、進一步的，問答對的回答部分包括數據可視化回答文本和建模可視化回答文本，所述數據可視化回答文本用于數據分析，生成符合可視化要求的結果數據，所述建模可視化回答文本用于可視化建模的數據交互。
20、進一步的，特殊結構的問答對至少包含提問、摘要、建模過程、函數算子、函數算子方法、時間、數據類型、數據表、所用字段、建模sql及其可增強業務理解和語義理解在內的key/value對。
21、進一步的，步驟c中，提取建模所需文本內容中與數據庫相關的文本，經過向量化處理后構建成第一知識庫，并提供查詢、匹配接口；提取建模所需文本內容中與建模相關的文本，經過向量化處理后構建成第二知識庫，并提供查詢、匹配接口；提取構建的問答對，構建成第三知識庫，并提供查詢、匹配接口；第一、第二、第三知識庫之間提供查詢交互。
22、進一步的，當用戶提出具體建模問題時，系統首先推測該提問所屬數據庫中的日志表字段，然后從知識庫中獲取與該日志表字段相關的問答對；再通過從第一、第二、第三知識庫中篩選出關聯的文本和問答對，與用戶的提問文本進行匹配，輸出其中最相似、相近的問答對。
23、進一步的，步驟f中，系統自動解析回答并讀取其關聯屬性，聯合可視化組件進行渲染，包括：本文檔來自技高網...
【技術保護點】
1.一種基于語義推薦的日志建模方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，所述場景描述文本和日志建模語句至少包括建模目標場景描述性文本、數據庫描述文本、數據庫字段文本、數據字段文本、業務需求文本、數據分析描述文本和日志建模SQL語句。
3.如權利要求1或2所述的一種基于語義推薦的日志建模方法，其特征在于，所述場景描述文本和日志建模語句包含的數據內容至少包括：
4.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，步驟b中，問答對中的問題部分來源于場景描述和建模過程描述文本，回答部分包含實現需求的具體建模語句或數據處理邏輯。
5.如權利要求4所述的一種基于語義推薦的日志建模方法，其特征在于，問答對的回答部分包括數據可視化回答文本和建模可視化回答文本，所述數據可視化回答文本用于數據分析，生成符合可視化要求的結果數據，所述建模可視化回答文本用于可視化建模的數據交互。
6.如權利要求1、4或5中任意一項所述的一種基于語義推薦的日志建模方法，其特征在于，特殊結構的
7.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，步驟c中，提取建模所需文本內容中與數據庫相關的文本，經過向量化處理后構建成第一知識庫，并提供查詢、匹配接口；提取建模所需文本內容中與建模相關的文本，經過向量化處理后構建成第二知識庫，并提供查詢、匹配接口；提取構建的問答對，構建成第三知識庫，并提供查詢、匹配接口；第一、第二、第三知識庫之間提供查詢交互。
8.如權利要求7所述的一種基于語義推薦的日志建模方法，其特征在于，當用戶提出具體建模問題時，系統首先推測該提問所屬數據庫中的日志表字段，然后從知識庫中獲取與該日志表字段相關的問答對；再通過從第一、第二、第三知識庫中篩選出關聯的文本和問答對，與用戶的提問文本進行匹配，輸出其中最相似、相近的問答對。
9.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，步驟f中，系統自動解析回答并讀取其關聯屬性，聯合可視化組件進行渲染，包括：依據對用戶提問意圖的判斷，生成可視化SQL文本，以及具備時間顆粒度的字段和統計數據，同時滿足提問文本的屬性約束。
10.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，步驟f中，利用大模型和提示詞技術，根據用戶提問中的特定約束條件修改問答對內容，生成適應性答案，包括：依據對用戶提問意圖的判斷生成建模SQL文本，維持推薦的問答中建模算子和建模邏輯，同時滿足提問文本的屬性約。
...【技術特征摘要】
1.一種基于語義推薦的日志建模方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，所述場景描述文本和日志建模語句至少包括建模目標場景描述性文本、數據庫描述文本、數據庫字段文本、數據字段文本、業務需求文本、數據分析描述文本和日志建模sql語句。
3.如權利要求1或2所述的一種基于語義推薦的日志建模方法，其特征在于，所述場景描述文本和日志建模語句包含的數據內容至少包括：
4.如權利要求1所述的一種基于語義推薦的日志建模方法，其特征在于，步驟b中，問答對中的問題部分來源于場景描述和建模過程描述文本，回答部分包含實現需求的具體建模語句或數據處理邏輯。
5.如權利要求4所述的一種基于語義推薦的日志建模方法，其特征在于，問答對的回答部分包括數據可視化回答文本和建模可視化回答文本，所述數據可視化回答文本用于數據分析，生成符合可視化要求的結果數據，所述建模可視化回答文本用于可視化建模的數據交互。
6.如權利要求1、4或5中任意一項所述的一種基于語義推薦的日志建模方法，其特征在于，特殊結構的問答對至少包含提問、摘要、建模過程、函數算子、函數算子方法、時間、數據類型、數據表、所用字段、建模sql及其可增強業務理解和語義理解在內的key/value對。
7.如權利要求1所述的一種基于語...
【專利技術屬性】
技術研發人員：王偉旭，嚴得榮，陳鵬，
申請(專利權)人：成都數默科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。