【技術實現步驟摘要】
本專利技術涉及計算機，尤其涉及一種水利模型多源日志處理方法及裝置，另外還涉及一種電子設備、非暫態計算機可讀存儲介質及計算機程序產品。
技術介紹
1、近年來，隨著智慧水利建設的快速發展，以流域為單元提升水情測報和智能調度能力的數字孿生流域平臺成為新階段水利高質量發展的重要任務。數字孿生流域平臺中的水利模型涉及模擬降雨產匯流的水文模型、模擬洪水演進的水動力模型、指導水利工程運用的多目標聯合調度模型、分析淹沒損失的災損評估模型等，上述水利模型之間的銜接調用是數字孿生流域智能化模擬的核心，但水利模型之間調用鏈路長、計算復雜，水利模型的算法邏輯、調用步驟、參數校驗、執行過程一般由平臺開發人員封裝在程序中，對業務操作人員來講為黑盒狀態。作業任務失敗時，操作人員無法感知哪個環節的任務出現問題，需要開發人員后臺查詢相關日志逐項排查，解決問題路徑長、效率低，影響流域防洪指揮調度工作的開展。另外，水利模型的“黑盒狀態”可能導致用戶在依賴水利模型預測結果做決策時面臨信任度問題。由于用戶缺乏對水利模型機制的清晰理解，用戶很難完全信賴水利模型輸出，尤其是在水利模型預測結果與實際情況有所偏差時，難以判斷是水利模型本身的局限還是參數設置不當。因此，水利模型的校驗、驗證和不確定性分析顯得尤為重要，但這些過程同樣需要一定的專業知識和技術手段。由于數字孿生流域項目規模大，平臺建設過程中通常會有多家水利模型廠商參與，不同廠商、不同模型之間相互獨立又相互依存，若沒有統一管理和有效整合，調用鏈路布局顯得凌亂無章，給后期的維護升級工作帶來了極大的困擾。因此，如何設計一種更
技術實現思路
1、本專利技術提供一種水利模型多源日志處理方法，用以解決現有技術中存在的水利模型多源日志處理效率較差，導致無法快速獲取水利模型在不同模型節點任務的目標日志數據的缺陷。
2、本專利技術提供一種水利模型多源日志處理方法，包括：
3、獲取水利模型調度鏈路中的各個模型節點任務的原始日志數據；
4、基于預設的日志維度映射邏輯對所述原始日志數據進行維度映射處理，獲得目標維度的日志數據；
5、對所述目標維度的日志數據進行歸一化處理，獲得歸一化后的日志數據，并將所述歸一化后的日志數據存儲到分布式搜索引擎集群中；
6、獲得用戶端輸入的查詢詞，并在所述分布式搜索引擎集群對應的詞項表中查找所述查詢詞，以獲取所述查詢詞對應的倒排列表；根據所述倒排列表查找到所有包含所述查詢詞的歸一化后的日志數據；對所述所有包含所述查詢詞的歸一化后的日志數據進行排序，獲得日志數據排序結果；從所述日志數據排序結果中獲取前目標數量的日志數據作為目標日志數據，并返回到所述用戶端。
7、進一步的，在獲得歸一化后的日志數據之后，還包括：
8、將所述歸一化后的日志數據作為日志聚合數據存儲到日志聚合分析庫；
9、根據預設的聚合維度，將所述日志聚合分析庫中的日志聚合數據分發到相應的與所述聚合維度對應的聚合算子進行聚合處理，獲得日志數據的聚合處理結果，并將所述日志數據的聚合處理結果存儲到結構化分析庫中，以根據所述結構化分析庫中存儲的所述日志數據的聚合處理結果進行結構化分析，輸出相應的結構化分析結果。
10、進一步的，所述獲取水利模型調度鏈路中的各個模型節點任務的原始日志數據，包括：
11、在所述水利模型調度鏈路中的各個模型節點任務進行日志埋點處理，以通過日志埋點的方式獲取所述水利模型調度鏈路中的各個模型節點任務執行過程中原始日志數據；其中，所述原始日志數據中包含有各個模型節點任務在不同執行狀態下的標識。
12、進一步的，所述對所述目標維度的日志數據進行歸一化處理，獲得歸一化后的日志數據，具體包括：
13、將所述目標維度的日志數據轉化為結構化日志數據；
14、對所述結構化日志數據進行數據清洗，獲得清洗后的日志數據；
15、對清洗后的日志數據進行插補處理，獲得插補后的日志數據；
16、對所述插補后的日志數據進行糾偏處理，獲得歸一化后的日志數據。
17、進一步的，在從所述日志數據排序結果中獲取前目標數量的日志數據作為目標日志數據之后，還包括：
18、在所述目標日志數據存在異常的情況下，判斷所述目標日志數據對應的日志異常級別；
19、根據所述日志異常級別確定不同的日志告警對象以及告警通知方式。
20、進一步的，所述的水利模型多源日志處理方法，還包括：
21、在所述目標日志數據存在異常的情況下，確定所述目標日志數據記錄的模型節點標識；
22、根據所述模型節點標識確定相應的所述模型節點任務；其中，所述模型節點任務包括洪水作業配置任務、產匯流計算任務、水庫規則調度計算任務、一維水動力計算任務、優化調度作業任務、優化調度計算任務以及二維水動力計算任務中的至少一項任務。
23、本專利技術還提供一種水利模型多源日志處理裝置，包括：
24、日志數據獲取單元，用于獲取水利模型調度鏈路中的各個模型節點任務的原始日志數據；
25、維度映射處理單元，用于基于預設的日志維度映射邏輯對所述原始日志數據進行維度映射處理，獲得目標維度的日志數據；
26、歸一化處理單元，用于對所述目標維度的日志數據進行歸一化處理，獲得歸一化后的日志數據，并將所述歸一化后的日志數據存儲到分布式搜索引擎集群中；
27、目標日志數據處理單元，用于獲得用戶端輸入的查詢詞，并在所述分布式搜索引擎集群對應的詞項表中查找所述查詢詞，以獲取所述查詢詞對應的倒排列表；根據所述倒排列表查找到所有包含所述查詢詞的歸一化后的日志數據；對所述所有包含所述查詢詞的歸一化后的日志數據進行排序，獲得日志數據排序結果；從所述日志數據排序結果中獲取前目標數量的日志數據作為目標日志數據，并返回到所述用戶端。
28、進一步的，在獲得歸一化后的日志數據之后，還包括：
29、結構化分析單元，具體用于：
30、將所述歸一化后的日志數據作為日志聚合數據存儲到日志聚合分析庫；
31、根據預設的聚合維度，將所述日志聚合分析庫中的日志聚合數據分發到相應的與所述聚合維度對應的聚合算子進行聚合處理，獲得日志數據的聚合處理結果，并將所述日志數據的聚合處理結果存儲到結構化分析庫中，以根據所述結構化分析庫中存儲的所述日志數據的聚合處理結果進行結構化分析，輸出相應的結構化分析結果。
32、進一步的，所述日志數據獲取單元，具體用于：
33、在所述水利模型調度鏈路中的各個模型節點任務進行日志埋點處理，以通過日志埋點的方式獲取所述水利模型調度鏈路中的各個模型節點任務執行過程中原始日志數據；其中，所述原始日志數據中包含有各個模型節點任務在不同執行狀態下的標識。
34、進一步的，所述歸一化處理單元，具體用于：
35、本文檔來自技高網...
【技術保護點】
1.一種水利模型多源日志處理方法，其特征在于，包括：
2.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，在獲得歸一化后的日志數據之后，還包括：
3.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，所述獲取水利模型調度鏈路中的各個模型節點任務的原始日志數據，包括：
4.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，所述對所述目標維度的日志數據進行歸一化處理，獲得歸一化后的日志數據，具體包括：
5.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，在從所述日志數據排序結果中獲取前目標數量的日志數據作為目標日志數據之后，還包括：
6.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，還包括：
7.一種水利模型多源日志處理裝置，其特征在于，包括：
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述水利模型多源日志處理方法。
9.一種非暫態
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述水利模型多源日志處理方法。
...【技術特征摘要】
1.一種水利模型多源日志處理方法，其特征在于，包括：
2.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，在獲得歸一化后的日志數據之后，還包括：
3.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，所述獲取水利模型調度鏈路中的各個模型節點任務的原始日志數據，包括：
4.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，所述對所述目標維度的日志數據進行歸一化處理，獲得歸一化后的日志數據，具體包括：
5.根據權利要求1所述的水利模型多源日志處理方法，其特征在于，在從所述日志數據排序結果中獲取前目標數量的日志數據作為目標日志數據之后，還包括：
6.根據權...
【專利技術屬性】
技術研發人員：陳高聽，鄒延義，肖鵬，金佳偉，
申請(專利權)人：云粒智慧科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。