【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)，特別涉及一種日志系統(tǒng)告警信息查詢方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
1、日志系統(tǒng)由于復(fù)雜的生產(chǎn)環(huán)境和不斷變化的需求，會(huì)出現(xiàn)各種各樣的錯(cuò)誤和異常，一般通過(guò)告警反饋給客戶。告警查詢對(duì)于日志系統(tǒng)健康狀態(tài)、調(diào)試問(wèn)題、安全審計(jì)等方面至關(guān)重要。
2、傳統(tǒng)的告警查詢是直接從原始數(shù)據(jù)中提取信息，這意味著每當(dāng)有新的查詢請(qǐng)求時(shí)，系統(tǒng)都需要從頭開始掃描整個(gè)數(shù)據(jù)集。隨著告警數(shù)據(jù)量的增長(zhǎng)，這種全量掃描的方式會(huì)導(dǎo)致查詢時(shí)間顯著增加，特別是在數(shù)據(jù)量非常龐大的情況下。并且可能會(huì)導(dǎo)致重復(fù)計(jì)算和資源浪費(fèi)。
3、由上可見，如何提高日志系統(tǒng)告警查詢的效率和響應(yīng)速度，減少數(shù)據(jù)庫(kù)的負(fù)載是目前亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)的目的在于提供一種日志系統(tǒng)告警信息查詢方法、裝置、設(shè)備及介質(zhì)，能夠提高日志系統(tǒng)告警查詢的效率和響應(yīng)速度，減少數(shù)據(jù)庫(kù)的負(fù)載。其具體方案如下：
2、第一方面，本申請(qǐng)?zhí)峁┝艘环N日志系統(tǒng)告警信息查詢方法，包括：
3、將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間；
4、基于不同類型的預(yù)設(shè)查詢條件為所述預(yù)設(shè)存儲(chǔ)空間中的各告警信息配置不同級(jí)別的索引，以得到多級(jí)索引；
5、分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果；
6、當(dāng)獲取到針對(duì)所述目標(biāo)日志系統(tǒng)的告警信息查詢請(qǐng)求，則基于所述告警信息查詢請(qǐng)求對(duì)應(yīng)類型的預(yù)設(shè)查詢條件，從所述各
7、可選的，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
8、利用預(yù)設(shè)數(shù)據(jù)收集工具實(shí)時(shí)從目標(biāo)日志系統(tǒng)中獲取告警信息；
9、基于預(yù)設(shè)異常檢測(cè)算法對(duì)所述告警信息進(jìn)行預(yù)處理以得到處理后告警信息，并將所述處理后告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間；
10、其中，所述預(yù)處理包括對(duì)所述告警信息進(jìn)行數(shù)據(jù)清洗以及基于預(yù)設(shè)標(biāo)準(zhǔn)化數(shù)據(jù)格式對(duì)所述告警信息進(jìn)行格式化；所述數(shù)據(jù)清洗包括對(duì)所述告警信息中的冗余信息進(jìn)行剔除以及對(duì)重復(fù)的所述告警信息以及錯(cuò)誤觸發(fā)的所述告警信息進(jìn)行剔除。
11、可選的，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
12、將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)分布式數(shù)據(jù)庫(kù)中；
13、相應(yīng)的，所述方法還包括：
14、在將所述告警信息存儲(chǔ)到所述預(yù)設(shè)分布式數(shù)據(jù)庫(kù)的同時(shí)，利用訓(xùn)練后強(qiáng)化學(xué)習(xí)模型對(duì)所述預(yù)設(shè)分布式數(shù)據(jù)庫(kù)的資源分配參數(shù)進(jìn)行調(diào)整；
15、其中，所述訓(xùn)練后強(qiáng)化學(xué)習(xí)模型為利用預(yù)先收集到的歷史數(shù)據(jù)對(duì)預(yù)設(shè)強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練后得到的模型；所述資源分配參數(shù)為用于在將所述告警信息存儲(chǔ)到所述預(yù)設(shè)分布式數(shù)據(jù)庫(kù)的過(guò)程中對(duì)所述預(yù)設(shè)分布式數(shù)據(jù)庫(kù)的資源分配進(jìn)行調(diào)整的參數(shù)。
16、可選的，所述分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果之后，還包括：
17、利用預(yù)設(shè)流處理框架確定增量聚合邏輯，并基于所述增量聚合邏輯將實(shí)時(shí)告警信息聚合結(jié)果與歷史告警信息聚合結(jié)果合并，以得到當(dāng)前各級(jí)索引分別對(duì)應(yīng)的新的各告警信息聚合結(jié)果。
18、可選的，所述的日志系統(tǒng)告警信息查詢方法，還包括：
19、根據(jù)歷史查詢請(qǐng)求從所述各告警信息聚合結(jié)果確定熱點(diǎn)聚合結(jié)果，并將所述熱點(diǎn)聚合結(jié)果存儲(chǔ)到預(yù)設(shè)緩存空間；
20、相應(yīng)的，所述利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)，包括：
21、判斷所述熱點(diǎn)聚合結(jié)果是否包含與所述告警信息查詢請(qǐng)求對(duì)應(yīng)的所述目標(biāo)告警信息聚合結(jié)果；
22、若所述熱點(diǎn)聚合結(jié)果包含與所述告警信息查詢請(qǐng)求對(duì)應(yīng)的所述目標(biāo)告警信息聚合結(jié)果，則從所述預(yù)設(shè)緩存空間中獲取所述目標(biāo)告警信息聚合結(jié)果，并利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)。
23、可選的，所述的日志系統(tǒng)告警信息查詢方法，還包括：
24、對(duì)各所述告警信息聚合結(jié)果進(jìn)行分析，以確定出現(xiàn)頻次大于預(yù)設(shè)閾值的目標(biāo)查詢模式，并基于所述目標(biāo)查詢模式對(duì)索引構(gòu)造策略進(jìn)行更新。
25、可選的，所述從所述各告警信息聚合結(jié)果確定出相應(yīng)的目標(biāo)告警信息聚合結(jié)果，并利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)，包括：
26、從所述各告警信息聚合結(jié)果確定出第一目標(biāo)告警信息聚合結(jié)果，并利用所述第一目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)，以向客戶端返回粗粒度查詢結(jié)果；
27、在所述客戶端獲取到所述粗粒度查詢結(jié)果后，從所述各告警信息聚合結(jié)果確定出第二目標(biāo)告警信息聚合結(jié)果，并利用所述第二目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)，以向客戶端返回細(xì)粒度查詢結(jié)果；
28、其中，所述第一目標(biāo)告警信息聚合結(jié)果對(duì)應(yīng)的查詢粒度大于所述第二目標(biāo)告警信息聚合結(jié)果對(duì)應(yīng)的查詢粒度。
29、第二方面，本申請(qǐng)?zhí)峁┝艘环N日志系統(tǒng)告警信息查詢裝置，包括：
30、告警信息存儲(chǔ)模塊，用于將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間；
31、多級(jí)索引生成模塊，用于基于不同類型的預(yù)設(shè)查詢條件為所述預(yù)設(shè)存儲(chǔ)空間中的各告警信息配置不同級(jí)別的索引，以得到多級(jí)索引；
32、告警信息聚合模塊，用于分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果；
33、告警信息查詢模塊，用于當(dāng)獲取到針對(duì)所述目標(biāo)日志系統(tǒng)的告警信息查詢請(qǐng)求，則基于所述告警信息查詢請(qǐng)求對(duì)應(yīng)類型的預(yù)設(shè)查詢條件，從所述各告警信息聚合結(jié)果確定出相應(yīng)的目標(biāo)告警信息聚合結(jié)果，并利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)。
34、第三方面，本申請(qǐng)?zhí)峁┝艘环N電子設(shè)備，包括：
35、存儲(chǔ)器，用于保存計(jì)算機(jī)程序；
36、處理器，用于執(zhí)行所述計(jì)算機(jī)程序，以實(shí)現(xiàn)前述的日志系統(tǒng)告警信息查詢方法。
37、第四方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于保存計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述的日志系統(tǒng)告警信息查詢方法。
38、本申請(qǐng)?zhí)峁┝艘环N日志系統(tǒng)告警信息查詢方法，先將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間；再基于不同類型的預(yù)設(shè)查詢條件為所述預(yù)設(shè)存儲(chǔ)空間中的各告警信息配置不同級(jí)別的索引，以得到多級(jí)索引；然后分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果；最后當(dāng)獲取到針對(duì)所述目標(biāo)日志系統(tǒng)的告警信息查詢請(qǐng)求，則基于所述告警信息查詢請(qǐng)求對(duì)應(yīng)類型的預(yù)設(shè)查詢條件，從所述各告警信息聚合結(jié)果確定出相應(yīng)的目標(biāo)告警信息聚合結(jié)果，并利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)。本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種日志系統(tǒng)告警信息查詢方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
3.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
4.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果之后，還包括：
5.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，還包括：
6.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，還包括：
7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述從所述各告警信息聚合結(jié)果確定出相應(yīng)的目標(biāo)告警信息聚合結(jié)果，并利用所述目標(biāo)告警信息聚合結(jié)果對(duì)所述告警信息查詢請(qǐng)求進(jìn)行響應(yīng)，包括：
8.一種日志系統(tǒng)告警信息查詢裝置，其特征在于，包括：
9
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于保存計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的日志系統(tǒng)告警信息查詢方法。
...【技術(shù)特征摘要】
1.一種日志系統(tǒng)告警信息查詢方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
3.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述將從目標(biāo)日志系統(tǒng)中獲取的告警信息存儲(chǔ)到預(yù)設(shè)存儲(chǔ)空間，包括：
4.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征在于，所述分別基于每級(jí)索引對(duì)所述預(yù)設(shè)存儲(chǔ)空間中相應(yīng)的所述告警信息進(jìn)行聚合，以得到各級(jí)索引分別對(duì)應(yīng)的各告警信息聚合結(jié)果之后，還包括：
5.根據(jù)權(quán)利要求1所述的日志系統(tǒng)告警信息查詢方法，其特征...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：龍文潔，周亞超，
申請(qǐng)(專利權(quán))人：杭州安恒信息技術(shù)股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。