【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及日志處理，尤其涉及一種基于大模型的flink日志管理方法、系統(tǒng)、設(shè)備及介質(zhì)。
技術(shù)介紹
1、目前，在大數(shù)據(jù)處理領(lǐng)域，apache?flink作為一種高性能、高可用的流處理框架，被廣泛應(yīng)用于實(shí)時(shí)數(shù)據(jù)處理場(chǎng)景中。然而，盡管flink在數(shù)據(jù)處理能力上表現(xiàn)出色，但在日志記錄與處理方面卻存在一定的局限性。傳統(tǒng)的flink日志記錄方式主要面向技術(shù)人員，其記錄的內(nèi)容、格式以及解讀方式都高度依賴于技術(shù)人員的專業(yè)知識(shí)和經(jīng)驗(yàn)。
2、這種局限性在實(shí)際業(yè)務(wù)應(yīng)用中顯得尤為突出。當(dāng)業(yè)務(wù)需求復(fù)雜多變，需要快速定位并解決問題時(shí)，業(yè)務(wù)人員與技術(shù)人員之間的溝通壁壘就成為了一個(gè)不容忽視的問題。業(yè)務(wù)人員往往缺乏足夠的技術(shù)背景，難以直接從日志中獲取有用的信息；而技術(shù)人員則需要花費(fèi)額外的時(shí)間和精力去解釋日志內(nèi)容，這無疑增加了項(xiàng)目的時(shí)間成本和人力成本。
3、更進(jìn)一步來說，flink程序在運(yùn)行過程中可能會(huì)遇到各種復(fù)雜的情況，如數(shù)據(jù)格式異常、系統(tǒng)資源不足、外部依賴失敗等，這些都可能導(dǎo)致程序運(yùn)行失敗或系統(tǒng)阻塞。然而，當(dāng)前的日志記錄機(jī)制往往只能簡(jiǎn)單地捕獲并打印出錯(cuò)誤信息，而無法對(duì)這些錯(cuò)誤進(jìn)行深入的識(shí)別和分析，更無法將其轉(zhuǎn)換成易于業(yè)務(wù)人員理解的文本輸出。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種基于大模型的flink日志管理方法、系統(tǒng)、設(shè)備及介質(zhì)，用以解決上述技術(shù)問題。
2、一方面，本申請(qǐng)實(shí)施例提供了一種基于大模型的flink日志管理方法，包括：
3、通過多數(shù)據(jù)源獲取歷史日志樣本
4、根據(jù)預(yù)處理后的所述日志數(shù)據(jù)，對(duì)日志轉(zhuǎn)譯模型進(jìn)行訓(xùn)練，并對(duì)異常檢測(cè)模型進(jìn)行訓(xùn)練；
5、接收待處理flink日志文件，以通過訓(xùn)練好的異常檢測(cè)模型，輸出對(duì)應(yīng)的異常檢測(cè)報(bào)告，并通過訓(xùn)練好的日志轉(zhuǎn)譯模型，輸出對(duì)應(yīng)的日志轉(zhuǎn)譯信息，實(shí)現(xiàn)flink日志管理。
6、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，通過多數(shù)據(jù)源獲取歷史日志樣本，并對(duì)所述歷史日志樣本進(jìn)行預(yù)處理，以獲得預(yù)處理后的日志數(shù)據(jù)，具體包括：
7、通過flink日志庫或開源社區(qū)獲取歷史日志樣本，并對(duì)所述歷史日志樣本進(jìn)行數(shù)據(jù)清洗，以去除所述歷史日志樣本中的異常日志條目；所述異常日志條目為重復(fù)、無效或格式錯(cuò)誤的日志條目；
8、在清洗后的所述歷史日志樣本中提取關(guān)鍵特征，以獲得對(duì)應(yīng)的日志數(shù)據(jù)；所述關(guān)鍵特征至少包括關(guān)鍵詞、錯(cuò)誤碼和系統(tǒng)組件。
9、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，根據(jù)預(yù)處理后的所述日志數(shù)據(jù)，對(duì)日志轉(zhuǎn)譯模型進(jìn)行訓(xùn)練，具體包括：
10、將預(yù)處理后的日志數(shù)據(jù)輸入至fasttext模型中，以提取具有描述日志特征的詞向量，并將描述日志特征的所述詞向量輸入至日志轉(zhuǎn)譯模型中；
11、通過所述日志轉(zhuǎn)譯模型對(duì)描述日志特征的所述詞向量進(jìn)行訓(xùn)練，學(xué)習(xí)所述詞向量與自然語言之間的關(guān)聯(lián)關(guān)系，以獲得訓(xùn)練好的所述日志轉(zhuǎn)譯模型。
12、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，對(duì)異常檢測(cè)模型進(jìn)行訓(xùn)練，具體包括：
13、確定預(yù)處理后的日志數(shù)據(jù)對(duì)應(yīng)的時(shí)序，并根據(jù)具有時(shí)序的日志數(shù)據(jù)，對(duì)時(shí)間維度進(jìn)行建模；
14、構(gòu)建flink運(yùn)行配置的協(xié)方差矩陣，并獲得flink任務(wù)的內(nèi)存使用情況對(duì)應(yīng)的線性變換情況，以建立線性變換的異常檢測(cè)模型。
15、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，接收待處理flink日志文件，以通過訓(xùn)練好的異常檢測(cè)模型，輸出對(duì)應(yīng)的異常檢測(cè)報(bào)告，具體包括：
16、接收隨時(shí)間生成的待處理flink日志文件，并將所述待處理flink日志輸入至訓(xùn)練好的異常檢測(cè)模型中；
17、通過訓(xùn)練好的所述異常檢測(cè)模型，輸出所述待處理flink日志文件對(duì)應(yīng)的異常檢測(cè)報(bào)告。
18、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，通過訓(xùn)練好的日志轉(zhuǎn)譯模型，輸出對(duì)應(yīng)的日志轉(zhuǎn)譯信息，實(shí)現(xiàn)flink日志管理，具體包括：
19、將所述待處理flink日志輸入至訓(xùn)練好的日志轉(zhuǎn)譯模型中，以通過訓(xùn)練好的所述日志轉(zhuǎn)譯模型，對(duì)所述待處理flink日志進(jìn)行解碼；
20、根據(jù)解碼結(jié)果識(shí)別所述待處理flink日志對(duì)應(yīng)的日志類型和問題類別，并輸出所述待處理flink日志文件對(duì)應(yīng)的日志轉(zhuǎn)譯信息。
21、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，通過訓(xùn)練好的日志轉(zhuǎn)譯模型，輸出對(duì)應(yīng)的日志轉(zhuǎn)譯信息，實(shí)現(xiàn)flink日志管理之后，所述方法還包括：
22、基于flink的業(yè)務(wù)規(guī)則，對(duì)所述待處理flink日志對(duì)應(yīng)的解碼結(jié)果進(jìn)行標(biāo)準(zhǔn)操作，并生成所述異常檢測(cè)報(bào)告和所述日志轉(zhuǎn)譯信息對(duì)應(yīng)的分析報(bào)告，實(shí)現(xiàn)flink日志管理；
23、其中，所述標(biāo)準(zhǔn)操作包括篩選操作、排序操作和搜索操作。
24、另一方面，本申請(qǐng)實(shí)施例還提供了一種基于大模型的flink日志管理系統(tǒng)，所述系統(tǒng)包括：
25、前端展示層，用于通過前端框架構(gòu)建查看界面，并展示日志分析結(jié)果以及提供用戶交互接口；
26、后端服務(wù)層，用于使用spring?boot框架接收前端請(qǐng)求，調(diào)用數(shù)據(jù)處理和模型推理服務(wù)，并返回對(duì)應(yīng)的結(jié)果；
27、數(shù)據(jù)處理層，用于對(duì)歷史日志樣本進(jìn)行收集、清洗、格式化；
28、模型訓(xùn)練與推理層，用于對(duì)預(yù)處理后的日志數(shù)據(jù)進(jìn)行訓(xùn)練，并提供api接口供后端服務(wù)調(diào)用進(jìn)行實(shí)時(shí)或批量推理；
29、數(shù)據(jù)存儲(chǔ)層，用于使用數(shù)據(jù)庫存儲(chǔ)配置參數(shù)對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并使用hdfs存儲(chǔ)日志文件和模型文件。
30、另一方面，本申請(qǐng)實(shí)施例還提供了一種基于大模型的flink日志管理設(shè)備，所述設(shè)備包括：
31、至少一個(gè)處理器；
32、以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；
33、其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上述的一種基于大模型的flink日志管理方法。
34、另一方面，本申請(qǐng)實(shí)施例還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被執(zhí)行時(shí)，實(shí)現(xiàn)如上述的一種基于大模型的flink日志管理方法。
35、本申請(qǐng)實(shí)施例提供了一種基于大模型的flink日志管理方法、系統(tǒng)、設(shè)備及介質(zhì)，至少包括以下有益效果：
36、通過多數(shù)據(jù)源獲取歷史日志樣本，可以涵蓋更廣泛的使用場(chǎng)景和異常情況，從而提高日志數(shù)據(jù)的多樣性和豐富度，為后續(xù)模型訓(xùn)練提供更全面的數(shù)據(jù)基礎(chǔ)；對(duì)多源歷史日志樣本進(jìn)行預(yù)處理，可以去除噪聲、統(tǒng)一格式，提升數(shù)據(jù)質(zhì)量，進(jìn)而使得基于這些數(shù)據(jù)的日志轉(zhuǎn)譯模型和異常檢測(cè)模型在訓(xùn)練后具有更強(qiáng)的泛化能力，更好地適應(yīng)不同的日志環(huán)境和異常情況；使用預(yù)處理后的高質(zhì)量日志數(shù)據(jù)對(duì)異常檢測(cè)模型進(jìn)行訓(xùn)練，可以使模型學(xué)習(xí)到更準(zhǔn)確的異常模式，提高對(duì)flink日志中異常行為的識(shí)別準(zhǔn)確性和響應(yīng)速度，有效減少漏報(bào)和誤報(bào)；通過訓(xùn)練好的日志轉(zhuǎn)譯模型，可以將復(fù)雜的flink日志信息轉(zhuǎn)換為易于理解的形式，幫助運(yùn)維人員或開發(fā)者快速本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于大模型的Flink日志管理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于大模型的Flink日志管理方法，其特征在于，通過多數(shù)據(jù)源獲取歷史日志樣本，并對(duì)所述歷史日志樣本進(jìn)行預(yù)處理，以獲得預(yù)處理后的日志數(shù)據(jù)，具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于大模型的Flink日志管理方法，其特征在于，根據(jù)預(yù)處理后的所述日志數(shù)據(jù)，對(duì)日志轉(zhuǎn)譯模型進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于大模型的Flink日志管理方法，其特征在于，對(duì)異常檢測(cè)模型進(jìn)行訓(xùn)練，具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于大模型的Flink日志管理方法，其特征在于，接收待處理Flink日志文件，以通過訓(xùn)練好的異常檢測(cè)模型，輸出對(duì)應(yīng)的異常檢測(cè)報(bào)告，具體包括：
6.根據(jù)權(quán)利要求1所述的一種基于大模型的Flink日志管理方法，其特征在于，通過訓(xùn)練好的日志轉(zhuǎn)譯模型，輸出對(duì)應(yīng)的日志轉(zhuǎn)譯信息，實(shí)現(xiàn)Flink日志管理，具體包括：
7.根據(jù)權(quán)利要求6所述的一種基于大模型的Flink日志管理方法，其特征在于，通過訓(xùn)練好的日
8.一種基于大模型的Flink日志管理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.一種基于大模型的Flink日志管理設(shè)備，其特征在于，所述設(shè)備包括：
10.一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令被執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種基于大模型的Flink日志管理方法。
...【技術(shù)特征摘要】
1.一種基于大模型的flink日志管理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于大模型的flink日志管理方法，其特征在于，通過多數(shù)據(jù)源獲取歷史日志樣本，并對(duì)所述歷史日志樣本進(jìn)行預(yù)處理，以獲得預(yù)處理后的日志數(shù)據(jù)，具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于大模型的flink日志管理方法，其特征在于，根據(jù)預(yù)處理后的所述日志數(shù)據(jù)，對(duì)日志轉(zhuǎn)譯模型進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于大模型的flink日志管理方法，其特征在于，對(duì)異常檢測(cè)模型進(jìn)行訓(xùn)練，具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于大模型的flink日志管理方法，其特征在于，接收待處理flink日志文件，以通過訓(xùn)練好的異常檢測(cè)模型，輸出對(duì)應(yīng)的異常檢測(cè)報(bào)告，具體包括...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃正楠，房金飛，李騰，
申請(qǐng)(專利權(quán))人：浪潮通用軟件有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。