System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及數據處理,具體而言,涉及一種日志異常檢測方法、裝置、電子設備及存儲介質。
技術介紹
1、隨著企業數字化轉型的加速,傳統以硬件服務器為主的互聯網基礎設施已難以支撐各單位數據快速增長的需求,各機構為了降低自身互聯網系統的建設、運營及維護成本,提升系統運行環境的穩定性,越來越傾向于將業務系統遷移至云數據中心。云數據中心由大量網絡設備、服務器、存儲、操作系統、云管平臺等軟硬件構成,在運行過程中不可避免的會出現運行負載高、資源占用高等情況及各種軟硬件故障,針對日志進行異常檢測能有效定位系統故障、及時排查問題,對提升云平臺可靠性、保障用戶業務運行穩定至關重要。
2、然而,現有的日志異常檢測方法,一種是由開發人員手動檢查或者應用統計學分析方法分析日志數據,存在檢測效率低的問題,另一種是基于深度學習的檢測方法,該方法存在檢測精度低的問題。
技術實現思路
1、有鑒于此,本申請的目的在于提供一種日志異常檢測方法、裝置、電子設備及存儲介質,以解決現有日志異常檢測方法中,檢測效率以及檢測精度低的問題。
2、第一方面,本申請實施例提供了一種日志異常檢測方法,應用于日志異常檢測優化模型,所述日志異常檢測優化模型包括卷積層、自注意力機制層、特征拼接層及異常分類層,方法包括:
3、接收待檢測日志數據;
4、利用卷積層對待檢測日志數據的局部特征進行提取,獲取局部特征信息,利用自注意力機制層對待檢測日志數據的全局特征進行提取,獲取全局特征信息;
5
6、利用異常分類層對拼接特征向量進行異常分類,確定待檢測日志數據的日志異常類型。
7、可選地,日志異常檢測優化模型還包括詞嵌入層,在利用卷積層對待檢測日志數據的局部特征進行提取之前,還包括:利用詞嵌入層將待檢測日志數據的日志信息映射為向量矩陣,以利用卷積層及自注意力機制層對向量矩陣進行特征提取。
8、可選地,向量矩陣包括多行日志特征,利用卷積層對待檢測日志數據的局部特征進行提取,獲取局部特征信息,包括:針對待檢測日志數據對應的向量矩陣中的每行日志特征,提取該行日志特征中的短距離特征信息及不同日志特征之間的關聯關系;根據關聯關系將不同行的多個短距離特征信息拼接起來,獲得多行日志的局部特征信息。
9、可選地,自注意力機制層包括位置編碼器及多個自編碼器,利用自注意力機制層對待檢測日志數據的全局特征進行提取,獲取全局特征信息,包括:利用位置編碼器,確定反映待檢測日志數據對應的向量矩陣中不同日志特征之間位置關系的位置向量;利用多個自編碼器及位置向量,獲取全局特征信息。
10、可選地,利用多個自編碼器及位置向量,獲取全局特征信息,包括:將位置向量添加到向量矩陣中,生成距離向量矩陣;利用多個自編碼器,針對不同行日志特征之間的全局關系進行提取,獲得日志的全局特征信息。
11、可選地,日志異常檢測優化模型還包括第一全連接層,在獲得拼接特征向量之后,還包括:利用第一全連接層對拼接特征向量進行特征交叉及降維處理,獲得降維后的拼接特征向量,以利用異常分類層對降維后的拼接特征向量進行異常分類。
12、可選地,在接收待檢測日志數據之前,還包括:獲取歷史日志數據;對歷史日志數據進行清洗及分詞處理,獲得日志樣本數據;利用日志樣本數據對日志異常檢測模型進行訓練,獲得日志異常檢測優化模型。
13、第二方面,本申請實施例還提供了一種日志異常檢測裝置,應用于日志異常檢測優化模型,日志異常檢測優化模型包括卷積層、自注意力機制層、特征拼接層及異常分類層,所述裝置包括:
14、數據獲取模塊,用于接收待檢測日志數據;
15、特征提取模塊,用于利用卷積層對待檢測日志數據的局部特征進行提取,獲取局部特征信息,利用自注意力機制層對待檢測日志數據的全局特征進行提取,獲取全局特征信息;
16、特征拼接模塊,用于利用拼接層對局部特征信息及全局特征信息進行拼接,獲得拼接特征向量;
17、異常分類模塊,用于利用異常分類層對拼接特征向量進行異常分類,確定待檢測日志數據的日志異常類型。
18、第三方面,本申請實施例還提供一種電子設備,包括:處理器、存儲器和總線,所述存儲器存儲有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述存儲器之間通過總線通信,所述機器可讀指令被所述處理器執行時執行如上述的日志異常檢測方法的步驟。
19、第四方面,本申請實施例還提供一種計算機可讀存儲介質,該計算機可讀存儲介質上存儲有計算機程序,該計算機程序被處理器運行時執行如上述的日志異常檢測方法的步驟。
20、本申請實施例帶來了以下有益效果:
21、本申請實施例提供的一種日志異常檢測方法、裝置、電子設備及存儲介質,能夠利用自注意力機制獲取全局特征信息,利用卷積神經網絡獲取局部特征信息,將全局特征信息與局部特征信息拼接在一起,實現局部特征與全局特征的融合,以提高檢測精度,最后通過異常分類實現日志異常的識別,與現有技術中的日志異常檢測方法相比,解決了檢測效率以及檢測精度低的問題。
22、為使本申請的上述目的、特征和優點能更明顯易懂,下文特舉較佳實施例,并配合所附附圖,作詳細說明如下。
本文檔來自技高網...【技術保護點】
1.一種日志異常檢測方法,其特征在于,應用于日志異常檢測優化模型,所述日志異常檢測優化模型包括卷積層、自注意力機制層、特征拼接層及異常分類層,方法包括:
2.根據權利要求1所述的方法,其特征在于,所述日志異常檢測優化模型還包括詞嵌入層,在所述利用所述卷積層對所述待檢測日志數據的局部特征進行提取之前,還包括:
3.根據權利要求2所述的方法,其特征在于,所述向量矩陣包括多行日志特征,所述利用所述卷積層對所述待檢測日志數據的局部特征進行提取,獲取局部特征信息,包括:
4.根據權利要求2所述的方法,其特征在于,所述自注意力機制層包括位置編碼器及多個自編碼器,所述利用所述自注意力機制層對所述待檢測日志數據的全局特征進行提取,獲取全局特征信息,包括:
5.根據權利要求4所述的方法,其特征在于,所述利用所述多個自編碼器及所述位置向量,獲取全局特征信息,包括:
6.根據權利要求1所述的方法,其特征在于,所述日志異常檢測優化模型還包括第一全連接層,在所述獲得拼接特征向量之后,還包括:
7.根據權利要求1所述的方法,其特征在于,
8.一種日志異常檢測裝置,其特征在于,應用于日志異常檢測優化模型,所述日志異常檢測優化模型包括卷積層、自注意力機制層、特征拼接層及異常分類層,裝置包括:
9.一種電子設備,其特征在于,包括:處理器、存儲介質和總線,所述存儲介質存儲有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述存儲介質之間通過總線通信,所述處理器執行所述機器可讀指令,以執行如權利要求1至7中任一項所述的日志異常檢測方法的步驟。
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質上存儲有計算機程序,所述計算機程序被處理器運行時執行如權利要求1至7中任一項所述的日志異常檢測方法的步驟。
...【技術特征摘要】
1.一種日志異常檢測方法,其特征在于,應用于日志異常檢測優化模型,所述日志異常檢測優化模型包括卷積層、自注意力機制層、特征拼接層及異常分類層,方法包括:
2.根據權利要求1所述的方法,其特征在于,所述日志異常檢測優化模型還包括詞嵌入層,在所述利用所述卷積層對所述待檢測日志數據的局部特征進行提取之前,還包括:
3.根據權利要求2所述的方法,其特征在于,所述向量矩陣包括多行日志特征,所述利用所述卷積層對所述待檢測日志數據的局部特征進行提取,獲取局部特征信息,包括:
4.根據權利要求2所述的方法,其特征在于,所述自注意力機制層包括位置編碼器及多個自編碼器,所述利用所述自注意力機制層對所述待檢測日志數據的全局特征進行提取,獲取全局特征信息,包括:
5.根據權利要求4所述的方法,其特征在于,所述利用所述多個自編碼器及所述位置向量,獲取全局特征信息,包括:
6.根據權利要...
【專利技術屬性】
技術研發人員:時文豐,申志偉,朱肖曼,
申請(專利權)人:中國電子信息產業集團有限公司第六研究所,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。