【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于數(shù)據(jù)安全和人工智能領(lǐng)域，涉及數(shù)據(jù)異常檢測技術(shù)，具體是基于ai技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)及方法。
技術(shù)介紹
1、現(xiàn)如今互聯(lián)網(wǎng)服務(wù)已經(jīng)深度集成到人們的日常生活中，而互聯(lián)網(wǎng)技術(shù)也仍在持續(xù)發(fā)展；其中云計算技術(shù)的發(fā)展尤為迅猛，基于云服務(wù)提供的更強數(shù)據(jù)存儲與計算能力，互聯(lián)網(wǎng)服務(wù)的應(yīng)用范圍和規(guī)模也將進一步擴大，在申請?zhí)枮?01910383583.3的中國專利中公開了“數(shù)據(jù)異常檢測方法和裝置”，該方法通過對數(shù)據(jù)集按屬性劃分并計算信息熵，得出屬性權(quán)值；再計算數(shù)據(jù)對象間的余弦距離和初始異常值；將這些數(shù)據(jù)按時序插入序列，并根據(jù)相鄰數(shù)據(jù)集的異常狀態(tài)更新初始異常值；最后檢測數(shù)據(jù)集中的異常值，超過閾值則判定為異常。在申請?zhí)枮?01910242202.x的中國專利中公開了另一個“數(shù)據(jù)異常檢測方法和裝置”，該方法首先獲取待檢測指標的時序數(shù)據(jù)，包括多個監(jiān)控時間點及其對應(yīng)的指標值；接著通過數(shù)據(jù)聚類確定問題指標值；最后，如果問題指標值對應(yīng)的監(jiān)控時間點符合異常值的時間分布規(guī)律，則判定待檢測指標異常，并將該問題指標值作為異常指標值。
2、現(xiàn)有技術(shù)在數(shù)據(jù)異常檢測方面主要依賴于傳統(tǒng)的數(shù)據(jù)處理技術(shù)，如余弦距離和聚類方法，這些方法雖然能夠?qū)崿F(xiàn)基本的數(shù)據(jù)異常檢測，但存在著明顯的局限性。例如，傳統(tǒng)的數(shù)據(jù)處理技術(shù)無法充分挖掘數(shù)據(jù)中的復(fù)雜模式和深層特征，導(dǎo)致了檢測精度的不足，限制了它們在識別和預(yù)測復(fù)雜異常數(shù)據(jù)方面的有效性。并且，現(xiàn)有技術(shù)涉及繁瑣的計算過程和數(shù)據(jù)更新步驟，導(dǎo)致效率低下且計算負擔(dān)大。特別是在物聯(lián)網(wǎng)終端設(shè)備的日志文件異常檢測中，現(xiàn)有方法未考慮到日志數(shù)
技術(shù)實現(xiàn)思路
1、本專利技術(shù)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一；為此，本專利技術(shù)提出了基于ai技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)及方法，用于解決數(shù)據(jù)安全異常檢測系統(tǒng)中檢測效率低下、檢測精度不足以及缺乏告警機制的技術(shù)問題。
2、本專利技術(shù)的第一方面提供了一種基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，包括以下步驟：
3、監(jiān)聽、采集并結(jié)構(gòu)化處理終端設(shè)備的原始日志數(shù)據(jù)，得到結(jié)構(gòu)化日志數(shù)據(jù)，對所述結(jié)構(gòu)化日志數(shù)據(jù)進行存儲管理和數(shù)據(jù)解析，得到日志事件模板；
4、對所述日志事件模板進行預(yù)處理和特征處理，得到日志序列和詞向量空間；
5、利用預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型對所述詞向量空間進行異常檢測，得到異常檢測結(jié)果；
6、根據(jù)所述異常檢測結(jié)果進行告警通知并記錄告警過程；
7、需要說明的是，監(jiān)聽的作用是當(dāng)所述日志文件出現(xiàn)變更時，則啟動收集器對原始日志數(shù)據(jù)進行采集。
8、基于上述方法，通過整合ai技術(shù)實現(xiàn)對終端設(shè)備日志數(shù)據(jù)的自動化采集、存儲、解析與處理，并利用預(yù)訓(xùn)練的異常檢測模型進行數(shù)據(jù)安全風(fēng)險識別，不僅提升了異常日志數(shù)據(jù)的檢測效率，確保了數(shù)據(jù)處理的連貫性和準確性，還通過及時的異常告警和記錄，增強了數(shù)據(jù)安全性管理的響應(yīng)速度和事故追溯能力，為數(shù)據(jù)安全提供了智能化保障。
9、進一步地，所述監(jiān)聽、采集并結(jié)構(gòu)化處理終端設(shè)備的原始日志數(shù)據(jù)，包括以下步驟：
10、對指定的終端設(shè)備的日志文件進行監(jiān)聽與采集，得到原始日志數(shù)據(jù)；
11、對所述原始日志數(shù)據(jù)進行時間格式統(tǒng)一、類型轉(zhuǎn)換以及查詢歸類操作，并進行結(jié)構(gòu)化處理得到結(jié)構(gòu)化日志數(shù)據(jù)；
12、進一步地，所述對日志數(shù)據(jù)進行存儲管理和數(shù)據(jù)解析，包括以下步驟：
13、存儲所述結(jié)構(gòu)化日志數(shù)據(jù)，并建立數(shù)據(jù)索引；
14、對存儲的日志數(shù)據(jù)進行可視化分析；
15、將所述存儲的日志數(shù)據(jù)解析為字符串組序列；
16、將所述字符串組序列與當(dāng)前l(fā)csmap內(nèi)保存的日志事件模板進行比較，查找與所述字符串組序列匹配的日志事件模板；
17、需要說明的是，預(yù)先設(shè)置的若干日志事件模板保存在lcsmap內(nèi)。
18、通過對原始日志數(shù)據(jù)的自動監(jiān)聽、采集以及結(jié)構(gòu)化處理，顯著提升了數(shù)據(jù)的處理效率；采用創(chuàng)建索引的方式存儲與管理數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的快速查詢與分析，而日志數(shù)據(jù)的可視化分析則增強了數(shù)據(jù)的可讀性。同時，數(shù)據(jù)解析過程也有效地對日志數(shù)據(jù)進行了規(guī)范化，為后續(xù)的數(shù)據(jù)分析和異常檢測提供了準確的基礎(chǔ)數(shù)據(jù)。
19、進一步地，對所述日志事件模板進行預(yù)處理和特征處理，包括：
20、對日志事件模板的預(yù)處理：對所述日志事件模板進行文本清洗操作；對清洗后的日志事件模板進行分詞、去停用詞以及拼寫糾錯操作，得到預(yù)處理后日志事件模板；對所述預(yù)處理后的日志事件模板進行分組，得到日志序列；
21、對日志事件模板的特征處理：對所述日志事件模板的上下文構(gòu)建詞向量空間；將所述詞向量空間與所述日志事件模板中相鄰的文本信息進行關(guān)聯(lián)。
22、進一步地，所述利用預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型對所述詞向量空間進行異常檢測，包括：
23、設(shè)計日志數(shù)據(jù)異常檢測模型：基于循環(huán)神經(jīng)網(wǎng)絡(luò)并引入注意力機制構(gòu)建日志數(shù)據(jù)異常檢測模型；
24、構(gòu)建數(shù)據(jù)集：利用物聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)獲取終端設(shè)備的日志數(shù)據(jù)，將所述日志數(shù)據(jù)處理成詞向量表示文本，并構(gòu)建用于模型訓(xùn)練的日志數(shù)據(jù)訓(xùn)練集；
25、訓(xùn)練模型：利用所述日志數(shù)據(jù)訓(xùn)練集對所述日志數(shù)據(jù)異常檢測模型進行模型訓(xùn)練，并根據(jù)模型精度計算公式：進行精度驗證，根據(jù)精度驗證結(jié)果進行模型的優(yōu)化與調(diào)整，得到預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型；其中pr表示日志數(shù)據(jù)異常檢測模型的精度值，tp表示檢測正確的樣本數(shù)據(jù)數(shù)量，fp表示檢測錯誤的樣本數(shù)據(jù)數(shù)量。
26、輸出模型結(jié)果：利用所述預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型對所述詞向量表示文本進行異常檢測操作，并獲取檢測結(jié)果。
27、進一步地，所述日志數(shù)據(jù)異常檢測模型，包括：
28、輸入層，用于接收所述日志事件模板對應(yīng)的詞向量表示文本；
29、bi-gru層，用于捕獲所述詞向量表示文本中的雙向語義依賴關(guān)系和所述日志序列的上下文信息；
30、注意力層，用于學(xué)習(xí)所述日志序列的局部特征，為序列中的日志事件模板分配不同的權(quán)重；
31、輸出層，用于輸出檢測結(jié)果；其中，檢測結(jié)果包括異常的檢測結(jié)果和正常的檢測結(jié)果。
32、通過設(shè)計基于循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力機制的日志數(shù)據(jù)異常檢測模型，能夠深入分析序列數(shù)據(jù)中的復(fù)雜模式和雙向語義依賴關(guān)系，有效捕捉日志數(shù)據(jù)中的時間動態(tài)特征，讓模型自動聚焦于與異常檢測最相關(guān)的信息，提升了數(shù)據(jù)安全異常檢測的精確性。
33、進一步地，根據(jù)所述異常檢測結(jié)果進行告警通知并記錄告警過程，包括：
34、對所述檢測結(jié)果進行異常記錄；其中，異常記錄的內(nèi)容包括異常日志內(nèi)容、異常上下文、記錄序號、時間戳以及異常值；
35、對終端設(shè)備管理人員預(yù)設(shè)的告警規(guī)則進行管理；其中，所述告警規(guī)則包含告警規(guī)則名稱、過濾告警等本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.基于AI技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，對所述結(jié)構(gòu)化日志數(shù)據(jù)進行存儲管理和數(shù)據(jù)解析，包括以下步驟：
3.根據(jù)權(quán)利要求1所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，所述利用預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型對所述詞向量空間進行異常檢測，包括：
4.根據(jù)權(quán)利要求1所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，所述日志數(shù)據(jù)異常檢測模型，包括：
5.根據(jù)權(quán)利要求1所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，根據(jù)所述異常檢測結(jié)果進行告警通知并記錄告警過程，包括：
6.基于AI技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，包括日志數(shù)據(jù)獲取單元(100)、日志數(shù)據(jù)處理單元(200)、日志異常數(shù)據(jù)檢測單元(300)和系統(tǒng)告警單元(400)；
7.根據(jù)權(quán)利要求6所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，所述日志數(shù)據(jù)采集模塊(101)，用于監(jiān)聽、采集并進行結(jié)構(gòu)化處理終端設(shè)備的原始日志數(shù)據(jù)，得到結(jié)構(gòu)化日志
8.根據(jù)權(quán)利要求7所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，所述日志數(shù)據(jù)預(yù)處理模塊(201)，用于對解析后的所述日志事件模板進行預(yù)處理操作；
9.根據(jù)權(quán)利要求6所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，所述異常檢測模型設(shè)計模塊(301)，用于基于循環(huán)神經(jīng)網(wǎng)絡(luò)并引入注意力機制構(gòu)建日志數(shù)據(jù)異常檢測模型；
10.根據(jù)權(quán)利要求9所述的基于AI技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，所述異常記錄模塊(401)，用于對所述檢測結(jié)果進行異常記錄；其中，異常記錄內(nèi)容包括異常日志內(nèi)容、異常上下文、記錄序號、時間戳以及異常值；
...【技術(shù)特征摘要】
1.基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，對所述結(jié)構(gòu)化日志數(shù)據(jù)進行存儲管理和數(shù)據(jù)解析，包括以下步驟：
3.根據(jù)權(quán)利要求1所述的基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，所述利用預(yù)訓(xùn)練的日志數(shù)據(jù)異常檢測模型對所述詞向量空間進行異常檢測，包括：
4.根據(jù)權(quán)利要求1所述的基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，所述日志數(shù)據(jù)異常檢測模型，包括：
5.根據(jù)權(quán)利要求1所述的基于ai技術(shù)的數(shù)據(jù)安全異常檢測方法，其特征在于，根據(jù)所述異常檢測結(jié)果進行告警通知并記錄告警過程，包括：
6.基于ai技術(shù)的數(shù)據(jù)安全異常檢測系統(tǒng)，其特征在于，包括日志數(shù)據(jù)獲取單元(100)、日志數(shù)據(jù)處理單元(200)、日志異常數(shù)據(jù)檢測單元(300)和系統(tǒng)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐瑜，段志軒，周龍生，
申請(專利權(quán))人：合肥原力眾合能源科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。