【技術實現步驟摘要】
本專利技術涉及數據監測，具體為一種基于人工智能的異常數據監測方法及系統。
技術介紹
1、人工智能（ai）作為信息科學領域中的重要研究方向，近年來在數據分析、異常檢測、智能監測等應用領域得到了廣泛的關注和發展。在人工智能的具體應用中，異常數據監測方法是一項關鍵技術，主要應用于物聯網、工業制造、金融風控及醫療健康等場景。在這些領域中，必不可少的是對異常數據的監測，具體來說，隨著物聯網設備和大數據技術的發展，不同監測設備產生的多源異構數據量呈爆炸式增長，如何在這些復雜數據中實時、高效地識別異常成為數據分析中的一個重要研究方向。
2、在現有的異常數據監測技術中，盡管基于統計方法和機器學習的算法已被廣泛應用，但仍面臨諸多挑戰。首先，異常數據往往在整體數據集中占比較低，通常具有稀疏性以及分布動態變化的特點，導致現有方法易受數據不平衡問題的影響，使得檢測模型對正常數據的偏好遠大于異常數據，從而容易出現對關鍵異常行為的漏報、正常數據被錯誤標記為異常，以及模型對未知異常行為的泛化能力不足，這些后果直接影響系統的穩定性和安全性，其負面影響尤為嚴重。
技術實現思路
1、針對現有技術的不足，本專利技術提供了一種基于人工智能的異常數據監測方法及系統，解決了上述
技術介紹
中的問題。
2、為實現以上目的，本專利技術通過以下技術方案予以實現：一種基于人工智能的異常數據監測方法，包括以下步驟，
3、s1、利用監測設備，實時監測來自不同來源的數據，以生成原始特征矩陣，通過將原始特征矩
4、s2、基于s1中獲取的標準化特征矩陣，分析標準化特征矩陣內每條樣本相對于整個樣本分布的偏差情況，以獲取分布偏離因子fpyz，基于所述分布偏離因子fpyz數值，識別標準化特征矩陣內的異常樣本；
5、s3、利用人工智能技術，結合s2中的識別內容，對異常樣本進行樣本增強作業，并在進行樣本增強過程中，引入分布約束，以獲取若干組補充異常樣本，并結合s2中識別的異常樣本，生成異常組；
6、s4、基于異常組，分析若干組補充異常樣本在異常組中的離群程度，以獲取相應補充異常樣本的脫群系數lqyz，基于相應補充異常樣本的脫群系數lqyz，以識別與篩除異常組內的離群點，并在篩除離群點的基礎上，分析經樣本增強作業后，整個樣本分布的平衡，以獲取平衡度phd；
7、s5、預先設定平衡閾值k，并將其與所述平衡度phd進行比對分析，以衡量當前整個樣本分布的平衡狀態，并基于衡量結果，判斷是否需進行迭代增強作業。
8、優選的，s1具體步驟包括有：
9、s11、將來自不同來源的數據進行監測與記錄，以生成原始特征矩陣，其中，來自不同來源指的是來自不同監測設備；
10、s12、將s11中的原始特征矩陣進行數據預處理，其中，數據預處理包括對原始特征矩陣內的所有特征參量進行歸一化與標準化處理，并將經數據預處理后的特征參量進行匯總，以構建出標準化特征矩陣，其中，所述標準化特征矩陣包括各條樣本中的每個特征參量。
11、優選的，s2具體步驟包括有：
12、s21、基于s12中獲取的標準化特征矩陣，分析標準化特征矩陣內每條樣本相對于整個樣本分布的偏差情況，以獲取分布偏離因子fpyz，所述分布偏離因子fpyz通過以下公式獲取：
13、；
14、式中，表示第i條樣本的分布偏離因子；m表示相應條樣本內的特征參量數量，j=1、2、3、...、m，表示第i條樣本內第j個特征參量的數值，表示標準化特征矩陣內第j個特征參量的均值，表示標準化特征矩陣內第j個特征參量的標準差，i表示標準化特征矩陣內的樣本條數。
15、優選的，s2具體步驟還包括有：
16、s22、利用卡方分布表，預先設定臨界值p，并將其與所述分布偏離因子fpyz進行比對分析，以識別出標準化特征矩陣內的異常樣本，具體識別內容如下：
17、s221、若所述分布偏離因子fpyz超過臨界值p時，此時將判斷當前標準化特征矩陣內相應樣本處于異常狀態，并標記為異常樣本；
18、s222、若所述分布偏離因子fpyz未超過臨界值p時，此時將判斷當前準化特征矩陣內相應樣本未處于異常狀態，并標記為正常樣本。
19、優選的，s3具體步驟包括有：
20、s31、根據s22中識別異常樣本的方式，以統計出若干組異常樣本，并將若干組異常樣本按分布偏離因子fpyz的數值大小進行排序，提取出分布偏離因子fpyz數值最大的異常樣本作為增強基準樣本，通過將若干組異常樣本進行樣本增強作業，并在進行樣本增強過程中，引入分布約束，以獲取補充異常樣本，所述補充異常樣本具體按照以下公式獲?。?/p>
21、；
22、式中，表示增強基準樣本；表示增強基準樣本的鄰域中隨機選擇的一個樣本，表示所有異常樣本的分布中心；表示隨機數；表示正則化系數；表示增強基準樣本到所有異常樣本的分布中心的平方距離，表示樣本偏離分布中心的程度；表示鄰域方向上的偏移量；k及g均表示若干組異常樣本中的一條樣本；
23、s32、通過重復隨機采樣及的隨機值，以生成若干組補充異常樣本；
24、s33、通過將s31及s32中分別獲取的若干組異常樣本和若干組補充異常樣本進行統計，以生成異常組，并將s222中標記的正常樣本進行統計，以生成正常組。
25、優選的，s4具體步驟包括有：
26、s41、基于異常組，分析若干組補充異常樣本在異常組中的離群程度，以獲取相應補充異常樣本的脫群系數lqyz，具體按照以下方式獲?。?/p>
27、；
28、式中，表示第a個補充異常樣本的脫群系數，表示第a個補充異常樣本的近鄰集合內的第b個異常樣本，表示第a個補充異常樣本的近鄰集合，表示第a個補充異常樣本，表示第a個補充異常樣本的局部可達密度，表示第a個補充異常樣本的近鄰集合中的異常樣本數，a表示補充異常樣本的編號，b表示第a個補充異常樣本的近鄰集合內異常樣本的編號；表示的局部可達密度，反映所在的近鄰集合內的密度水平。
29、優選的，s4具體步驟還包括有：
30、s42、基于相應補充異常樣本的脫群系數lqyz，以識別與篩除異常組內的離群點，具體內容如下：
31、s421、若相應補充異常樣本的脫群系數lqyz≥1時，此時判斷相應補充異常樣本是離群點，并將該補充異常樣本從異常組中進行移除；
32、s422、若相應補充異常樣本的脫群系數lqyz＜1時，此時判斷相應補充異常樣本不是離群點，并將該補充異常樣本視為異常樣本。
33、優選的，s4具體步驟還包括有：
34、s43、在篩除離群點的基礎上，重新統計異常組，并分析經樣本增強作業后，整個樣本分布的平衡，以獲取平衡度phd，所述平衡度phd通過以下公式獲?。?/p>
35、；
36、式中，zcs表示正常組內本文檔來自技高網...
【技術保護點】
1.一種基于人工智能的異常數據監測方法，其特征在于：包括以下步驟，
2.根據權利要求1所述的一種基于人工智能的異常數據監測方法，其特征在于：S1具體步驟包括有：
3.根據權利要求2所述的一種基于人工智能的異常數據監測方法，其特征在于：S2具體步驟包括有：
4.根據權利要求3所述的一種基于人工智能的異常數據監測方法，其特征在于：S2具體步驟還包括有：
5.根據權利要求4所述的一種基于人工智能的異常數據監測方法，其特征在于：S3具體步驟包括有：
6.根據權利要求5所述的一種基于人工智能的異常數據監測方法，其特征在于：S4具體步驟包括有：
7.根據權利要求6所述的一種基于人工智能的異常數據監測方法，其特征在于：S4具體步驟還包括有：
8.根據權利要求1所述的一種基于人工智能的異常數據監測方法，其特征在于：S4具體步驟還包括有：
9.根據權利要求1所述的一種基于人工智能的異常數據監測方法，其特征在于：S5具體步驟包括有：
10.一種基于人工智能的異常數據監測系統，用于實現上述權利要
...【技術特征摘要】
1.一種基于人工智能的異常數據監測方法，其特征在于：包括以下步驟，
2.根據權利要求1所述的一種基于人工智能的異常數據監測方法，其特征在于：s1具體步驟包括有：
3.根據權利要求2所述的一種基于人工智能的異常數據監測方法，其特征在于：s2具體步驟包括有：
4.根據權利要求3所述的一種基于人工智能的異常數據監測方法，其特征在于：s2具體步驟還包括有：
5.根據權利要求4所述的一種基于人工智能的異常數據監測方法，其特征在于：s3具體步驟包括有：
6.根據權利要求5所述的一種基于人工智能的異常數據監測方法...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。