【技術實現(xiàn)步驟摘要】
本說明書涉及大數(shù)據(jù)，特別涉及一種異常處理方法和異常處理系統(tǒng)。
技術介紹
1、隨著互聯(lián)網(wǎng)技術的發(fā)展，越來越多的人通過網(wǎng)絡進行各種活動，例如購物、理財?shù)然顒印Ｈ绾螌W(wǎng)絡上的應用異常進行檢測成為了關注的焦點。
2、在一種技術方案中，基于嵌入表示的靜態(tài)特征，通過變換器transformer模型對網(wǎng)絡上的應用程序的異常進行檢測。然而，由于應用程序例如小程序的數(shù)量較多，這種技術方案無法對較大數(shù)量的應用的異常進行檢測。
3、
技術介紹
部分的內(nèi)容僅僅是專利技術人個人所知曉的信息，并不代表上述信息在本公開申請日之前已經(jīng)進入公共領域，也不代表其可以成為本公開的現(xiàn)有技術。
技術實現(xiàn)思路
1、本說明書的主要目的是提供一種異常處理方法和系統(tǒng)，使得能夠對較大數(shù)量的應用的異常進行檢測。
2、第一方面，本說明書提供一種異常處理方法，包括：
3、獲取預定場景下的多個數(shù)據(jù)；
4、確定所述多個數(shù)據(jù)的概率密度分布與預設的參考密度分布之間的分布差異，所述參考密度分布對應于參考空間；
5、基于所述分布差異通過變分梯度下降方式在所述參考空間對所述參考密度分布進行迭代變換，使得所述多個數(shù)據(jù)的概率密度分布與所述參考密度分布盡可能地接近，以得到所述多個數(shù)據(jù)的所述概率密度分布；
6、基于所述概率密度分布確定所述預定場景下的待檢測數(shù)據(jù)是否為異常數(shù)據(jù)。
7、在一些示例實施例中，基于上述方案，
8、所述多個數(shù)據(jù)的概率密度分布對應于原始數(shù)
9、基于所述分布差異通過變分梯度下降方式確定所述參考密度分布的變換方向；
10、基于所述變換方向對所述原始數(shù)據(jù)空間的所述多個數(shù)據(jù)進行形變，以將所述原始數(shù)據(jù)空間的所述多個數(shù)據(jù)變換到所述參考空間；
11、在所述參考空間對所述參考密度分布進行迭代變換。
12、在一些示例實施例中，基于上述方案，所述參考空間為再生核希爾伯特空間rkhs，所述基于所述分布差異通過變分梯度下降方式確定所述參考密度分布的變換方向，包括：
13、在所述rkhs中確定所述分布差異對應的斯坦因stein差異度，所述stein差異度表示所述分布差異的梯度下降方向。
14、在一些示例實施例中，基于上述方案，所述分布差異包括所述參考密度分布與所述多個數(shù)據(jù)的概率密度分布之間的kl散度，所述stein差異度表示所述kl散度的梯度下降方向。
15、在一些示例實施例中，基于上述方案，所述rkhs與核函數(shù)對應，所述在rkhs中確定所述分布差異對應的斯坦因stein差異度，包括：
16、基于所述核函數(shù)，在所述rkhs中確定所述分布差異對應的斯坦因stein差異度。
17、在一些示例實施例中，基于上述方案，所述基于所述概率密度分布確定所述預定場景下的待檢測數(shù)據(jù)是否為異常數(shù)據(jù)，包括：
18、基于所述概率密度分布確定所述待檢測數(shù)據(jù)的概率密度；
19、若所述概率密度小于預定閾值，則確定所述待檢測數(shù)據(jù)為異常數(shù)據(jù)。
20、在一些示例實施例中，基于上述方案，所述數(shù)據(jù)包括多個維度特征，所述方法還包括：
21、確定所述異常數(shù)據(jù)在所述迭代變換中的各個維度特征上的路徑積分，所述路徑積分表示所述維度特征的特征重要度；
22、基于所述路徑積分確定所述多個維度特征中的異常特征。
23、在一些示例實施例中，基于上述方案，所述確定所述異常數(shù)據(jù)在所述迭代變換中的各個維度特征上的路徑積分，包括：
24、確定所述異常數(shù)據(jù)在所述迭代變換中的各個維度特征上的stein差異度的二范數(shù)；
25、基于所述stein差異度的二范數(shù)，確定所述異常數(shù)據(jù)的各個維度特征上的路徑積分。
26、在一些示例實施例中，基于上述方案，所述基于所述路徑積分確定所述多個維度特征中的異常特征，包括：
27、基于所述路徑積分的大小對所述多個維度特征進行從大到小的排序；
28、基于排序的結果，確定所述多個維度特征中的異常特征。
29、在一些示例實施例中，基于上述方案，所述參考密度分布為正態(tài)分布。
30、在一些示例實施例中，基于上述方案，所述預定場景為程序異常檢測場景，所述多個數(shù)據(jù)為多個應用程序的數(shù)據(jù)。
31、在一些示例實施例中，基于上述方案，所述方法還包括：
32、在獲取所述預定場景的多個數(shù)據(jù)之后，對所述多個數(shù)據(jù)進行標準化處理。
33、第二方面，本說明書提供一種異常處理系統(tǒng)，包括：
34、至少一個存儲介質，包括至少一個指令集；以及
35、至少一個處理器，同所述至少一個存儲介質通信連接，
36、其中，當所述系統(tǒng)運行時，所述至少一個處理器讀取所述至少一個指令集，并且根據(jù)所述至少一個指令集的指示執(zhí)行上述第一方面中任一項所述的方法。
37、由以上技術方案可知，本說明書實施例提供一種異常處理方法以及異常處理系統(tǒng)。一方面，基于多個數(shù)據(jù)的概率密度分布與參考密度分布的分布差異，通過變分梯度下降方式在參考空間對參考密度分布進行迭代變換，得到多個數(shù)據(jù)的概率密度分布，能夠有效保證每一輪迭代都是降低目標函數(shù)，從而能夠充分利用梯度信息，提高模型生成效率，減少模式坍塌的可能性；另一方面，基于概率密度分布確定預定場景例如應用程序異常檢測場景下的待檢測數(shù)據(jù)是否為異常數(shù)據(jù)，能夠高效地對較大數(shù)量的應用程序例如小程序的異常進行檢測；再一方面，由于是從概率密度估計的角度出發(fā)進行異常檢測，從而不需要重構數(shù)據(jù)誤差，因此不需要數(shù)據(jù)是“正常數(shù)據(jù)”的假設。
38、本說明書提供的異常處理方法及系統(tǒng)的其他功能將在以下說明書中部分列出。根據(jù)描述，以下數(shù)字和實例介紹的內(nèi)容將對那些本領域的普通技術人員顯而易見。本說明書提供的異常處理方法和系統(tǒng)的創(chuàng)造性方面可以通過實踐或使用下面詳細實例中所述的方法、裝置和組合得到充分解釋。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種異常處理方法，包括：
2.根據(jù)權利要求1所述的方法，其中，所述多個數(shù)據(jù)的概率密度分布對應于原始數(shù)據(jù)空間，所述基于所述分布差異通過變分梯度下降方式對所述參考密度分布進行迭代變換，包括：
3.根據(jù)權利要求2所述的方法，其中，所述參考空間為再生核希爾伯特空間RKHS，所述基于所述分布差異通過變分梯度下降方式確定所述參考密度分布的變換方向，包括：
4.根據(jù)權利要求3所述的方法，其中，所述分布差異包括所述參考密度分布與所述多個數(shù)據(jù)的概率密度分布之間的KL散度，所述Stein差異度表示所述KL散度的目標梯度下降方向。
5.根據(jù)權利要求3所述的方法，其中，所述RKHS與核函數(shù)對應，所述在RKHS中確定所述分布差異對應的Stein差異度，包括：
6.根據(jù)權利要求1所述的方法，其中，所述基于所述概率密度分布確定所述預定場景下的待檢測數(shù)據(jù)是否為異常數(shù)據(jù)，包括：
7.根據(jù)權利要求1所述的方法，其中，所述數(shù)據(jù)包括多個維度特征，所述方法還包括：
8.根據(jù)權利要求7所述的方法，其中，所述確定所述異常數(shù)據(jù)在所述迭代變換
9.根據(jù)權利要求7所述的方法，其中，所述基于所述路徑積分確定所述多個維度特征中的異常特征，包括：
10.根據(jù)權利要求7至9中任一項所述的方法，其中，所述參考密度分布為正態(tài)分布。
11.根據(jù)權利要求1所述的方法，其中，所述預定場景為程序異常檢測場景，所述多個數(shù)據(jù)為多個應用程序的數(shù)據(jù)。
12.根據(jù)權利要求1至9中任一項所述的方法，其中，所述方法還包括：
13.一種異常處理系統(tǒng)，包括：
...【技術特征摘要】
1.一種異常處理方法，包括：
2.根據(jù)權利要求1所述的方法，其中，所述多個數(shù)據(jù)的概率密度分布對應于原始數(shù)據(jù)空間，所述基于所述分布差異通過變分梯度下降方式對所述參考密度分布進行迭代變換，包括：
3.根據(jù)權利要求2所述的方法，其中，所述參考空間為再生核希爾伯特空間rkhs，所述基于所述分布差異通過變分梯度下降方式確定所述參考密度分布的變換方向，包括：
4.根據(jù)權利要求3所述的方法，其中，所述分布差異包括所述參考密度分布與所述多個數(shù)據(jù)的概率密度分布之間的kl散度，所述stein差異度表示所述kl散度的目標梯度下降方向。
5.根據(jù)權利要求3所述的方法，其中，所述rkhs與核函數(shù)對應，所述在rkhs中確定所述分布差異對應的stein差異度，包括：
6.根據(jù)權利要求1所述的方法，其...
【專利技術屬性】
技術研發(fā)人員：陳智超，丁雷雷，黃健敏，
申請(專利權)人：支付寶杭州信息技術有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。