【技術(shù)實(shí)現(xiàn)步驟摘要】
基于動(dòng)態(tài)圖學(xué)習(xí)和長(zhǎng)短期時(shí)間卷積的多變量時(shí)序數(shù)據(jù)異常檢測(cè)方法及系統(tǒng)
本專利技術(shù)屬于多變量時(shí)序數(shù)據(jù)異常檢測(cè)
，具體為基于動(dòng)態(tài)圖學(xué)習(xí)和長(zhǎng)短期時(shí)間卷積的多變量時(shí)序數(shù)據(jù)異常檢測(cè)方法及系統(tǒng)
。
技術(shù)介紹
[0002]時(shí)間序列異常檢測(cè)是數(shù)據(jù)挖掘領(lǐng)域的重要研究問(wèn)題，在工業(yè)系統(tǒng)
、
交通預(yù)測(cè)
、
數(shù)據(jù)中心等物聯(lián)網(wǎng)系統(tǒng)中有著廣泛的應(yīng)用，隨著物聯(lián)網(wǎng)系統(tǒng)中傳感器和互聯(lián)設(shè)備的數(shù)量快速增加，我們?cè)絹?lái)越需要對(duì)這些設(shè)備實(shí)行監(jiān)控
、
檢測(cè)異常以保護(hù)系統(tǒng)免受攻擊并正常運(yùn)行，尤其是對(duì)于一些基礎(chǔ)設(shè)施系統(tǒng)，如電網(wǎng)系統(tǒng)
、
水處理系統(tǒng)
、
交通運(yùn)輸
、
網(wǎng)絡(luò)通信系統(tǒng)等
。
因此，設(shè)計(jì)一種高效且準(zhǔn)確的異常檢測(cè)系統(tǒng)具有很大的研究?jī)r(jià)值，因?yàn)樗梢詭椭覀冏詣?dòng)連續(xù)識(shí)別出數(shù)據(jù)指標(biāo)的異常，并通知
、
解釋可能存在的異常事件
。
[0003]單變量時(shí)間序列異常檢測(cè)算法雖然能識(shí)別單個(gè)變量的異常，但單個(gè)變量的數(shù)據(jù)的突然變化往往不能反映出系統(tǒng)在運(yùn)行中出現(xiàn)異常，因?yàn)橄到y(tǒng)產(chǎn)生的數(shù)據(jù)往往是多變量的時(shí)間序列數(shù)據(jù)，變量之間的相關(guān)性不僅取決于其序列內(nèi)歷史時(shí)間的值，還取決于其他變量特征
。
同時(shí)，變量特征之間存在復(fù)雜的
、
非線性相關(guān)性，依靠單個(gè)變量的異常檢測(cè)并不能反映不同變量之間的相關(guān)性，從而不能實(shí)現(xiàn)更為準(zhǔn)確且高效的異常檢測(cè)性能
。
現(xiàn)有方法大都建立在序列內(nèi)的時(shí)間依賴關(guān)系建模，沒(méi)有明確建模...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.
基于動(dòng)態(tài)圖學(xué)習(xí)和長(zhǎng)短期時(shí)間卷積的多變量時(shí)序數(shù)據(jù)異常檢測(cè)方法，其特征在于，包括如下步驟
:S1.
使用初始嵌入模塊捕獲每個(gè)傳感器的靜態(tài)特征信息；
S2.
并將靜態(tài)特征輸入到長(zhǎng)短期擴(kuò)展卷積，以提取時(shí)間序列從局部到全局的時(shí)間上下文關(guān)系；
S3.
將上述時(shí)間關(guān)系和靜態(tài)特征輸入到動(dòng)態(tài)圖學(xué)習(xí)模塊，該模塊通過(guò)多層級(jí)堆疊，演化不同時(shí)間模式下的圖結(jié)構(gòu)信息；
S4.
將得到時(shí)間關(guān)系和動(dòng)態(tài)圖結(jié)構(gòu)輸入到
GCN
模塊，捕獲在不同時(shí)間模式下分級(jí)的時(shí)空特征依賴關(guān)系，并將其輸入動(dòng)態(tài)異常評(píng)分模塊，預(yù)測(cè)下一時(shí)間步數(shù)據(jù)的異常得分并判定是否為異常；
S5.
我們?cè)O(shè)計(jì)了由多組卷積構(gòu)成的長(zhǎng)短期時(shí)間卷積模塊，以提取多變量時(shí)間在細(xì)粒尺度下，從短期到長(zhǎng)期的時(shí)間依賴關(guān)系；首先，我們將多變量時(shí)間序列輸入到初始嵌入模塊，以提取時(shí)間序列的初始靜態(tài)特征
F,
并將得到的靜態(tài)特征輸入到長(zhǎng)短期時(shí)間卷積模塊，本模塊通過(guò)不同卷積組之間的不同大小的卷積核路徑，有效覆蓋細(xì)粒時(shí)間尺度下的時(shí)間模式信息，本模塊的具體構(gòu)建如下：對(duì)于每組的卷積核大小設(shè)置，我們使用來(lái)表示第
q
組的卷積核大小集，定義如下：其中，
{1,2,3,5,...,n
k
}
表示卷積核大小為1到
n
k
之間集合，
n
k
是覆蓋時(shí)間序列內(nèi)細(xì)粒時(shí)間尺度的最大卷積核，合理設(shè)計(jì)
n
k
的值，并通過(guò)多個(gè)卷積核組之間的卷積路徑，能夠有效覆蓋更具細(xì)粒度的時(shí)間尺度，從而提取更加豐富尺度下的時(shí)間特征信息，具體過(guò)程如下：我們定義
RF
為卷積操作覆蓋的時(shí)間尺度大小，不同大小的卷積核提取相應(yīng)尺度下的時(shí)間模式特征，本模塊每組都由多個(gè)不同大小的卷積核組成，在不同組之間的卷積過(guò)程中，每個(gè)卷積之間的路徑都能覆蓋時(shí)間步下的不同大小的時(shí)間尺度，我們?cè)O(shè)計(jì)的卷積中沒(méi)有使用池化操作且卷積步長(zhǎng)為1，
RF
大小集合即為多個(gè)卷積核組所覆蓋的時(shí)間尺度集合，定義為：為：是對(duì)應(yīng)第
q
組的卷積核列表，
p
(q)
表示第
q
組卷積核列表所覆蓋的所有時(shí)間尺度，卷積組之間有著多個(gè)不同的卷積路徑，長(zhǎng)短期時(shí)間卷積模塊通過(guò)不同卷積組之間的卷積路徑覆蓋更加豐富的時(shí)間尺度，我們進(jìn)一步結(jié)合傳感器節(jié)點(diǎn)
X
i
，對(duì)每個(gè)卷積核組的具體卷積過(guò)程作如下定義：其中，
X
i
表示節(jié)點(diǎn)
i
在對(duì)應(yīng)卷積層的輸入序列，
c1×
k
表示濾波核大小為
k
的
1D
卷積，我們使用了多個(gè)不同大小濾波核的
1D
卷積，以提取每層不同尺度下的時(shí)間模式，每層卷積核組的輸出定義如下：
其中表示節(jié)點(diǎn)
i
在第
q
組卷積核組處理后的輸出，
[1,2,...n
k
]
表示對(duì)應(yīng)每組卷積核組中的不同大小的卷積核，我們依據(jù)最大濾波器，將每個(gè)卷積核的輸出截?cái)酁橄嗤L(zhǎng)度，并將輸出在通道維度上進(jìn)行拼接，然后使用批歸一化和
relu
激活函數(shù)得到該層細(xì)粒度卷積核組的輸出并將其輸入到下一個(gè)卷積核組中進(jìn)行處理；我們將多變量時(shí)間序列經(jīng)過(guò)本模塊處理后得到的輸出定義為并將其進(jìn)一步輸入到動(dòng)態(tài)圖學(xué)習(xí)模塊中，以進(jìn)一步演化傳感器在不同時(shí)間間隔模式的動(dòng)態(tài)圖結(jié)構(gòu)；
S6.
我們提出一種基于動(dòng)態(tài)圖的圖學(xué)習(xí)模塊，以學(xué)習(xí)傳感器節(jié)點(diǎn)隨時(shí)間不斷演化的鄰接矩陣；首先，我們將長(zhǎng)短期時(shí)間卷積模塊提取到的短期到長(zhǎng)期的時(shí)間上下文信息輸入到本模塊中，進(jìn)一步演化傳感器在不同層級(jí)時(shí)間模式下動(dòng)態(tài)演化的圖結(jié)構(gòu)，具體計(jì)算過(guò)程如下：
A
t
＝
f
d
(F
t
,A
(t
?
1)
)
，其中表示
t
時(shí)刻的傳感器節(jié)點(diǎn)的鄰接矩陣，該矩陣表示隨著時(shí)間步
t
的推移，傳感器圖之間不斷變化的圖結(jié)構(gòu)，
F
t
表示
t
時(shí)刻的傳感器節(jié)點(diǎn)特征，
f
d
是傳感器動(dòng)態(tài)相關(guān)性的提取函數(shù)；我們將傳感器的靜態(tài)節(jié)點(diǎn)特征
F
沿時(shí)間維度被切割為不同的時(shí)間片段，并使用聚合器將不同時(shí)間片段下對(duì)應(yīng)時(shí)間點(diǎn)的節(jié)點(diǎn)特征進(jìn)行聚合，得到聚合特征
[
ε
(1)
,
ε
(2)
,...,
ε
(s)
,...,
ε
(S)
]
，其中
p
和
S
表示時(shí)間間隔模式和對(duì)應(yīng)時(shí)間間隔分割下的時(shí)間片段總數(shù)，
AGG
表示平均運(yùn)算聚合器，
ε
(s)
表示在時(shí)間間隔為
p
時(shí)，時(shí)間序列每隔時(shí)間
p
觀測(cè)到對(duì)應(yīng)時(shí)間點(diǎn)下的節(jié)點(diǎn)特征信息；我們將注意力機(jī)制和門(mén)控機(jī)制結(jié)合得到
AGU
單元，并使用
AGU
模擬節(jié)點(diǎn)動(dòng)態(tài)變化的表征，進(jìn)一步捕獲傳感器在不同時(shí)間模式下演化的圖結(jié)構(gòu)，具體而言
,
注意力機(jī)制主要用于捕捉當(dāng)前輸入的節(jié)點(diǎn)特征與其上一時(shí)間步節(jié)點(diǎn)狀態(tài)之間的特征關(guān)聯(lián)程度
,
其中注意力分?jǐn)?shù)決定著上一時(shí)間步狀態(tài)每個(gè)節(jié)點(diǎn)中可以保留下來(lái)并整合到當(dāng)前輸入節(jié)點(diǎn)中的特征信息量，我們定義為注意力遞歸單元的隱藏層狀態(tài)，并計(jì)算當(dāng)前時(shí)間步輸入的節(jié)點(diǎn)特征
ε
(s)
和隱藏層狀態(tài)之間的點(diǎn)積相似度
h
(s
?
1)
和注意力分?jǐn)?shù)對(duì)于圖中的每個(gè)傳感器節(jié)點(diǎn)
,
其注意力分?jǐn)?shù)的計(jì)算式如下
::
其中
,
表示線性轉(zhuǎn)換矩陣，
N
表示傳感器節(jié)點(diǎn)的集合，
softmax
函數(shù)用于對(duì)注意
力向量進(jìn)行歸一化處理，針對(duì)每個(gè)節(jié)點(diǎn)
,
根據(jù)上述公式計(jì)算出其鄰居節(jié)點(diǎn)的注意力分?jǐn)?shù)，并將其特征信息加權(quán)聚合，對(duì)于每個(gè)節(jié)點(diǎn)
i
，其當(dāng)前輸入特征向量通過(guò)注意力加權(quán)之后為：我們將當(dāng)前輸入和上一時(shí)間步狀態(tài)以及上述得到的注意力加權(quán)后的特征向量一并輸入到
AGU
中，模擬在...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：何瓊，
申請(qǐng)(專利權(quán))人：武漢軟件工程職業(yè)學(xué)院武漢開(kāi)放大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。