一種多任務深度網絡的異常事件檢測方法技術

本發明專利技術涉及一種多任務深度網絡的異常事件檢測方法，其特征在于，提出了一種基于聯合優化策略的多任務深度神經網絡去檢測異常事件，首先，使用連續的視頻幀作為輸入，通過三維卷積網絡去學習局部時空上下文特征；其次，構造了一個端到端訓練的循環卷積神經網絡去學習全局時空上下文特征；利用全局特征，多任務神經網絡可以同時計算得到輸入視頻幀的異常類型和異常分數。實驗結果表明，該方法在異常檢測公共數據集中的檢測結果優于最先進的方法。

An anomaly detection method for multitask deep network

【技術實現步驟摘要】
一種多任務深度網絡的異常事件檢測方法
本專利技術設計了一種多任務深度網絡的異常事件檢測方法，屬于多媒體
，具體屬于數字圖像和數字視頻處理

技術介紹
視頻異常檢測是一項高級別的計算機視覺任務，其目的是有效區分視頻序列中的異常和正常活動以及視頻序列所屬的異常類別，與正常行為相比，很少發生或發生概率較低的事件通常被認為是異常事件。近年來，許多高校以及研究所對異常檢測進行了大量的研究，但是在實際工作中很難建立有效的異常檢測模型。主要原因由以下兩個方面形成：(1)現有的異常視頻數據集的視頻幀數和異常類別是有限的；并且很多都不是在真實場景下拍攝的，導致很難有效訓練異常檢測模型；(2)數據集的異常定義不清晰，使得不能準確地對異常視頻序列進行標注。傳統的異常檢測方法主要從兩個方面進行設計。一種異常檢測方法針對視頻序列中的正常模式，通過重構法去檢測異常，這個方法的目標是學習這些正常模式的特征表示模型；在測試階段，利用異常樣本與正常樣本之間的特征表示差異來確定測試數據是否屬于異常。雖然此方法能夠很好的重建出視頻序列中訓練集出現過的正常部分，但關鍵問題它是嚴重依賴于訓練數據，測試數據中出現的新的正常也可以被誤以為是異常。另一種方法將異常檢測視為一個分類問題，這個方法利用訓練好的分類器，通過提取光流直方圖或動態紋理等特征來預測視頻序列的異常分數。為了獲得滿意的性能，提取有效的判別特征對于此異常檢測方法至關重要。以上介紹的現有異常檢測方法在異常檢測方面都取得了較好的性能。它們中的大多數都是基于這樣一種假設設計的：任何不同于在訓練集中學習到的正常模式的模式都被視為異常。但是，同一個活動在不同場景下可能表示為正常或異常事件，這會使檢測的難度加大。例如，兩個人街頭斗毆的場景可能被認為是異常的，但是這兩個人在進行拳擊運動時則是正常的；在步行街上驚慌奔跑的女孩/男孩可能被認為是異常的，但在下雨的時候因為女孩/男孩忘記帶傘而奔跑，這個事件是正常的；動物觸摸人類可能被認為是異常的(蛇咬人)，而海豚親吻人類則是正常的。此外，高維視頻數據中存在大量冗余的視覺信息，也增加了視頻序列中事件表示的難度。因此，雖然已經有一些關于異常檢測的研究，但對于視頻序列中的異常檢測任務仍然具有挑戰性。
技術實現思路
本專利技術涉及一種對于視頻序列的異常檢測方法，其特征在于，提出了一種基于聯合優化策略的多任務深度神經網絡去檢測異常事件，首先，使用連續的視頻幀作為輸入，通過三維卷積網絡去學習局部時空上下文特征；其次，構造了一個端到端訓練的循環卷積神經網絡去學習全局時空上下文特征；利用全局特征，多任務神經網絡可以同時計算得到輸入視頻幀的異常類型和異常分數。實驗結果表明，該方法在異常檢測公共數據集中的檢測結果優于最先進的方法。一種多任務深度網絡的異常事件檢測方法，其特征在于，包括以下幾個步驟：A.首先使用Conv3DNet提取局部上下文時空特征；B.將得到的局部特征拼接起來，通過循環卷積神經網絡提取全局上下文時空特征；C.采用多任務神經網絡同時得到視頻序列的異常類別以及異常分數。進一步地，提取視頻序列局部特征的具體步驟是：首先，將視頻序列分割成若干個片段，每個片段包含相同的幀數；然后，將片段里面的視頻幀調整成相同的大小，放進訓練好的C3D網絡中；最后提取其pool5層的特征作為該視頻片段的局部特征。進一步地，提取視頻序列全局特征的具體步驟是：A.將連續幾個片段的局部特征拼接在一起，放進ConvLSTM網絡中，ConvLSTM在LSTM的基礎上增加了卷積層，能夠更好地提取時空特征；ConvLSTM定義如下所示：it＝σ(ωxi*xt+ωhi*ht-1+ωcioct-1+bi)(1)ft＝σ(ωxf*xt+ωhf*ht-1+ωcfoct-1+bf)(2)ct＝ftoct-1+itotanh(ωxc*xt+ωhc*ht-1+bc)(3)ot＝σ(ωxo*xt+ωho*ht-1+ωcooct+bo)(4)ht＝ototanh(ct)(5)其中，it和ht表示t時刻的輸入和輸出，ft表示遺忘門，ot表示輸出門，ct表示記憶單元，*表示卷積運算，o表示Hadamard乘積，σ表示sigmoid激活函數；B.提取ConvLSTM最后一層的隱藏狀態值，用它表示對應視頻片段的全局特征。進一步地，提取全局特征后，連接四個全連接網絡層，最后一層卷積層分成兩個分支，維度分別為14和80，分別用來預測得到所需要的視頻片段的異常類別以及視頻幀的異常分數。附圖說明圖1為本專利技術的異常檢測模型框架圖；圖2為本專利技術的異常類別分類結果混淆矩陣圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。其中，本文所涉及的技術特征、簡寫/縮寫、符號等，以本領域技術人員的公知認識/通常理解為基礎進行解釋、定義/說明。本專利技術的方法實現過程如圖1-2所示，具體過程如下：步驟1：將視頻序列分割成若干個片段，放進C3D網絡中得到pool5層的特征，作為視頻序列的局部特征；步驟2：將連續幾個視頻片段的局部特征合并，放進ConvLSTM網絡中得到最后一層的狀態值作為全局特征，然后經過四個全連接層后得到視頻片段的異常類別以及視頻幀的異常分數。本專利技術使用四種常用的標準來評估算法實現時間的快慢以及檢測異常事件的準確性。第一種標準是ROC曲線下的面積(AreaUnderCurve)，用于評估異常檢測得分的準確性。第二種標準是異常分類準確率。第三種標準是混淆矩陣，它是一個概率矩陣，對角線的值越高，說明分類越精確。最后一個標準是花費的時間值，用于比較不同方法檢測異常所需要的時間。為了驗證本專利技術提出的算法的性能，本專利技術將算法與現有的視頻異常檢測方法在數據庫Avenue，LV，UCF-Crimes，UCSD以及我們所提出的數據集(LAD)上進行比較，包括DeepMIL，GMM，Sparse，Conv-AE，U-Net，ConvLSTM-AE，Unmasking以及StackedRNN等方法。為了能夠準確地從視頻序列中檢測到異常事件，本專利技術提出了一種多任務深度網絡的異常事件檢測方法。本專利技術各個部分的具體操作如下：(1)局部時空特征的提取：在該方法中，因為局部異常值能夠為理解異常活動提供豐富的視覺信息，所以學習了局部時空上下文特征，使用C3D網絡對每個視頻序列進行特征編碼。每個視頻序列可以由式(6)所示：其中，V表示視頻序列，M表示視頻序列的總幀數，N表示片段數，m＝16表示每個片段中視頻的幀數。首先把視頻序列分割成片段，將片段里面的幀數調整大小為112*112本文檔來自技高網...

【技術保護點】
1.一種多任務深度網絡的異常事件檢測方法，其特征在于，包括以下幾個步驟：/nA.首先使用Conv3DNet提取局部上下文時空特征；/nB.將得到的局部特征拼接起來，通過循環卷積神經網絡提取全局上下文時空特征；/nC.采用多任務神經網絡同時得到視頻序列的異常類別以及異常分數。/n

【技術特征摘要】
1.一種多任務深度網絡的異常事件檢測方法，其特征在于，包括以下幾個步驟：
A.首先使用Conv3DNet提取局部上下文時空特征；
B.將得到的局部特征拼接起來，通過循環卷積神經網絡提取全局上下文時空特征；
C.采用多任務神經網絡同時得到視頻序列的異常類別以及異常分數。


2.根據權利要求1所述的方法，其特征在于，提取視頻序列局部特征的具體步驟是：
首先，將視頻序列分割成若干個片段，每個片段包含相同的幀數；然后，將片段里面的視頻幀調整成相同的大小，放進訓練好的C3D網絡中；最后提取其pool5層的特征作為該視頻片段的局部特征。


3.根據權利要求2所述的方法，其特征在于，提取視頻序列全局特征的具體步驟是：
A.將連續幾個片段的局部特征拼接在一起，放進ConvLSTM網絡中，ConvLSTM在LSTM的基礎上增加了卷積層，能夠更好地提取時空特征；ConvLSTM定義如下所示：
it＝σ(ωxi*xt+ωhi*ht-1+ωcioct-1+bi)(1)
ft＝σ(ωxf*xt+ωhf*ht-1+ωcfoct-1+bf)(2)
ct＝ftoct-1+itotanh(ωxc*xt+ωhc*ht-1+bc)(3)
ot＝σ(ωxo*xt+ωho*ht-1+ωcooct+bo)(4)
ht＝ototanh(ct)(5)
其中，it和ht表示t時刻的輸入和輸出，ft表示遺忘門，ot表示輸出門，ct表示記憶單元，*表示卷積運算，o表示Hadamard乘積，σ表示...

【專利技術屬性】
技術研發人員：方玉明，萬博洋，羅智源，
申請(專利權)人：方玉明，
類型：發明
國別省市：江西;36