基于環(huán)路圖模型的視頻異常檢測方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于LDA-HMM的環(huán)路圖模型視頻異常檢測方法。現(xiàn)有的方法在HMM狀態(tài)確定LDA主題特征的概率推理中，視頻異常檢測會受到概率拖尾問題和模型過度擬合或欠擬合問題的困擾。本發(fā)明專利技術(shù)首先選取正常場景的視頻段作為訓(xùn)練數(shù)據(jù)，經(jīng)過低層特征提取，LDA主題特征提取，通過環(huán)路模型參數(shù)推理，訓(xùn)練出一個LDA-HMM環(huán)路模型。異常檢測時(shí)，將正常場景視頻段和含異常事件視頻段數(shù)據(jù)處理后分布送入已訓(xùn)練好的環(huán)路模型中，根據(jù)前向算法，得到每一幀的似然函數(shù)，當(dāng)似然函數(shù)差大于某一閾值時(shí)，判斷該幀出現(xiàn)異常。本發(fā)明專利技術(shù)很好地解決了概率拖尾及模型階數(shù)需人為設(shè)定的問題，使視頻異常檢測達(dá)到更加精確的效果。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于環(huán)路圖模型的視頻異常檢測方法
本專利技術(shù)屬于計(jì)算機(jī)視覺
，具體涉及一種基于環(huán)路圖模型的視頻異常檢測方法。
技術(shù)介紹
近年來，隨著國民經(jīng)濟(jì)的快速增長和社會的迅速進(jìn)步，銀行、電力、交通、安檢以及軍事設(shè)施等領(lǐng)域?qū)Π踩婪逗同F(xiàn)場記錄報(bào)警系統(tǒng)的需求與日俱增，視頻監(jiān)控在生產(chǎn)生活各方面得到了非常廣泛的應(yīng)用。視頻異常檢測作為智能視頻監(jiān)控的重要應(yīng)用，具有重要的理論意義和實(shí)際應(yīng)用前景。已有的異常事件檢測方法主要是基于異常事件建模的方法，即先從視頻序列中提取圖像特征，特征通常包括運(yùn)動目標(biāo)外形、顏色、運(yùn)動等信息，然后，基于提取的特征通過人工或應(yīng)用監(jiān)督學(xué)習(xí)技術(shù)構(gòu)建正常事件模型，為了檢測異常事件，將視頻與正常事件模型相匹配，不適合該模型的片段認(rèn)為是異常。當(dāng)前主要有兩大主流的檢測模型：一個是采用動態(tài)貝葉斯網(wǎng)絡(luò)如隱馬爾科夫模型(HMM),另一個是基于概率主題模型，如LDA模型或其擴(kuò)展。2007年NaohikoSuzuki等人用離散隱馬爾科夫模型（DHMM）對人的軌跡進(jìn)行建模，識別超市中正常購物者的行為和非正常購物的可疑行為；M.Brand,N.Oliver等人用半監(jiān)督-自適應(yīng)隱馬爾科夫模型，監(jiān)控?fù)淇伺朴螒驁鼍埃瑏矸治銎鋱鼍爸械倪`規(guī)行為。2009年R.Mehran,A.Oyama等人提出了一種群體異常行為檢測算法，檢測階段使用LDA檢測算法，從視頻中提取n*n*T的數(shù)據(jù)塊作為單詞，進(jìn)行似文本分類。基于LDA和HMM的視頻異常事件檢測框架憑借其突出的描述能力在近幾年備受關(guān)注。在該框架中，LDA抽取主題特征，HMM利用狀態(tài)描述主題特征的演化，但在HMM狀態(tài)確定LDA主題特征的概率推理中，視頻異常事件檢測會受到概率拖尾問題的困擾，此外，使用前人為設(shè)定HMM模型階數(shù)會導(dǎo)致視頻異常檢測模型過度擬合或欠擬合問題。針對目前的不足，本專利技術(shù)提出基于LDA-HMM的環(huán)路圖模型視頻異常檢測方法，建立HMM狀態(tài)和LDA主題特征之間的“諧振”，即不僅HMM狀態(tài)影響LDA主題特征，而且反過來LDA主題特征也會影響HMM狀態(tài)，這樣在視頻異常事件檢測過程中，不僅HMM模型中的異常狀態(tài)演化將導(dǎo)致LDA模型關(guān)注于相應(yīng)的異常主題特征，同時(shí)LDA模型中的異常主題特征也會影響HMM模型中的狀態(tài)向異常狀態(tài)的發(fā)展，從而解決概率拖尾及模型階數(shù)需人為設(shè)定的問題，實(shí)現(xiàn)檢測性能的提升。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)針對現(xiàn)有技術(shù)的不足，提供了一種基于環(huán)路圖模型的視頻異常檢測方法。本專利技術(shù)基于環(huán)路圖模型的視頻異常檢測方法，具體思路如下：對于某一個場景的異常事件檢測，首先選取正常場景的視頻段作為訓(xùn)練數(shù)據(jù)，接著通過SIFT算法，逐幀提取低層特征，并對這些特征進(jìn)行聚類，構(gòu)建成詞袋的形式，再通過LDA提取數(shù)據(jù)的語義特征，將得到的語義特征視為iHMM的觀測量，然后通過對LDA-HMM環(huán)路模型的參數(shù)推理，根據(jù)Beam采樣和EM算法訓(xùn)練出一個LDA-HMM環(huán)路模型。異常事件檢測時(shí)，將正常場景的視頻段和含有異常事件的該場景的視頻段分別進(jìn)行低層特征提取，LDA主題特征提取，送入已訓(xùn)練好的LDA-HMM模型中，根據(jù)前向算法，可以得到不同視頻段每一幀的似然函數(shù)。當(dāng)某幀的似然函數(shù)差大于某一個閾值時(shí)，判斷該幀出現(xiàn)異常。為了方便描述本專利技術(shù)的內(nèi)容，首先作一下術(shù)語定義：定義1詞匯詞匯一般定義是一篇文檔或者語言里所有的詞和固定短語的綜合，本文定義是將視頻段每一幀低層特征提取處理后得到的數(shù)據(jù)形式視為詞匯。定義2語義特征語義特征是一篇文檔中能夠描述這篇文檔主題分布的參數(shù)。本文定義為能夠最佳表示視頻每一幀信息數(shù)據(jù)的量。定義3前向算法前向算法是用來計(jì)算給定隱馬爾科夫模型(HMM)后一個觀察序列的概率，給定這種算法，可以直接用來確定對于已知的一個觀察序列，在一些隱馬爾科夫模型(HMMs)中哪一個HMM最好的描述了它——先用前向算法評估每一個(HMM),再選取其中概率最高的一個。本專利技術(shù)提出基于LDA-HMM的環(huán)路圖模型視頻異常檢測方法，建立HMM狀態(tài)和LDA主題特征之間的“諧振”，包括底層特征提取、LDA語義特征提取和HMM的動態(tài)評估、參數(shù)推理和學(xué)習(xí)等三項(xiàng)關(guān)鍵技術(shù)，具體處理步驟如下：步驟一：底層特征提取對已錄制的視頻，采用尺度不變特征變換算法(SIFT)對每一幀圖像抽取二維圖像位置信息（x,y）的特征。SIFT特征是圖像的局部特征，其對旋轉(zhuǎn)、尺度縮放、顏色變化保持不變性，對視角變化、噪聲也保持一定程度的穩(wěn)定性,獨(dú)特性好，信息量豐富，即使少數(shù)的幾個物體也可以產(chǎn)生大量的SIFT特征向量，能夠得到好的檢測效果。SIFT算法主要分為五個步驟：1.構(gòu)建尺度空間，檢測DOG尺度空間極值點(diǎn)，獲得尺度不變性；2.特征點(diǎn)過濾并進(jìn)行精確定位；3.為每個關(guān)鍵點(diǎn)賦予128維方向參數(shù)；4.生成關(guān)鍵點(diǎn)的描述子；步驟二：LDA語義特征提取LDA是一個三層貝葉斯概率模型，包含詞、主題和文檔三層結(jié)構(gòu)。LDA將每個文檔表示為一個主題混合，每個主題是固定詞表上的一個多項(xiàng)式分布。LDA假設(shè)文檔由一個主題混合產(chǎn)生，同時(shí)每個主題是在固定詞表上的一個多項(xiàng)式分布；這些主題被集合中的所有文檔共享；每個文檔有一個特定的主題混合比例，其從Dirichlet分布中抽樣產(chǎn)生。作為一種生成式文檔模型，用LDA提取文檔的隱含語義結(jié)構(gòu)和文檔表征已經(jīng)成功地應(yīng)用到很多文本相關(guān)的領(lǐng)域。生成一篇文檔的具體步驟如下：1.選擇N，N服從Poisson(ξ)分布，N表示每篇文檔的詞匯量；2.選擇θ，θ服從Dirichlet(α)分布，θ是主題發(fā)生的概率，α是θ的先驗(yàn)分布；3.選擇主題zmn，zmn服從Multinomial(θ)分布；4.選擇詞匯參數(shù)wmn，wmn服從分布，其中是主題詞項(xiàng)分布矩陣。LDA主題模型提供了一種介于觀測變量和隱藏變量之間的聯(lián)合概率模型，這樣主題參數(shù)估計(jì)就等價(jià)于主題詞的最大后驗(yàn)概率估計(jì)，或稱之為主題模型的推理問題。主題模型的推理是生成文檔的逆向過程，已知先驗(yàn)參數(shù)α和β，根據(jù)文檔生成過程可以寫出各種隨機(jī)變量D、z和θ的聯(lián)合概率，其中D＝{w1,w2,…,wM}，表示文檔集合，z表示主題，w1,w2,.......,wM表示各個詞匯，其下標(biāo)表示此詞匯是第多少個詞匯。其中M表示文檔數(shù)目，θm是第m篇文檔的主題分布。對主題先驗(yàn)參數(shù)θ進(jìn)行積分得到p(z,w|α,β)，則根據(jù)貝葉斯公式，其中，zn表示除第m篇文檔中第n篇詞匯所對應(yīng)的主題詞，z-n表示除第m篇文檔中第n篇詞匯所對應(yīng)的主題詞以外，其它所有的已知文檔中的詞匯所對應(yīng)的主題詞，w表示文檔詞匯。上式可用來完成主題參數(shù)的估計(jì)，即確定其對應(yīng)的具有語義特征的關(guān)鍵詞。給定α和β情況下，主題先驗(yàn)參數(shù)θ、主題z以及每篇文檔詞匯w的聯(lián)合分布可以表示為：...

【技術(shù)保護(hù)點(diǎn)】
基于環(huán)路圖模型的視頻異常檢測方法，其特征在于該方法的具體步驟是：步驟1.底層特征提取：對已錄制的視頻，采用SIFT算法對每一幀圖像抽取二維圖像位置信息特征，得到若干個特征點(diǎn)的128維方向參數(shù)，將這些特征點(diǎn)聚類，構(gòu)建BOW詞袋的形式；步驟2.將視頻幀序列的BOW詞袋作為文檔D，通過LDA模型進(jìn)行主題語義特征的提取，獲取得到表示每幀圖像主題特征的主題特征矩陣γ；步驟3.將主題特征矩陣γ作為環(huán)路HMM?LDA模型的觀測量進(jìn)行環(huán)路HMM?LDA的上一部分的參數(shù)推理，通過引入輔助變量u，使得潛在狀態(tài)軌跡中的狀態(tài)數(shù)量為一有限值，利用動態(tài)規(guī)劃的方法計(jì)算狀態(tài)軌跡的條件概率并對整個軌跡進(jìn)行采樣；采樣u：在已知狀態(tài)轉(zhuǎn)移概率矩陣π、t?1和t時(shí)刻的軌跡狀態(tài)st?1、st情況下，ut服從條件分布采樣s：st的后驗(yàn)概率為：p(st|zn,1:t,u1:t)∝p(st,ut,zn,t|zn,1:t-1,u1:t-1)=Σst-1p(zn,t|st)p(ut|st,st-1)p(st|st-1)p(st-1|zn,1:t-1,u1:t-1)=p(zn,t|st)Σst-1II(ut<πst-1,st)p(st-1|zn,1:t-1,u1:t-1)=p(zn,t|st)Σst-1:ut<πst-1,stp(st-1|zn,1:t-1,u1:t-1)其中zn,t表示t時(shí)刻的觀測量，n為設(shè)定的觀測個數(shù)，ΙΙ(C)表示如果滿足條件C則ΙΙ(C)＝1，否則ΙΙ(C)＝0；采樣π：令mij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的次數(shù)，s中不同狀態(tài)的數(shù)目為K，這些狀態(tài)被標(biāo)記為1,2…,K,將s中所有未出現(xiàn)的無限多個狀態(tài)融合在一起，則πk可表示為在給定軌跡狀態(tài)s,共享DP基礎(chǔ)測量β和精度測量α下，其后驗(yàn)分布為：p(πk|S,β,α)∝Dirichlet(nk1+αβ1+nk2+αβ2+···+nkK+αβK,αΣi=K+1∞βi)采樣α：假設(shè)α服從參數(shù)為a和b的Gamma分布，則其后驗(yàn)概率分布為：p(α|ω,v)∝αa-1+Σj=1Jmj-vje-α(b-Σj=1Jlogωj)其中為輔助變量，ωj在[0,1]內(nèi)取值，vj是一二進(jìn)制{0,1}變量；采樣θ：每一項(xiàng)θm關(guān)于s,z及它們的先驗(yàn)分布H條件獨(dú)立服從分布：p(θ|s,z,H)＝∏kp(θm|s,z,H)由于基分布Dir(α)和數(shù)據(jù)分布F多項(xiàng)式分布為共軛分布，每一個θm可以迅速的采集到；步驟4.選取新的視頻段序列重復(fù)步驟1，得到新的BOW詞袋，將步驟3采樣得到的α作為LDA模型的超先驗(yàn)參數(shù)，進(jìn)行環(huán)路HMM?LDA下一部分的參數(shù)推理；在給定詞袋D＝{Y1,...,YM}條件下，參數(shù)推理的目的是為了獲得數(shù)據(jù)對數(shù)似然函數(shù)最大化的參數(shù)α和φ的值，首先引入變分參數(shù)γ和將尋找對數(shù)下限的問題轉(zhuǎn)化成下面的優(yōu)化問題：其中z表示主題，y表示詞匯，θ表示主題?文檔分布矩陣，然后將變分分布和真實(shí)分布p(θ,zn,t|yn,t,α,φ)之間的Kullback?Leibler(KL)散度最小化得到最佳的變分參數(shù)值和計(jì)算KL散度的導(dǎo)數(shù)并設(shè)置為0，得到一組更新方程：γi=αi+Σn=1Nφni運(yùn)用EM算法，進(jìn)行反復(fù)迭代，直到超先驗(yàn)參數(shù)α和β收斂，求出此時(shí)α和β的值，根據(jù)θ～Dir(α)，可以繼而推導(dǎo)出參數(shù)θ；步驟5.將環(huán)路HMM?LDA關(guān)聯(lián)樹上的參數(shù)進(jìn)行樹重加權(quán)處理，把環(huán)路模型分解為iHMM結(jié)構(gòu)和LDA結(jié)構(gòu)的兩個無環(huán)生成樹，由步驟3、步驟4的參數(shù)推理過程，可以得到αihmm，θihmm和αlda，θlda，環(huán)路模型的參數(shù)可以表示為：α＝λihmmαihmm+λldaαldaθ＝μihmmθihmm+μldaθlda其中λihmm，μihmm和λlda，μlda分別為iHMM和LDA樹結(jié)構(gòu)參數(shù)α和θ的權(quán)值，取最理想的加權(quán)狀態(tài)，令兩個樹的參數(shù)的加權(quán)值都為0.5，完成建模；步驟6.異常檢測，將正常場景的視頻段和含有異常事件的視頻段分別進(jìn)行步驟1和步驟2，得到的語義特征作為已訓(xùn)練好的環(huán)路HMM?LDA模型的輸入值，根據(jù)前向算法，計(jì)算得到兩視頻段每一幀的似然函數(shù)，將兩似然函數(shù)作差并設(shè)置一個閾值，絕對值大于閾值時(shí)設(shè)定為異常事件，小于等于閾值時(shí)設(shè)定為正常事件。FDA0000386488000000011.jpg,FDA0...

【技術(shù)特征摘要】
1.基于環(huán)路圖模型的視頻異常檢測方法，其特征在于該方法的具體步驟是：步驟1.底層特征提取：對已錄制的視頻，采用SIFT算法對每一幀圖像抽取二維圖像位置信息特征，得到若干個特征點(diǎn)的128維方向參數(shù)，將這些特征點(diǎn)聚類，構(gòu)建BOW詞袋的形式；步驟2.將視頻幀序列的BOW詞袋作為詞袋D，通過LDA模型進(jìn)行主題語義特征的提取，獲取得到表示每幀圖像主題特征的主題特征矩陣γ；步驟3.將主題特征矩陣γ作為環(huán)路HMM-LDA模型的觀測量進(jìn)行環(huán)路HMM-LDA的上一部分的參數(shù)推理，通過引入輔助變量u，使得潛在狀態(tài)軌跡中的狀態(tài)數(shù)量為一有限值，利用動態(tài)規(guī)劃的方法計(jì)算狀態(tài)軌跡的條件概率并對整個軌跡進(jìn)行采樣；采樣u：在已知狀態(tài)轉(zhuǎn)移概率矩陣π、t-1和t時(shí)刻的軌跡狀態(tài)st-1、st情況下，ut服從條件分布采樣s：st的后驗(yàn)概率為：其中zn,t表示t時(shí)刻的觀測量，n為設(shè)定的觀測個數(shù)，ΙΙ(C)表示如果滿足條件C則ΙΙ(C)＝1，否則ΙΙ(C)＝0；采樣π：令mij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的次數(shù)，s中不同狀態(tài)的數(shù)目為K，這些狀態(tài)被標(biāo)記為1,2…,K,將s中所有未出現(xiàn)的無限多個狀態(tài)融合在一起，則πk可表示為在給定軌跡狀態(tài)s,共享DP基礎(chǔ)測量β和精度測量α下，其后驗(yàn)分布為：采樣α：假設(shè)α服從參數(shù)為a和b的Gamma分布，則其后驗(yàn)概率分布為：

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭春生，徐俊，沈佳，張鳳金，
申請(專利權(quán))人：杭州電子科技大學(xué)，
類型：發(fā)明
國別省市：