基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法技術(shù)

一種計(jì)算機(jī)視覺領(lǐng)域的基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法，基于復(fù)合稀疏表觀模型在粒子濾波框架下，將所有粒子觀測(cè)的聯(lián)合稀疏系數(shù)矩陣分為組稀疏性、元素稀疏性和異常稀疏性三部分組成，代表了粒子在字典上的共享和非共享特征以及加性稀疏噪聲。本發(fā)明專利技術(shù)使用L1,∞范數(shù)和L1,1范數(shù)正則化實(shí)現(xiàn)復(fù)合稀疏性，并采用變方向乘子法求解優(yōu)化問題，具有較高的計(jì)算效率。本發(fā)明專利技術(shù)還提出了一種動(dòng)態(tài)字典更新方法，以適應(yīng)目標(biāo)表觀的變化。實(shí)驗(yàn)表明，本發(fā)明專利技術(shù)所提出的算法比所比較的幾種傳統(tǒng)視頻目標(biāo)跟蹤算法有更好的跟蹤性能和魯棒性。本發(fā)明專利技術(shù)可以被應(yīng)用于人機(jī)交互、智能監(jiān)控、智能交通、視覺導(dǎo)航、視頻檢索等領(lǐng)域。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法
本專利技術(shù)涉及的是一種視頻處理領(lǐng)域的技術(shù)，具體是一種應(yīng)用于人機(jī)交互、智能監(jiān)控、智能交通、視覺導(dǎo)航、視頻檢索的基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法。
技術(shù)介紹
視頻跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題，它的任務(wù)是分析攝像機(jī)所拍攝到的二維圖像序列，然后對(duì)所感興趣的目標(biāo)或者區(qū)域進(jìn)行持續(xù)的定位。無論是在民用還是軍用領(lǐng)域，視頻跟蹤技術(shù)都有著記為廣泛的應(yīng)用前景。現(xiàn)代的智能監(jiān)控系統(tǒng)需要實(shí)現(xiàn)對(duì)視場(chǎng)內(nèi)的目標(biāo)進(jìn)行自動(dòng)的檢測(cè)、跟蹤和識(shí)別，捕捉異常情況，并做出預(yù)警。缺少可靠和高效的視頻目標(biāo)跟蹤算法是智能監(jiān)控領(lǐng)域的主要瓶頸之一。人機(jī)交互領(lǐng)域，人們已經(jīng)不再滿足于僅僅基于鼠標(biāo)和鍵盤的簡(jiǎn)單交互模型。隨著虛擬現(xiàn)實(shí)技術(shù)的方法，基于視覺的人機(jī)交互方式已經(jīng)成為工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，計(jì)算機(jī)首先要具有感知人體運(yùn)動(dòng)的能力，其前提是能從攝像機(jī)中定位人體的部位，然后在此基礎(chǔ)上理解人的行為。因而可以說視覺跟蹤是人機(jī)交互的基礎(chǔ)。智能交通系統(tǒng)是指，對(duì)所監(jiān)控的道路的視頻圖像進(jìn)行分析，得出車輛行為、行人行為和交通流量等信息，然后對(duì)車流進(jìn)行控制或者對(duì)交通事故進(jìn)行防范。智能交通中的一個(gè)非常關(guān)鍵的問題是車輛和行人的分割與跟蹤，這也屬于視頻跟蹤的范疇。此外，視頻目標(biāo)跟蹤在視覺導(dǎo)航、視頻檢索、視頻壓縮和視覺導(dǎo)航等領(lǐng)域都用重要的應(yīng)用。然而，由于目標(biāo)表觀變化、姿態(tài)變化、成像環(huán)境變化、背景干擾以及遮擋等因素，設(shè)計(jì)準(zhǔn)確、穩(wěn)定、快速的視頻跟蹤算法仍然是一項(xiàng)十分有挑戰(zhàn)性的任務(wù)。近年來，稀疏表示在視頻跟蹤領(lǐng)域的應(yīng)用，使得跟蹤算法的性能，尤其是在抗遮擋方面，得到了顯著的改善。通常，基于稀疏表示的視頻跟蹤算法在粒子濾波框架下實(shí)現(xiàn)，它使用一些帶有權(quán)重的粒子表示當(dāng)前目標(biāo)狀態(tài)的概率密度函數(shù)，然后估計(jì)目標(biāo)的位置。每個(gè)粒子的初始觀測(cè)為當(dāng)前幀內(nèi)對(duì)應(yīng)區(qū)域的像素，通過稀疏表觀模型，它們可以表示為由一個(gè)字典中模板所張成的子空間上的一組稀疏系數(shù)。候選目標(biāo)屬于被跟蹤目標(biāo)的似然由這組稀疏系數(shù)在字典上的線性組合和原觀測(cè)的重構(gòu)誤差來定義。基于稀疏表示的視頻跟蹤算法可以大致分類兩類：?jiǎn)稳蝿?wù)算法和多任務(wù)算法。典型的單任務(wù)算法，如L1跟蹤器[X.MeiandH.Ling，“RobustvisualtrackingusingL1minimization，”inComputerVision，2009IEEE12thInternationalConferenceon，1436–1443，IEEE(2009)]，在求解稀疏系數(shù)時(shí)，對(duì)每一個(gè)粒子單獨(dú)進(jìn)行L1最優(yōu)化。這個(gè)作法有兩個(gè)缺點(diǎn)。第一，計(jì)算量比較大，如L1跟蹤器使用內(nèi)點(diǎn)法求解每一個(gè)粒子的L1最優(yōu)化問題，其計(jì)算復(fù)雜度是O(m2n+mrn)，其中：m，n和r分別是特征維數(shù)、字典中模板個(gè)數(shù)和粒子數(shù)。第二，假設(shè)粒子之間相互獨(dú)立，完全忽視了粒子之間的聯(lián)系。然而，由于粒子濾波在采樣粒子時(shí)使用的高斯分布，大部分粒子在空間上是相近的，因而他們的表觀也具有相似性。利用這種相似性可以改善所有粒子的整體重構(gòu)性能，從而改善跟蹤精度。多任務(wù)學(xué)習(xí)可以利用多個(gè)相關(guān)學(xué)習(xí)任務(wù)之間的本質(zhì)聯(lián)系，從理論和經(jīng)驗(yàn)上均被證明可以明顯改進(jìn)整體性能。求解所有粒子的稀疏系數(shù)可以看作是多個(gè)相關(guān)的線性回歸問題。因而，基于多任務(wù)的稀疏表示視頻跟蹤算法的目的是利用多任務(wù)學(xué)習(xí)的優(yōu)點(diǎn)來改進(jìn)視頻跟蹤的性能。代表性的算法是多任務(wù)跟蹤器(MTT)[T.Zhang，B.Ghanem，S.Liu，andN.Ahuja，“Robustvisualtrackingviamulti‐tasksparselearning，”inComputerVisionandPatternRecognition(CVPR)，2012IEEEConferenceon，2042–2049，IEEE(2012)]。盡管實(shí)驗(yàn)結(jié)果表明，多任務(wù)跟蹤器的跟蹤效果和計(jì)算效率都優(yōu)于L1跟蹤器，但是它有以下問題。多任務(wù)跟蹤器中粒子表觀的聯(lián)合稀疏性是由L1，q范數(shù)約束實(shí)現(xiàn)的。L1，q范數(shù)會(huì)導(dǎo)致過分強(qiáng)調(diào)粒子之間的聯(lián)系，特別是q＞2時(shí)，所有粒子的非零稀疏系數(shù)均取相似的值。這與粒子的特性應(yīng)當(dāng)由粒子之間的共性和其自身個(gè)性組成的常識(shí)所矛盾。經(jīng)過對(duì)現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國(guó)專利文獻(xiàn)號(hào)CN103985143A公開(公告)日2014.8.13，公開了一種基于字典學(xué)習(xí)的視頻中鑒別性在線目標(biāo)跟蹤方法。該方法將候選樣本和模板進(jìn)行分塊，對(duì)各塊提取稀疏表示系數(shù)，再將這些系數(shù)作為對(duì)應(yīng)塊的分類器，得到該塊候選樣本的判定置信度，然后對(duì)各塊的判定置信度隨機(jī)抽取K個(gè)并求和，遍歷所有可能性，最后在各種可能性中被選取次數(shù)最多的候選樣本，最為當(dāng)前幀的跟蹤結(jié)果。但該技術(shù)中所有候選樣本的稀疏表示系數(shù)的優(yōu)化問題是孤立的考慮的，候選樣本之間的關(guān)系是被忽視的。也就是說，它屬于一直單任務(wù)的跟蹤算法，因而它的稀疏系數(shù)的估計(jì)精度難以滿足工業(yè)需要。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)針對(duì)現(xiàn)有技術(shù)存在的單任務(wù)稀疏表示跟蹤算法的完全忽略粒子之間聯(lián)系和現(xiàn)有的多任務(wù)稀疏表示跟蹤算法過分強(qiáng)度粒子之間共性的問題，提出一種基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法。本專利技術(shù)是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟：第一步：在待測(cè)試視頻的初始幀，即第一幀中手工選擇被跟蹤目標(biāo)，用其初始位置生成初始粒子集在初始位置周圍緊采樣生成初始字典D，選擇單位矩陣Im作為瑣碎模板。第二步：在待測(cè)試視頻的每一幀中，使用目標(biāo)的運(yùn)動(dòng)模型預(yù)測(cè)粒子狀態(tài)所述的目標(biāo)的運(yùn)動(dòng)模型采用隨機(jī)游走模型，即新的狀態(tài)從前一時(shí)刻狀態(tài)根據(jù)高斯分布采樣而得，第三步：提取預(yù)測(cè)的每一個(gè)粒子的區(qū)域的像素值并壓縮為觀測(cè)矩陣Y；所述的區(qū)域是為一個(gè)平行四邊形，由粒子的狀態(tài)所定義，其參數(shù)包括：中心位置、長(zhǎng)寬、傾斜角度。所述的壓縮是指：對(duì)所得到的像素值進(jìn)行下采樣處理，并對(duì)采樣后的像素值合并為向量作為觀測(cè)值，最后將多個(gè)向量組合成觀測(cè)矩陣Y。第四步：利用觀測(cè)矩陣Y、字典D、瑣碎模板Im，求解L1，∞和L1，1范數(shù)優(yōu)化問題，計(jì)算復(fù)合稀疏表觀模型的稀疏系數(shù)矩陣B、S和T；所述的復(fù)合稀疏表觀模型是一種所有粒子的聯(lián)合特征提取模型，即統(tǒng)一計(jì)算所有粒子的觀測(cè)在字典模板上稀疏表示系數(shù)，將所有粒子的聯(lián)合稀疏系數(shù)矩陣分為三個(gè)部分：組稀疏性、元素稀疏性和異常稀疏性，分別對(duì)應(yīng)于粒子的共享特征、個(gè)性特征和異常特征，具體為：在時(shí)刻t時(shí)，粒子濾波中，n個(gè)粒子的預(yù)測(cè)狀態(tài)為它們的原始觀測(cè)為其中：為根據(jù)狀態(tài)從當(dāng)前幀中所裁剪出的圖像區(qū)域；將這些觀測(cè)下采樣并壓成向量，得到最終的觀測(cè)當(dāng)字典為Dt＝{d1，…，dr}，其中：r是模板的個(gè)數(shù)；初始字典是在初始幀中，在目標(biāo)的初始狀態(tài)附近根據(jù)緊采樣策略采樣獲得，為了解決噪聲和遮擋的問題，引入異常模板Im，即一個(gè)單位陣，將粒子觀測(cè)上的噪聲或遮擋表示為一個(gè)加性的稀疏噪聲，它在其支集上可以取任意大的值。在復(fù)合稀疏表觀模型中，觀測(cè)矩陣Y可以表示為其中，聯(lián)合稀疏系數(shù)矩陣B代表粒子在字典D上的共享特征，個(gè)性特征的元素稀疏矩陣S代表粒子在異常模板上的稀疏系數(shù)，元素稀疏矩陣T代表加性噪聲。所需求解的L1，∞和L1，1范數(shù)優(yōu)化問題為：s.t.Y＝D(B+S)+ImT+E該模型具體通過變方向乘子法求解，即利用線性可分性將上述復(fù)雜的優(yōu)化問題分解為幾個(gè)較為簡(jiǎn)單的子問題再進(jìn)行逐個(gè)求解。本方法具有快速收斂的特點(diǎn)。相比其他優(yōu)化方法，本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法，其特征在于，包括以下步驟：第一步：在待測(cè)試視頻的初始幀，即第一幀中手工選擇被跟蹤目標(biāo)，用其初始位置生成初始粒子集在初始位置周圍緊采樣生成初始字典D；第二步：在待測(cè)試視頻的每一幀中，使用目標(biāo)的運(yùn)動(dòng)模型預(yù)測(cè)粒子狀態(tài)第三步：提取預(yù)測(cè)的每一個(gè)粒子的區(qū)域的像素值并壓縮為觀測(cè)矩陣Y；第四步：在復(fù)合稀疏表觀模型Y=DImB+ST=D(B+S)+ImT]]>中，通過L1，∞和L1，1范數(shù)優(yōu)化計(jì)算聯(lián)合稀疏系數(shù)矩陣B、分別代表粒子在字典D上的共享特征和個(gè)性特征的元素稀疏矩陣S以及代表粒子在異常模板上的稀疏系數(shù)的元素稀疏矩陣T；第五步：計(jì)算重構(gòu)誤差E，并對(duì)每個(gè)粒子的權(quán)重進(jìn)行更新；第六步：以更新后權(quán)重最大的粒子作為當(dāng)前幀的目標(biāo)，該目標(biāo)的狀態(tài)為觀測(cè)為第七步：使用觀測(cè)通過自適應(yīng)方式更新字典中的模板和稀疏；第八步：輸出所有幀的狀態(tài)估計(jì)值，即為該視頻中目標(biāo)的跟蹤結(jié)果。

【技術(shù)特征摘要】
1.一種基于復(fù)合稀疏模型的視頻目標(biāo)跟蹤方法，其特征在于，包括以下步驟：第一步：在待測(cè)試視頻的初始幀，即第一幀中手工選擇被跟蹤目標(biāo)，用其初始位置生成初始粒子集在初始位置周圍緊采樣生成初始字典D；第二步：在待測(cè)試視頻的每一幀中，使用目標(biāo)的運(yùn)動(dòng)模型預(yù)測(cè)粒子狀態(tài)第三步：提取預(yù)測(cè)的每一個(gè)粒子的區(qū)域的像素值并壓縮為觀測(cè)矩陣Y；第四步：在復(fù)合稀疏表觀模型中，通過L1，∞和L1，1范數(shù)優(yōu)化計(jì)算聯(lián)合稀疏系數(shù)矩陣B、分別代表粒子在字典D上的共享特征和個(gè)性特征的元素稀疏矩陣S以及代表粒子在異常模板上的稀疏系數(shù)的元素稀疏矩陣T，其中：Im為作為瑣碎模板的單位矩陣；第五步：計(jì)算重構(gòu)誤差E，并對(duì)每個(gè)粒子的權(quán)重進(jìn)行更新；第六步：以更新后權(quán)重最大的粒子作為當(dāng)前幀的目標(biāo)，該目標(biāo)的狀態(tài)為觀測(cè)為第七步：使用觀測(cè)通過自適應(yīng)方式更新字典中的模板和稀疏；第八步：輸出所有幀的狀態(tài)估計(jì)值，即為該視頻中目標(biāo)的跟蹤結(jié)果；所述的復(fù)合稀疏表觀模型的求解優(yōu)化方程為：s.t.Y＝D(B+S)+ImT+E該模型具體通過變方向乘子法求解，即利用線性可分性將上述復(fù)雜的優(yōu)化問題分解為幾個(gè)較為簡(jiǎn)單的子問題再進(jìn)行逐個(gè)求解。2.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的目標(biāo)的運(yùn)動(dòng)模型采用隨機(jī)游走模型，即新的狀態(tài)從前一時(shí)刻狀態(tài)根據(jù)高斯分布采樣而得，3.根據(jù)權(quán)利要求1所述的方法，其特征是，第三步中所述的區(qū)域是一個(gè)平行四邊形，由粒子的狀態(tài)，即中心位置、長(zhǎng)寬、傾斜...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：敬忠良，金博，王夢(mèng)，潘漢，
申請(qǐng)(專利權(quán))人：上海交通大學(xué)，
類型：發(fā)明
國(guó)別省市：上海;31