基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法制造技術(shù)

本發(fā)明專利技術(shù)屬于視覺跟蹤領(lǐng)域，提供一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，解決長(zhǎng)時(shí)間目標(biāo)跟蹤的問題，包括：建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF，對(duì)每一幀圖像進(jìn)行處理；基于特征點(diǎn)匹配和光流的跟蹤模塊MTF；建立CFF和MTF的協(xié)同處理判定模塊。本發(fā)明專利技術(shù)將跟蹤問題分解成能夠相互輔助的兩部分CFF和MTF，通過判斷目標(biāo)被遮擋的程度或者是否已經(jīng)消失于視野，決定是否去更新算法，從而避免模型被背景信息污染產(chǎn)生漂移現(xiàn)象；對(duì)于目標(biāo)重新出現(xiàn)于視野時(shí)，本發(fā)明專利技術(shù)能夠?qū)崿F(xiàn)目標(biāo)的重新檢測(cè)，更新相應(yīng)模塊實(shí)現(xiàn)持續(xù)長(zhǎng)久穩(wěn)定的跟蹤；而且本發(fā)明專利技術(shù)的處理速度完全滿足實(shí)時(shí)處理要求，針對(duì)實(shí)際復(fù)雜場(chǎng)景具有非常好的效果。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法
本專利技術(shù)屬于視覺跟蹤領(lǐng)域，涉及一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，解決長(zhǎng)時(shí)間目標(biāo)跟蹤問題。
技術(shù)介紹
最近幾年，隨著目標(biāo)跟蹤算法的不斷提出，大部分的跟蹤算法可以很好的解決簡(jiǎn)單環(huán)境下單一目標(biāo)的輕微遮擋問題。然而在更加復(fù)雜的情形如嚴(yán)重遮擋或者目標(biāo)離開視野等，依然需要更加健壯的長(zhǎng)期、實(shí)時(shí)跟蹤算法。現(xiàn)有的基于相關(guān)濾波的跟蹤算法已經(jīng)能夠獲得非常高速的處理速度從而保證了目標(biāo)跟蹤的實(shí)時(shí)處理要求，不過對(duì)于遮擋問題仍然不能很好地避免目標(biāo)模型被污染并且不能適應(yīng)目標(biāo)的尺寸變化。另外，基于特征點(diǎn)匹配的跟蹤算法中如何選取有代表性的特征點(diǎn)來表示目標(biāo)將直接影響跟蹤的效果，而且基于特征點(diǎn)匹配的跟蹤算法難以達(dá)到實(shí)時(shí)的處理速度、不能很好的剔除游離的點(diǎn)。
技術(shù)實(shí)現(xiàn)思路
針對(duì)以上問題，本專利技術(shù)提供一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，該方法能夠判斷目標(biāo)被遮擋的程度或者是否已經(jīng)消失于視野，進(jìn)而決定是否更新算法，避免模型被背景信息污染產(chǎn)生漂移現(xiàn)象。此外對(duì)于目標(biāo)重新出現(xiàn)于視野時(shí)，本專利技術(shù)能夠?qū)崿F(xiàn)目標(biāo)的重新檢測(cè)，通過更新相應(yīng)模塊實(shí)現(xiàn)持續(xù)長(zhǎng)久穩(wěn)定的目標(biāo)跟蹤。而且該算法處理速度完全滿足實(shí)時(shí)處理要求，針對(duì)實(shí)際復(fù)雜場(chǎng)景有非常好的效果。為了達(dá)到上述目的，本專利技術(shù)的技術(shù)方案為：一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，包括以下步驟：第一步，建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF，對(duì)每一幀圖像進(jìn)行處理；第二步，建立基于特征點(diǎn)匹配和光流的跟蹤模塊MTF；第三步，建立CFF和MTF的協(xié)同處理判定模塊。本專利技術(shù)的有益效果為：本專利技術(shù)能夠有效的長(zhǎng)時(shí)間進(jìn)行目標(biāo)跟蹤，能夠解決嚴(yán)重遮擋以及目標(biāo)離開視野之后目標(biāo)重現(xiàn)時(shí)的再次成功跟蹤問題。將跟蹤問題分解成能夠相互輔助的兩部分CFF和MTF。其中MTF利用初始幀的靜態(tài)信息和處理過程中上一相鄰幀的動(dòng)態(tài)信息，采用前景特征點(diǎn)的數(shù)量表明遮擋的程度，進(jìn)而決定是否更新CFF和MTF。同時(shí)CFF利用從MTF得到的自適應(yīng)目標(biāo)尺寸參數(shù)使得本身就非常優(yōu)秀的相關(guān)濾波算法能夠處理目標(biāo)的尺度變化問題。并且CFF能夠在目標(biāo)被嚴(yán)重遮擋時(shí)停止訓(xùn)練和更新，進(jìn)一步減少了誤差信息的引入，因此擁有更加卓越的表現(xiàn)。在兩個(gè)非常有代表性的大型數(shù)據(jù)集上進(jìn)行評(píng)價(jià)，效果表明，能夠利用CFF和MTF模塊來提高跟蹤性能，并且能夠應(yīng)用到實(shí)際場(chǎng)景。附圖說明圖1為基于CFF和MTF模塊的算法框架圖；圖2為具有代表性的前景特征點(diǎn)變化示意圖；(a)為初始幀特征點(diǎn)示意圖；(b)為從被遮擋物重新出現(xiàn)時(shí)穩(wěn)定特征點(diǎn)示意圖；(c)為目標(biāo)旋轉(zhuǎn)時(shí)的特征點(diǎn)示意圖；(d)為長(zhǎng)時(shí)間跟蹤的特征點(diǎn)示意圖；圖3為算法在OTB數(shù)據(jù)集上的整體性能評(píng)價(jià)；(a)為精度圖；(b)為成功率圖；圖4為算法在OTB數(shù)據(jù)集上對(duì)遮擋、離開視野兩個(gè)屬性的性能評(píng)價(jià)；(a)為遮擋屬性下的性能評(píng)價(jià)；(b)為離開視野屬性下的性能評(píng)價(jià)；圖5為算法在Vojir數(shù)據(jù)集上基于幀的性能評(píng)價(jià)；圖6為算法在Vojir數(shù)據(jù)集上基于序列的性能評(píng)價(jià)。具體實(shí)施方式以下對(duì)本專利技術(shù)做進(jìn)一步說明。第一步，建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF，對(duì)每一幀圖像進(jìn)行處理給定初始信息，將初始幀的目標(biāo)區(qū)域框作為正樣本，采用W×H的圖像塊xw,h來表達(dá)，目標(biāo)區(qū)域中心周圍循環(huán)移位得到負(fù)樣本，采用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本；所述的初始信息包括初始幀和對(duì)應(yīng)的目標(biāo)區(qū)域框；a)訓(xùn)練目標(biāo)檢測(cè)器采用所述圖像塊訓(xùn)練得到相關(guān)濾波的目標(biāo)檢測(cè)器，即找到回歸函數(shù)f(z)＝ωTz，得到如公式(1)所示的最小化平方誤差：minωΣw，h|<φ(xw,h),ω>-y(w,h)|2+λ||w||2。(1)其中，φ是通過核函數(shù)κ將線性回歸映射到非線性回歸的映射函數(shù)；<φ(xw,h),ω>表示φ(xw,h)和ω的內(nèi)積；ω為回歸函數(shù)的參數(shù)；λ是用來控制過擬合的參數(shù)；y(w,h)是xw,h的標(biāo)簽，回歸目標(biāo)y遵從高斯分布；在非線性特征空間里，ω＝∑w,hα(w,h)φ(xw,h)。b)檢測(cè)初始幀之后的下一幀預(yù)測(cè)位置給定初始幀的位置，采用步驟a)訓(xùn)練得到的目標(biāo)檢測(cè)器檢測(cè)下一幀運(yùn)動(dòng)目標(biāo)所在位置，采集搜索區(qū)域內(nèi)所有測(cè)試樣本，根據(jù)公式(3)得到目標(biāo)檢測(cè)器的響應(yīng)輸出，其中響應(yīng)輸出最大的位置即為下一幀運(yùn)動(dòng)目標(biāo)所在位置；所述的測(cè)試樣本通過循環(huán)移位得到，進(jìn)而極大地提高運(yùn)算效率；所述的搜索區(qū)域?yàn)橐阅繕?biāo)區(qū)域?yàn)橹行模繕?biāo)區(qū)域框2.5倍大小的區(qū)域；尺度自適應(yīng)相關(guān)濾波跟蹤利用循環(huán)矩陣(即所述的測(cè)試樣本)在傅里葉空間能夠?qū)腔男再|(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的Hadamad積，即元素的點(diǎn)乘，得到其中，和代表傅立葉變換和它的逆；(kx)＝κ(xw,h,x)；向量α包含所有相關(guān)系數(shù)α(w,h)。為進(jìn)一步增強(qiáng)跟蹤的性能，采用自適應(yīng)目標(biāo)尺度表達(dá)目標(biāo)外觀，引入尺度自適應(yīng)參數(shù)，采用z＝ζxw,h表示目標(biāo)尺度的變化，ζ是目標(biāo)尺寸的變化系數(shù)；此時(shí)計(jì)算目標(biāo)檢測(cè)器的響應(yīng)輸出為：其中，⊙代表元素的點(diǎn)乘運(yùn)算；找到響應(yīng)輸出最大的對(duì)應(yīng)的表示新檢測(cè)到的運(yùn)動(dòng)目標(biāo)所在位置；采用新的運(yùn)動(dòng)目標(biāo)所在位置更新目標(biāo)檢測(cè)器；重復(fù)上述步驟處理每一幀圖像；第二步，建立基于特征點(diǎn)匹配和光流的跟蹤模塊MTF首先檢測(cè)初始幀的所有特征點(diǎn)，并計(jì)算其相應(yīng)特征描述符其中，和分別代表前景特征點(diǎn)和背景特征點(diǎn)的特征描述符數(shù)據(jù)庫(kù)，和代表對(duì)應(yīng)特征點(diǎn)的數(shù)量；di為二進(jìn)制描述符di∈{0,1}d；為坐標(biāo)，前景特征點(diǎn)含有固定的索引值，在初始幀之后的每一幀，由特征點(diǎn)靜態(tài)匹配和動(dòng)態(tài)光流兩種方式得到每一幀對(duì)應(yīng)的特征點(diǎn)Kt；其中，m為中對(duì)應(yīng)特征點(diǎn)的索引；a代表坐標(biāo)；為特征點(diǎn)Kt的數(shù)量；得到Kt的具體步驟為：b)特征點(diǎn)靜態(tài)匹配采用BRISK全圖探測(cè)特征點(diǎn)，并計(jì)算特征描述符其中，dk為特征描述符，pk是絕對(duì)坐標(biāo)，ND為特征點(diǎn)的數(shù)量；采用公式(7)所示的漢明距離計(jì)算每個(gè)候選描述符與初始特征描述符中每一個(gè)特征描述符之間的距離d，得到最近鄰特征描述符和第二近鄰特征描述符為了有效剔除異常匹配的特征點(diǎn)，計(jì)算和以及根據(jù)公式(8)計(jì)算它們的比率r(dk)，當(dāng)比率r(dk)<0.8時(shí)，得到成功匹配的特征點(diǎn)，記為匹配特征點(diǎn)得到對(duì)應(yīng)的前景特征點(diǎn)的索引值；公式(8)具體為：c)動(dòng)態(tài)光流每一幀保持一組活躍前景特征點(diǎn)其中pit-1表示特征點(diǎn)在第t-1幀的坐標(biāo)，而pio是特征點(diǎn)在初始模版中的坐標(biāo)。采用LK光流法獲取前一幀特征點(diǎn)在第t幀光流匹配的特征點(diǎn)，并且利用Forward-Backward策略獲得可靠的特征點(diǎn)提高魯棒性能；移除跟蹤無效的特征點(diǎn)之后，得到跟蹤特征點(diǎn)d)融合特征點(diǎn)靜態(tài)匹配和動(dòng)態(tài)光流兩種方式得到的結(jié)果將跟蹤特征點(diǎn)和匹配特征點(diǎn)融合；在融合過程中，如果和對(duì)應(yīng)到初始特征點(diǎn)的索引一致，只保留移除光流跟蹤的得到融合的特征點(diǎn)；如果不一致，和都保留，得到融合的特征點(diǎn)；再根據(jù)幾何約束策略判定上述融合的特征點(diǎn)為前景特征點(diǎn)或背景特征點(diǎn)，根據(jù)前景特征點(diǎn)的數(shù)量直接判定跟蹤是否成功，即采用公式(9)判斷結(jié)果是否可信：當(dāng)前景特征點(diǎn)數(shù)量超過閾值時(shí)，GC＝True意味著跟蹤結(jié)果可信；否則表示結(jié)果不可信；其中，θI表示目標(biāo)成功跟蹤的閾值；NI為前景特征點(diǎn)的數(shù)量；第三步，CFF和MTF的協(xié)同處理判定模塊a)部分或完全遮擋情形：在跟蹤過程中，當(dāng)前景特征點(diǎn)數(shù)量銳減至閾值以下時(shí)，表示發(fā)生本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，其特征在于以下步驟：第一步，建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF，對(duì)每一幀圖像進(jìn)行處理給定初始信息，將初始幀的目標(biāo)區(qū)域框作為正樣本，采用W×H的圖像塊x

【技術(shù)特征摘要】
1.一種基于尺度自適應(yīng)相關(guān)濾波和特征點(diǎn)匹配的目標(biāo)跟蹤算法，其特征在于以下步驟：第一步，建立尺度自適應(yīng)相關(guān)濾波跟蹤模塊CFF，對(duì)每一幀圖像進(jìn)行處理給定初始信息，將初始幀的目標(biāo)區(qū)域框作為正樣本，采用W×H的圖像塊xw,h表達(dá)，目標(biāo)區(qū)域中心周圍循環(huán)移位得到負(fù)樣本，采用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負(fù)樣本；所述的初始信息包括初始幀和對(duì)應(yīng)的目標(biāo)區(qū)域框；a)訓(xùn)練目標(biāo)檢測(cè)器采用圖像塊訓(xùn)練得到相關(guān)濾波的目標(biāo)檢測(cè)器，即找到回歸函數(shù)f(z)＝ωTz，得到如公式(1)所示的最小化平方誤差：minω∑w,h|<φ(xw,h),ω>-y(w,h)|2+λ||w||2；(1)其中，φ是通過核函數(shù)κ將線性回歸映射到非線性回歸的映射函數(shù)；<φ(xw,h),ω>表示φ(xw,h)和ω的內(nèi)積；ω為回歸函數(shù)的參數(shù)；λ是用來控制過擬合的參數(shù)；y(w,h)是xw,h的標(biāo)簽，回歸目標(biāo)y遵從高斯分布；在非線性特征空間里，ω＝∑w,hα(w,h)φ(xw,h)；b)檢測(cè)初始幀之后的下一幀預(yù)測(cè)位置給定初始幀的位置，采用步驟a)訓(xùn)練得到的目標(biāo)檢測(cè)器檢測(cè)下一幀運(yùn)動(dòng)目標(biāo)所在位置，采集搜索區(qū)域內(nèi)所有測(cè)試樣本，根據(jù)公式(3)得到目標(biāo)檢測(cè)器的響應(yīng)輸出，其中響應(yīng)輸出最大的位置即為下一幀運(yùn)動(dòng)目標(biāo)所在位置；所述的測(cè)試樣本通過循環(huán)移位得到；尺度自適應(yīng)相關(guān)濾波跟蹤利用循環(huán)矩陣(即所述的測(cè)試樣本)在傅里葉空間能夠?qū)腔男再|(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的Hadamad積，即元素的點(diǎn)乘，得到：其中，和代表傅立葉變換和它的逆；(kx)＝κ(xw,h,x)；向量α包含所有相關(guān)系數(shù)α(w,h)；所述的循環(huán)矩陣為測(cè)試樣本；為增強(qiáng)跟蹤性能，采用自適應(yīng)目標(biāo)尺度表達(dá)目標(biāo)外觀，引入尺度自適應(yīng)參數(shù)，采用z＝ζxw,h表示目標(biāo)尺度的變化，ζ是目標(biāo)尺寸的變化系數(shù)；此時(shí)計(jì)算目標(biāo)檢測(cè)器的響應(yīng)輸出為：其中，⊙代表元素的點(diǎn)乘運(yùn)算；找到響應(yīng)輸出最大的對(duì)應(yīng)的表示新檢測(cè)到的運(yùn)動(dòng)目標(biāo)所在位置；采用新的運(yùn)動(dòng)目標(biāo)所在位置更新目標(biāo)檢測(cè)器；重復(fù)上述步驟處理每一幀圖像；第二步，建立基于特征點(diǎn)匹配和光流的跟蹤模塊MTF首先檢測(cè)初始幀的所有特征點(diǎn)，并計(jì)算其相應(yīng)特征描述符其中，和分別代表前景特征點(diǎn)和背景特征點(diǎn)的特征描述符數(shù)據(jù)庫(kù)，和代表對(duì)應(yīng)特征點(diǎn)的數(shù)量；di為二進(jìn)制描述符di∈{0,1}d；為坐標(biāo)，前景特征點(diǎn)含有固定的索引值，在初始幀之后的每一幀，由特征點(diǎn)靜態(tài)匹配和動(dòng)態(tài)光流兩種方式得到每一幀對(duì)應(yīng)的特征點(diǎn)Kt；其中，m為中對(duì)應(yīng)特征點(diǎn)的索引；a代表坐標(biāo)；為特征點(diǎn)Kt的數(shù)量；得到Kt的具體步驟為：a)特征點(diǎn)靜態(tài)匹配采用BRISK全圖探測(cè)特征點(diǎn)，并計(jì)算特征描述符其中，dk為特征描述符，pk是絕對(duì)坐標(biāo)，ND為特征點(diǎn)的數(shù)量；采用公式(7)所示的漢明距離計(jì)算每個(gè)候選描述符與初始特征描述符中每一個(gè)特征描述符之間的距離d，得到...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王濤，王凡，胡小鵬，
申請(qǐng)(專利權(quán))人：大連理工大學(xué)，
類型：發(fā)明
國(guó)別省市：遼寧,21