一種基于卷積特征和手工特征整合的視覺跟蹤方法技術

本發明專利技術公開了一種基于卷積特征和手工特征整合的視覺跟蹤方法，其方法為通過VGG19提取目標圖像的深度特征，并采用conv3?4圖層、conv4?4圖層和conv5?4圖層分別作為目標圖像的三層卷積特征；獲取HOG特征、CN特征和灰度特征，并融合成一層手工特征；獲取三層卷積特征的傅里葉變換結果、一層手工特征的傅里葉變換結果，基于相關濾波算法計算得到目標圖像的目標估計位置，完成視覺跟蹤；通過間隔參數選取當前視覺圖像中的部分圖像幀，將選取的部分圖像幀作為新的目標圖像，開始更新視覺跟蹤。本發明專利技術提升了視覺跟蹤的精確度和成功率，提升了跟蹤器的運行速度。

【技術實現步驟摘要】
一種基于卷積特征和手工特征整合的視覺跟蹤方法
本專利技術涉及計算機圖形與目標圖像處理領域，一種基于卷積特征和手工特征整合的視覺跟蹤方法。
技術介紹
隨著計算機視覺技術的飛速發展，基于視頻的目標跟蹤算法已經成為國內外研究機構和大學的研究熱點。目標跟蹤技術通常基于視頻中的目標和背景信息來構建魯棒的模型，以預測視頻中目標的形狀、大小、位置、軌跡和其他運動狀態，從而可以進行行為預測、行為理解和分析。視覺跟蹤的當前應用領域非常廣泛，包括視頻監視、無人駕駛飛行器、軍事精確制導、智能交通和人機交互等許多領域，具有重要的研究價值。自MOSSE算法出現以來，相關過濾器方法在視覺跟蹤領域的發展越來越快，本方法也是一種基于相關濾波的跟蹤方法。與本方法相關的跟蹤算法之一SAMF算法是2014年提出的，該方法集成了HOG、顏色以及灰度特征，旨在解決內核相關濾波跟蹤器中算法大小固定的問題，以進一步提高整體跟蹤性能，其不足之處在于只是整合了三個手工特征，沒有做算法的改進，這使得該方法的精確度不夠高。BACF提出了一種基于背景的CF，該CF基于手工制作的特征(HOG)，可以有效地模擬對象的前景和背景隨時間的變化，并且作者證明了他們的方法具有很高的速度，該方法具有良好的跟蹤效果，但在成功率上的表現不佳。傳統的手動特征無法準確地表示目標，因此CNN逐漸開始用于視覺跟蹤的特征提取中，HCF算法是CNN在相關過濾跟蹤算法中應用的經典示例，該方法使用CNN中的不同層特征來表示目標，并在每層中分配不同的權重，其主要存在的問題是運行速度太慢。r>
技術實現思路
針對現有技術中的上述不足，本專利技術提供的一種基于卷積特征和手工特征整合的視覺跟蹤方法解決了視覺跟蹤精確度低、成功率低和速率低的問題。為了達到上述專利技術目的，本專利技術采用的技術方案為：提供一種基于卷積特征和手工特征整合的視覺跟蹤方法，其包括以下步驟：S1、通過VGG19提取目標圖像的深度特征，并采用conv3-4圖層、conv4-4圖層和conv5-4圖層分別作為目標圖像的三層卷積特征；S2、通過計算目標圖像局部區域的梯度方向的直方圖，得到HOG特征；通過映射方法將目標圖像的RGB空間轉換為11維顏色名稱空間，得到CN特征；提取目標圖像的灰度特征；S3、將HOG特征、CN特征和灰度特征融合成一層手工特征；S4、獲取當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果；S5、基于相關濾波模板的算法，通過當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果得到目標圖像的目標估計位置，完成視覺跟蹤；S6、判斷是否繼續進行視覺跟蹤，若是則進入步驟S7；否則結束；S7、獲取當前視覺圖像并設置間隔參數，通過間隔參數選取當前視覺圖像中的部分圖像幀，將選取的部分圖像幀作為新的目標圖像，通過新的目標圖像信息計算得到新的三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果，返回步驟S5。進一步地，步驟S4的具體方法為：根據公式：得到當前三層卷積特征相關濾波模板的傅里葉變換結果Hd和一層手工特征相關濾波模板的傅里葉變換結果HM；其中，Y為高斯標簽的傅里葉變換結果，⊙為基本積，Xd為第d層卷積特征，Xi為第i層卷積特征，λ為正則化系數，XM為手工特征，為共軛運算。進一步地，步驟S5的具體方法為：根據公式：得到整個特征的最大響應值rmax，將整個特征的最大響應值的坐標作為目標在目標圖像的估計位置，即得到目標估計位置；其中，rd為卷積特征的響應值，F-1為傅里葉逆變換，Zi為第i層卷積特征的當前目標圖像patch，rM為手工特征的響應值，Z為手工特征的當前目標圖像patch；argmax(·)為求參數的函數，γ為手工特征的權值，wd為卷積特征的權值，Hd為當前三層卷積特征相關濾波模板的傅里葉變換結果，HM為當前一層手工特征相關濾波模板的傅里葉變換結果。進一步地，步驟S4中通過新的目標圖像信息計算得到新的三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果的具體方法為：根據公式：得到新的目標圖像的三層卷積特征相關濾波模板的傅里葉變換結果和一層手工特征相關濾波模板的傅里葉變換結果其中，N為間隔參數，A和B均為中間參數，λ為正則化系數，η為學習率，t為當前幀的索引，且t＝{1,1+N,1+2N,…}，Y為高斯標簽的傅里葉變換結果，⊙為基本積，為t時刻的第i層卷積特征，Xt為t時刻的手工特征，為共軛運算，T為每一幀的索引，且每N幀中N個相關濾波模板的傅里葉變換結果和的值分別相等。進一步地，間隔參數N的值為5。本專利技術的有益效果為：采取整合卷積特征和手工特征的方式提升了視覺跟蹤的精確度和成功率，在HCF的基礎上提升了跟蹤器的運行速度，采用設置間隔參數的方式，每N幀進行一次模型更新，在一定程度上避免了模型漂移，同時還保證了運行速度和跟蹤準確度。附圖說明圖1為本專利技術的方法流程圖；圖2為本專利技術的整合效果圖；圖3為本專利技術的成功率對比圖；圖4為本專利技術的精確率對比圖。具體實施方式下面對本專利技術的具體實施方式進行描述，以便于本
的技術人員理解本專利技術，但應該清楚，本專利技術不限于具體實施方式的范圍，對本
的普通技術人員來講，只要各種變化在所附的權利要求限定和確定的本專利技術的精神和范圍內，這些變化是顯而易見的，一切利用本專利技術構思的專利技術創造均在保護之列。如圖1所示，該基于卷積特征和手工特征整合的視覺跟蹤方法包括以下步驟：S1、通過VGG19提取目標圖像的深度特征，并采用conv3-4圖層、conv4-4圖層和conv5-4圖層分別作為目標圖像的三層卷積特征；S2、通過計算目標圖像局部區域的梯度方向的直方圖，得到HOG特征；通過映射方法將目標圖像的RGB空間轉換為11維顏色名稱空間，得到CN特征；提取目標圖像的灰度特征；S3、將HOG特征、CN特征和灰度特征融合成一層手工特征；S4、獲取當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果；S5、基于相關濾波模板的算法，通過當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果得到目標圖像的目標估計位置，完成視覺跟蹤；S6、判斷是否繼續進行視覺跟蹤，若是則進入步驟S7；否則結束；S7、獲取當前視覺圖像并設置間隔參數，通過間隔參數選取當前視覺圖像中的部分圖像幀，將選取的部分圖像幀作為新的目標圖像，通過新的目標圖像信息計算得到新的三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果，返回步驟S5。步驟S4的具體方法為：根據公式：得到當前三層卷積特征相關濾波模板的傅里葉變換結果Hd和一層手工特征相關濾波模板的傅里葉變換結果HM；其中，Y為高斯標簽的傅里葉變換結果，⊙為基本積，Xd為第d層卷積特征，Xi為第i本文檔來自技高網...

【技術保護點】
1.一種基于卷積特征和手工特征整合的視覺跟蹤方法，其特征在于，包括以下步驟：/nS1、通過VGG19提取目標圖像的深度特征，并采用conv3-4圖層、conv4-4圖層和conv5-4圖層分別作為目標圖像的三層卷積特征；/nS2、通過計算目標圖像局部區域的梯度方向的直方圖，得到HOG特征；通過映射方法將目標圖像的RGB空間轉換為11維顏色名稱空間，得到CN特征；提取目標圖像的灰度特征；/nS3、將HOG特征、CN特征和灰度特征融合成一層手工特征；/nS4、獲取當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果；/nS5、基于相關濾波模板的算法，通過當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果得到目標圖像的目標估計位置，完成視覺跟蹤；/nS6、判斷是否繼續進行視覺跟蹤，若是則進入步驟S7；否則結束；/nS7、獲取當前視覺圖像并設置間隔參數，通過間隔參數選取當前視覺圖像中的部分圖像幀，將選取的部分圖像幀作為新的目標圖像，通過新的目標圖像信息計算得到新的三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果，返回步驟S5。/n

【技術特征摘要】
1.一種基于卷積特征和手工特征整合的視覺跟蹤方法，其特征在于，包括以下步驟：
S1、通過VGG19提取目標圖像的深度特征，并采用conv3-4圖層、conv4-4圖層和conv5-4圖層分別作為目標圖像的三層卷積特征；
S2、通過計算目標圖像局部區域的梯度方向的直方圖，得到HOG特征；通過映射方法將目標圖像的RGB空間轉換為11維顏色名稱空間，得到CN特征；提取目標圖像的灰度特征；
S3、將HOG特征、CN特征和灰度特征融合成一層手工特征；
S4、獲取當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果；
S5、基于相關濾波模板的算法，通過當前三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果得到目標圖像的目標估計位置，完成視覺跟蹤；
S6、判斷是否繼續進行視覺跟蹤，若是則進入步驟S7；否則結束；
S7、獲取當前視覺圖像并設置間隔參數，通過間隔參數選取當前視覺圖像中的部分圖像幀，將選取的部分圖像幀作為新的目標圖像，通過新的目標圖像信息計算得到新的三層卷積特征的傅里葉變換結果和一層手工特征的傅里葉變換結果，返回步驟S5。


2.根據權利要求1所述的基于卷積特征和手工特征整合的視覺跟蹤方法，其特征在于，步驟S4的具體方法為：
根據公式：



得到當前三層卷積特征相關濾波模板的傅里葉變換結果Hd和一層手工特征相關濾波模板的傅里葉變換結果HM；其中，Y為高斯標簽的傅里葉變換結果，⊙為基本積，Xd為第d層卷積特征，Xi為第i層卷積特征，λ為正則化系數，XM為手工特征，為共軛運算。


3.根...

【專利技術屬性】
技術研發人員：熊興中，曾鋅，駱忠強，張琳，
申請(專利權)人：四川輕化工大學，
類型：發明
國別省市：四川;51