【技術實現步驟摘要】
一種長時目標跟蹤方法、系統及存儲介質
[0001]本專利技術涉及目標跟蹤
，尤其涉及一種長時目標跟蹤方法、系統及存儲介質。
技術介紹
[0002]當前長時目標跟蹤技術必須面對真實場景中的光照變化、目標消失再出現、劇烈的尺度變化等問題。為解決上述問題，基于跟蹤與檢測結合的長時跟蹤方法主要是通過跟蹤器進行短時跟蹤， 檢測器進行目標丟失時重捕獲。
[0003]這種基于跟蹤與檢測結合的長時跟蹤方法采用可見光圖像作為唯一輸入，其思想主要分為三個階段，第一個階段，跟蹤器利用當前幀目標局部信息預測下一幀的目標狀態，第二階段是檢測器利用當前幀全局信息預測下一幀的目標狀態，第三個階段是綜合跟蹤器和檢測器的預測結果決策出下一幀的最優目標狀態。
[0004]在數據的使用方面，現有的長時目標跟蹤方法可以分為兩類，一類是僅使用一種模態數據的跟蹤方法，比如基于可見光的跟蹤方法和基于熱紅外的跟蹤方法；另一類是使用多種模態數據的跟蹤方法，比如基于可見光
?
熱紅外的跟蹤方法。第一類方法由于使用的數據類型有限，導致其應用場景受到很大限制；第二類方法使用了多種模態的數據，雖然可以應對更復雜的場景，但是輸入數據的增加導致了計算量的增加。
[0005]
技術介紹
的缺陷如下：數據使用方面：現有的基于跟蹤與檢測結合的長時跟蹤算法僅使用可見光圖像作為輸入，因可見光圖像的成像特性，導致該類算法在夜晚、雨霧天等場景中難以取得滿意的跟蹤效果。
[0006]現有的雙光特征融合的不足：現有的雙光特征融合方法主要分為三類，...
【技術保護點】
【技術特征摘要】
1.一種長時目標跟蹤方法，其特征在于，包括如下步驟：數據讀取步驟：從可見光和熱紅外攝像頭讀取可見光圖像和熱紅外圖像；圖像特征對齊步驟：將可見光圖像和熱紅外圖像輸入到一個離線訓練好的特征對齊模塊中，經過該特征對齊模塊的處理使得可見光圖像和熱紅外圖像在特征層面上是完全對齊的，將可見光圖像和熱紅外圖像稱為雙光圖像；特征融合步驟：將對齊后的雙光圖像特征輸入到一個離線訓練好的特征融合模塊中，在輕量特征融合模塊中對雙光圖像特征進行空間和語義層級的融合；多跟蹤器協同預測步驟：多跟蹤器協同模型基于融合后的特征和當前幀目標狀態預測下一幀中目標的狀態；單光級聯檢測步驟：對可見光圖像通過滑動窗口生成多個候選目標圖像塊，將候選目標圖像塊依次經過方差檢測器、集合檢測器、最近鄰檢測器的處理后預測得到下一幀的目標狀態；決策步驟：將多跟蹤器協同模型的輸出和單光級聯檢測步驟輸出的進行置信度比較，將其中置信度最高的作為最終的長時目標跟蹤的結果進行輸出。2.根據權利要求1所述的長時目標跟蹤方法，其特征在于，在所述決策步驟中，依據式(5
?
1)選擇出最優的目標狀態作為最終的輸出，
????????
(5
?
1)上式中代表相關相似度，代表初始幀的目標狀態，為或。3.根據權利要求1所述的長時目標跟蹤方法，其特征在于，在所述圖像特征對齊步驟中，將可見光圖像和熱紅外圖像輸入到一個離線訓練好的特征對齊模塊中，輸入的可見光圖像特征和熱紅外圖像特征分別為和，將可見光圖像特征作為參考特征，通過預測的偏移量來調整熱紅外圖像特征，調整后的熱紅外圖像特征為，
?????????????????????????????????
(5
?
2)
????????????????????????????????????
(5
?
3)表示將可見光圖像特征與熱紅外圖像特征沿通道維度進行拼接， 將拼接的特征通過卷積操作預測出可見光與熱紅外特征點之間的偏移量， 操作根據學習出來的偏移量對熱紅外圖像特征進行調整，且 采用可形變卷積實現。4.根據權利要求3所述的長時目標跟蹤方法，其特征在于，在所述特征融合步驟，，R為實數域，代表其為C
×
H
×
W維的實數張量，進行形狀調整后得到四個嵌入特征，代表大小都為HW
×
C的張量，之后對和 、
和分別進行矩陣乘操作得到模態內的跨通道相似矩陣，
????????????????????????
(5
?
5)
?????????????????????????
(5
?
6)將可見光的跨通道相似矩陣與熱紅外的跨通道相似矩陣進行矩陣點乘操作，從而得到模態共享的語義模式傳播矩陣，
?????????????
(5
?
7)代表過濾操作，將小于0的值設置為0，為歸一化操作；將語義模式傳播矩陣分別與輸入特征進行矩陣乘操作，從而得到在可見光和熱紅外圖像中模態共享的語義信息，
??????????????????????????????????
(5
?
8)
??????????????
(5
?
9)可見光和熱紅外圖像中模態共享的空間信息，
???????????????????????????????????
(5
?
10)在式（5
?
10）中，代表模態共享的空間模式傳播矩陣，
???
(5
?
11)使用逐元素相加將模態共享的語義信息和空間特征信息與原特征進行融合，
??????????????????????
(5
?
12)
???????????????????????
(5
?
13)是可調整的超參數。5.根據權利要求4所述的長時目標跟蹤方法，其特征在于，在所述多跟蹤器協同模型中，采用多個傳統跟蹤器與一個深度學習類跟蹤器進行協同跟蹤，對于每一幀圖像，n個傳統跟蹤器的預測結果為，深度學習類跟蹤器的預測結果為，根據式(5
?
14)確定最終的預測結果，
????????????????????
(5
?
14)在每隔m幀執行一次深度學習類跟蹤器，中間幀只執行傳統跟蹤器，此時最終的預測結果由下式確定，
????????????????????????
(5
?
15)。6.根據權利要求1所述的長時目標跟蹤方法，其特征在于，
在方差檢測器中，對個圖像片的檢測任務，采用dynamic策略將檢測任務劃分成大小為的任務塊，并采用n個線程并行執行每個任務塊，其中初始化線程的數量按照下式的策略確定，
?????????????????????????????????????
(5
?
16)在集合檢測器中，對個圖像片的檢測任務，將圖像片加載到GPU內存中，將GPU中的線程組織為個線程塊，在GPU中，線程塊中的每個線程負責計算該圖像片上一對特征點的像素比較值，每個線程塊依據該比較值完成對一個圖像片的檢測；
???????????????????????????????????????????
(5
?
17)
????????????????????????????????????????????
(5
?
18)在最近鄰檢測器中，對圖像片計算其與先前幀中的正負樣本的相似度值，依據該相似度值對其進行檢測分類，假設先前的正樣本和負樣本數量分別為和，對于個大小的圖像片的檢測任務，將這些圖像片和正負樣本加載到GPU內存中，將GPU中的線程組織為個大小為的線程塊；在GPU中，線程塊中的每個線程負責計算一個圖像片與正樣本或負樣本上對應像素點的相似度值，每個線程塊依據該相似度值完成對一個圖像片的檢測。7.一種長時目標跟蹤系統，其特征在于，包括數據讀取模塊、雙光融合跟蹤模塊、單光級聯檢測模塊和決策模塊，所述雙光融合跟蹤模塊包括圖像特征對齊模塊、特征融合模塊、多跟蹤器協同模型；所述單光級聯檢測模塊包括方差檢測器、集合...
【專利技術屬性】
技術研發人員：何震宇，吳述坤，田超，楊超，
申請(專利權)人：哈爾濱工業大學深圳哈爾濱工業大學深圳科技創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。