基于運動跟蹤制造技術

本申請公開了一種基于運動跟蹤

【技術實現步驟摘要】
基于運動跟蹤Transformer的衛星視頻多車輛在線跟蹤方法及裝置


[0001]本申請涉及對地觀測
，尤其涉及一種基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法及裝置
。

技術介紹

[0002]遙感圖像處理在對地觀測系統中起著重要的作用
。
衛星視頻作為一種新型的遙感影像數據，其研究在軍事
、
商業
、
工程等領域具有重要意義
。MOT
任務的目的是在視頻中找到目標的位置和跨幀的軌跡身份
。
目前流行的方法主要有兩大類
:
基于檢測的跟蹤
(DBT)
和聯合檢測與跟蹤
(JDT)。
[0003]基于
DBT
的
MOT
方法的跟蹤過程通常可以分為兩個步驟：
(1)
首先，使用現成的目標檢測器
(
如
Faster RCNN)
來獲取每幀中目標的檢測結果
。(2)
然后，使用單獨的數據關聯方法構建跨幀目標的身份
。
數據關聯方法的處理通常包含相似性度量和匹配這兩個關鍵點
。
目前流行的相似度度量方法有基于外觀特征的方法
、
基于交并比
(IOU)
的方法和基于運動相似度的方法等
。
使用最廣泛的匹配算法是匈牙利算法
。
由于每個步驟都是獨立的，因此可以為每個階段專門設計適當的方法
。
然而，基于
DBT
的方法利用幀間信息的能力有限
。
[0004]最近，基于
JDT
的方法出現了
。
其中一些方法通過在單個網絡中同時優化目標檢測和身份嵌入
/
重新識別
(ReID)
損失來完成
MOT
任務
。
這些方法通常使用基于錨點的檢測器
(
如
Mask R
?
CNN)
來完成目標定位，同時增加
ReID
損失來完成跨幀的身份鏈接
。CenterTrack
提出了一種基于點的聯合檢測與跟蹤框架
。CenterTrack
基于
CenterNet
檢測器，通過同時優化基于中心點的目標檢測損失
、
基于目標大小的邊界盒回歸損失和基于相鄰兩幀之間目標偏移量的損失來完成
MOT
任務
。
然而，上述方法通常在當前幀中運行，考慮到檢測器可能在后續幀中錯過檢測，因此提出了
TraDeS。TraDeS
基于匹配代價估計跟蹤目標的偏移距離，通過前向傳播提取目標的特征，提高最后一幀對當前目標的檢測
。TGraM
通過基于圖的結構改進了
TraDeS。
這些方法具有一定的利用幀間信息的能力
。
[0005]在衛星視頻中，當目標為車輛時，由于高空視場的原因，目標經常被高架橋等背景物體遮擋
。
現有的
MOT
跟蹤器通常產生跳躍式軌跡
。

技術實現思路

[0006]本申請實施例提供一種基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法及裝置，提出了一種利用短期記憶信息預測被遮擋目標位置的跟蹤方法，引入軌跡預測頭，生成預測軌跡
。
在跟蹤過程中，目標檢測頭和軌跡預測頭分別同時生成目標查詢和軌跡查詢
。
軌跡查詢將補充目標查詢中被遮擋的對象
。
提高衛星視頻對車輛的跟蹤效果
。
[0007]本申請實施例提供一種基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法，其特征在于，包括：獲取包含多個不同身份的目標的遙感視頻序列；
利用
CNN
骨干網絡提取所述遙感視頻序列的特征信息；利用
Transformer
編碼器的自注意模塊對所提取的特征信息進行編碼；在解碼器，將在先的三個跟蹤查詢結果分別輸入所述解碼器的三個順序注意模塊，以學習各目標的軌跡，以及，將三個順序注意模塊的輸出和編碼后的特征輸入所述解碼器的另一個注意模塊，以完成對連續查詢目標的解碼；通過兩個基于
FFN
的輸出頭映射解碼器輸出，生成每個可見或遮擋目標的跟蹤查詢結果，所述跟蹤查詢結果包括目標的邊界框
、
類別和
ID
的預測，其中兩個基于
FFN
的輸出頭分別用以基于三個順序注意模塊形成的輸出來執行軌跡查詢
、
生成軌跡查詢結果，和，基于另一個注意模塊形成的輸出來執行目標查詢
、
生成目標查詢結果，融合所述軌跡查詢結果和所述目標查詢結果即為所述跟蹤查詢結果
。
[0008]可選的，所述衛星視頻多車輛在線跟蹤方法的網絡框架包括順序設置的
CNN
骨干網絡，
Transformer
編碼器，解碼器以及兩個基于
FFN
的輸出頭；其中所述解碼器包括四個串聯設置的注意模塊，其中前三個注意模塊作為所述解碼器的三個順序注意模塊，后一個作為所述解碼器的另一個注意模塊，兩個基于
FFN
的輸出頭分別設置于三個順序注意模塊的輸出和所述另一個注意模塊的輸出
。
[0009]可選的，所述解碼器的三個順序注意模塊的輸入具體為三個在先相鄰時刻的三個跟蹤查詢結果
。
[0010]可選的，所述生成每個可見或遮擋目標的跟蹤查詢結果具體包括：在所述軌跡查詢結果與所述目標查詢結果一致的情況下，則最終輸出的跟蹤查詢結果與所述目標查詢結果相同；在所述軌跡查詢結果與所述目標查詢結果不一致的情況下：若存在新目標，則為新目標分配新的標識，并將其添加到跟蹤查詢結果中；若在所述目標查詢結果中存在丟失的對象，而在所述軌跡查詢結果中仍生成相應的邊界框的情況下，則在最終輸出的跟蹤查詢結果中補充缺失目標的邊界框；若連續多個相鄰時刻軌跡查詢結果無法檢測到相應的目標，則將相應的目標作為視線外目標，在最終的跟蹤查詢結果中刪除視線外目標的邊界框
。
[0011]可選的，通過如下方式完成網絡訓練：為兩個基于
FFN
的輸出頭分別設置對應的損失函數，檢測損失和預測損失，其中：檢測損失定義為，當匹配的輸出查詢時，即為每個查詢的邊界框和分類損失之和，其中，
[0012]其中， 是預測的類，是預測的邊界框， 表示第
i
個目標在跟蹤過程中檢測到的邊界框， 表示在
DETR
中預測框與地面真值之間的邊界框回歸損失， 表示第
i
個查詢的邊界框和分類損失之和，表示第<本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.
一種基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法，其特征在于，包括：獲取包含多個不同身份的目標的遙感視頻序列；利用
CNN
骨干網絡提取所述遙感視頻序列的特征信息；利用
Transformer
編碼器的自注意模塊對所提取的特征信息進行編碼；在解碼器，將在先的三個跟蹤查詢結果分別輸入所述解碼器的三個順序注意模塊，以學習各目標的軌跡，以及，將三個順序注意模塊的輸出和編碼后的特征輸入所述解碼器的另一個注意模塊，以完成對連續查詢目標的解碼；通過兩個基于
FFN
的輸出頭映射解碼器輸出，生成每個可見或遮擋目標的跟蹤查詢結果，所述跟蹤查詢結果包括目標的邊界框
、
類別和
ID
的預測，其中兩個基于
FFN
的輸出頭分別用以基于三個順序注意模塊形成的輸出來執行軌跡查詢
、
生成軌跡查詢結果，和，基于另一個注意模塊形成的輸出來執行目標查詢
、
生成目標查詢結果，融合所述軌跡查詢結果和所述目標查詢結果即為所述跟蹤查詢結果
。2.
如權利要求1所述的基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法，其特征在于，所述衛星視頻多車輛在線跟蹤方法的網絡框架包括順序設置的
CNN
骨干網絡，
Transformer
編碼器，解碼器以及兩個基于
FFN
的輸出頭；其中所述解碼器包括四個串聯設置的注意模塊，前三個注意模塊作為所述解碼器的三個順序注意模塊，后一個作為所述解碼器的另一個注意模塊，兩個基于
FFN
的輸出頭分別設置于三個順序注意模塊的輸出和所述另一個注意模塊的輸出
。3.
如權利要求2所述的基于運動跟蹤
Transformer
的衛星視頻多車輛在線跟蹤方法，其特征在于，所述解碼器的三個順序注意模塊的輸入具體為三個在先相鄰時刻的三個跟蹤查詢結果
。4.
如權利要求2所述的基于運動跟蹤
Transformer
...

【專利技術屬性】
技術研發人員：蘇芝娟，萬剛，賈玉童，劉佳，汪國平，武易天，叢佃偉，尹云霞，張賽，彭思卿，李矗，劉偉，李功，謝珠利，王振宇，鄧攀科，
申請(專利權)人：中國人民解放軍戰略支援部隊航天工程大學，
類型：發明
國別省市：