【技術實現步驟摘要】
本專利技術涉及多目標跟蹤，特別涉及一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法。
技術介紹
1、多目標跟蹤是計算機視覺領域的一個重要研究方向，其主要任務是在連續的視頻序列中實時、準確地檢測出多個目標的位置，然后賦予每個目標一個唯一的編號，連續的視頻幀中相同編號的目標連接形成軌跡。多目標跟蹤可以作為多種下游任務的基礎，包括但不限于視頻監控分析、自動駕駛、人機交互等，為這些任務提供目標位置、軌跡等信息，以用于更高級別的視覺理解和決策。
2、多目標跟蹤技術的應用非常廣泛，但要實現準確的多目標跟蹤卻面臨著許多挑戰。首先，目標的數量是不確定的，可能會隨著時間的推移而發生改變。其次，目標可能會因為目標間相互遮擋，背景干擾，光照變化等因素導致檢測結果不佳，進而影響跟蹤性能，最后，目標運動模式的復雜性，目標間的相似性也增加了多目標跟蹤的難度。
3、為了解決上述挑戰，研究者們提出將深度學習技術應用于多目標跟蹤中。深度學習技術的優點在于，它可以自動地從大量的數據中學習到有用的特征，而無需人工設計和選擇。這使得深度學習技術在處理多目標跟蹤問題時，能夠在一定程度上克服以上提到的挑戰。在基于深度學習的多目標跟蹤中，根據檢測和跟蹤階段是否獨立，將多目標跟蹤算法分為基于檢測的跟蹤和聯合檢測跟蹤兩大類。基于檢測的跟蹤首先使用檢測器對每一幅圖像中感興趣的目標用矩形框進行標注，然后跟蹤器使用檢測器的輸出結果再次提取目標的外觀、運動等特征，并計算和前面幀中已存在軌跡之間的相似度以進行檢測目標和軌跡的關聯。然而這種方法需要檢測器和跟蹤器兩個
技術實現思路
1、本專利技術目的是為了解決現有聯合檢測和重識別多目標跟蹤方法還存在檢測任務和重識別任務在訓練過程中優化方向存在沖突，從而導致的跟蹤精度低的問題，而提出了一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法。
2、一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，包括以下步驟：
3、步驟一、獲取待跟蹤視頻序列的第i幀圖像，并將圖像裁剪為預設尺寸，得到待檢測第i幀目標圖像；
4、步驟二、將待檢測第i幀目標圖像輸入到多目標跟蹤模型中，分別獲得待測第i幀目標圖像中第k'個目標檢測邊界框的中心點坐標目標檢測邊界框的寬和高目標檢測邊界框中心點坐標的偏移量和目標身份向量li(k')；
5、其中，k'∈[1,k']，k'是第i幀目標圖像中目標總數；
6、步驟三、利用步驟二獲得的獲取待檢測第i幀目標圖像中第k'個目標檢測邊界框位置：
7、
8、步驟四、判斷i是否等于1，若i＝1，則將待檢測第i幀目標圖像中的所有目標初始化為新的軌跡，并將目標的目標身份向量作為對應軌跡的特征，然后令i＝i+1，返回步驟一；若i≠1則執行步驟五；
9、步驟五、利用卡爾曼濾波算法和第i-1幀目標圖像中目標檢測邊界框位置獲取待檢測第i幀目標圖像中目標預測邊界框位置，利用待檢測第i幀目標圖像中目標預測邊界框位置、待檢測第i幀目標圖像中目標檢測邊界框位置、待檢測第i幀目標圖像中每個目標的目標身份向量和i-1幀已存在的表征不同軌跡的目標身份向量獲取待檢測第i幀目標圖像中目標和第i-1幀目標圖像中已存在軌跡的相似度矩陣d；
10、步驟六、將d作為匹配代價矩陣，利用匈牙利算法和匹配代價矩陣將待檢測第i幀目標圖像中的目標檢測邊界框和第i-1幀目標圖像中已存在軌跡進行第一次匹配，然后采用iou重疊閾值對第一次匹配中未匹配的待檢測第i幀目標圖像中的目標檢測邊界框和第i-1幀中每一個未匹配軌跡所對應的目標預測邊界框進行第二次匹配，最后將仍未匹配的軌跡設置未匹配標記，若已存在軌跡連續z幀未匹配則認為軌跡對應的目標消失，刪除當前已存在軌跡；
11、其中，z為正整數；
12、所述采用iou重疊閾值對第一次匹配中未匹配的待檢測第i幀目標圖像中的目標檢測邊界框和第i-1幀中每一個未匹配軌跡所對應的目標預測邊界框進行第二次匹配，具體為：
13、獲取第一次匹配中未匹配的待檢測第i幀目標圖像中的目標檢測邊界框與第i-1幀目標圖像中每一個未匹配軌跡所對應的目標預測邊界框的iou值c，若c大于iou重疊閾值則表示匹配成功，若c小于iou重疊閾值則表示未匹配成功；
14、步驟七、判斷i是否等于i，若i＝i則將步驟六匹配成功的軌跡輸出，若i＜i，則令i＝i+1，并返回步驟一；
15、其中，i是待跟蹤視頻序列中總幀數。
16、進一步地，所述步驟五中的利用待檢測第i幀目標圖像中目標預測邊界框位置、待檢測第i幀目標圖像中目標檢測邊界框位置、待檢測第i幀目標圖像中每個目標的目標身份向量和i-1幀已存在的表征不同軌跡的目標身份向量獲取待檢測第i幀目標圖像中目標和第i-1幀目標圖像中已存在軌跡的相似度矩陣d，具體為：
17、d＝λdr+(1-λ)dm
18、其中，dr是待檢測第i幀目標圖像中不同目標的身份向量與第i-1幀目標圖像中表征不同軌跡的目標身份向量的余弦距離組成的矩陣，λ是權重參數，dm是待檢測第i幀目標圖像中不同的目標預測邊界框位置與第i幀目標圖像中不同的目標檢測邊界框位置之間的馬氏距離組成的矩陣。
19、進一步地，所述步驟二中的多目標跟蹤模型通過以下方式獲得：
20、s1、對mot17數據集進行預處理，獲得預處理后的mot17數據集，具體為：
21、s101、對mot17數據集中的圖像進行預處理：
22、將mot17數據集中的每一幀目標圖像裁剪為統一尺寸，然后對目標圖像進行數據增強處理，獲得預處理后的目標圖像
23、所述數據增強處理包括：隨機旋轉、縮放和翻轉操作；
24、所述mot17數據集包括訓練集和測試集；
25、所述mot17數據集中包括：跟蹤目標視頻中的每一幀目標圖像以及圖像標簽；
26、mot17中圖像標簽包括：每一幀目標圖像中每個目標的身份id和每個目標檢測邊界框左上角坐標和右下角坐標；
27、s102、對mot17數據集中的圖像標簽進行預處理，獲得預處理后的圖像標簽：
28、本文檔來自技高網...
【技術保護點】
1.一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于所述方法具體過程為：
2.根據權利要求1所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述步驟五中的利用待檢測第i幀目標圖像中目標預測邊界框位置、待檢測第i幀目標圖像中目標檢測邊界框位置、待檢測第i幀目標圖像中每個目標的目標身份向量和i-1幀已存在的表征不同軌跡的目標身份向量獲取待檢測第i幀目標圖像中目標和第i-1幀目標圖像中已存在軌跡的相似度矩陣D，具體為：
3.根據權利要求2所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述步驟二中的多目標跟蹤模型通過以下方式獲得：
4.根據權利要求3所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述S2中的多目標跟蹤網絡包括：主干網絡模塊、特征解耦模塊、目標檢測分支模塊、重識別分支模塊；
5.根據權利要求4所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述通道解耦單元包括：最大池化層子單元、平均池化層子單元、第一卷積子單元Conv1、第二卷積子
6.根據權利要求5所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述通道解耦單元用于在通道維度上解耦特征F，獲得通道解耦后的將用于檢測分支的特征Fc_det和通道解耦后的將用于重識別分支的特征Fc_id，具體為：
7.根據權利要求6所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述空間解耦單元包括：第三卷積子單元Conv3、第四卷積子單元Conv4、第五卷積子單元、第六卷積子單元、第三元素求和子單元、第四元素求和子單元、第三殘差鏈接子單元、第四殘差鏈接子單元；
8.根據權利要求7所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述空間解耦單元用于對Fc_det和Fc_id分別在空間維度上進行解耦，獲得空間解耦后的將用于檢測分支的特征Fdet和空間解耦后的用于重識別分支的特征Fid，具體為：
9.根據權利要求8所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述檢測分支模塊和重識別分支模塊訓練時采用的總體損失函數Ltotal，具體為：
10.根據權利要求9所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述熱力圖值Mx'y'具體為：
...【技術特征摘要】
1.一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于所述方法具體過程為：
2.根據權利要求1所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述步驟五中的利用待檢測第i幀目標圖像中目標預測邊界框位置、待檢測第i幀目標圖像中目標檢測邊界框位置、待檢測第i幀目標圖像中每個目標的目標身份向量和i-1幀已存在的表征不同軌跡的目標身份向量獲取待檢測第i幀目標圖像中目標和第i-1幀目標圖像中已存在軌跡的相似度矩陣d，具體為：
3.根據權利要求2所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述步驟二中的多目標跟蹤模型通過以下方式獲得：
4.根據權利要求3所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述s2中的多目標跟蹤網絡包括：主干網絡模塊、特征解耦模塊、目標檢測分支模塊、重識別分支模塊；
5.根據權利要求4所述的一種基于特征解耦的聯合檢測和重識別多目標跟蹤方法，其特征在于：所述通道解耦單元包括：最大池化層子單元、平均池化層子單元、第一卷積子單元conv1、第二卷積子單元conv2、第一元素求和子單元、第二元素求和子單元、第一殘差鏈接子單元、第二殘差鏈接子單元；
<...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。