【技術實現步驟摘要】
本專利技術涉及一般的圖像數據處理或產生，具體涉及一種長短期目標記憶的多目標追蹤方法。
技術介紹
1、多目標追蹤方法旨在解決視頻序列中目標運動軌跡的預測問題，現存在的方法常采取檢測-追蹤的范例，首先通過檢測模型實現單幀圖片的目標定位，然后基于簡單的啟發式策略，如空間和外觀相似度，建立前后幀目標之間的關聯，從而實現目標軌跡的預測，盡管上述方法已經取得不錯的性能表現，但啟發式策略仍不足以對復雜的時序變化進行建模，如目標的不規則運檢索、目標的運動模糊以及目標之間的遮擋等。
2、因此，為提升多目標追蹤方法的通用性，解決不同場景下，多目標追蹤任務的時序建模問題，目標追蹤方法
迫切需要一種長短期目標記憶的多目標追蹤方法。
技術實現思路
1、本專利技術是為了解決多目標追蹤方法的通用性，提供一種長短期目標記憶的多目標追蹤方法，基于detr結構的啟發，首先拓展detr中query的物理概念為檢測query和追蹤query，輔以追蹤感知的標簽匹配策略，實現檢測和追蹤任務的解耦；其次嵌入記憶模塊，傳遞以及更新連續幀之間的標簽匹配信息，提高模型對于長短期目標的記憶能力，使得模型足以解決復雜的時序建模問題。
2、本專利技術提供一種長短期目標記憶的多目標追蹤方法，包括以下步驟：
3、s1、視頻序列中的圖片逐幀依次經過多目標追蹤模型的圖像預處理算法得到預處理后圖片：
4、圖像預處理為一個圖像處理流程，包括調整圖像的大小和歸一化，調整圖像的大小以適應模型對于輸入
5、s2、初始化，i=1；
6、s3、將預處理后圖片的第i幀輸入多目標追蹤模型的特征提取網絡得到多尺度的特征圖，將多尺度的特征圖融合位置信息和特征圖等級信息后輸入多目標追蹤模型的編碼器進行多尺度特征融合，然后進行置信度預測和回歸預測，query包括檢測query和追蹤query，通過追蹤感知的標簽匹配策略進行檢測query和追蹤query的標簽匹配并作為多目標追蹤模型的監督信息；
7、特征提取網絡旨在獲取圖像多尺寸的特征圖，進而融合紋理信息和語義信息；
8、s4、將檢測query和追蹤query輸入多目標追蹤模型的解碼器，解碼器進行檢測query與追蹤query之間，檢測query、追蹤query與不同等級特征圖之間的信息交互；
9、解碼器中還嵌入記憶模塊，記憶模塊通過置信度進入閾值和置信度退出閾值傳遞、更新連續幀之間的追蹤信息，輸出第i幀的追蹤結果、為下一幀預處理后圖片提供追蹤query信息；
10、s5、i=i+1，返回步驟s3，直至全部預處理后圖片目標追蹤完成，一種長短期目標記憶的多目標追蹤方法完成。
11、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，步驟s1中，圖像預處理算法將視頻序列中的圖片逐幀依次調整尺寸大小并進行歸一化；
12、步驟s3中，特征提取網絡為resnet50。
13、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，步驟s3中，編碼器由可變形卷積模塊組成。
14、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，步驟s3中，編碼器為deformable?detr的編碼器；
15、追蹤感知的標簽匹配策略包括一致性匹配策略和匈牙利匹配策略，一致性匹配策略在視頻序列中建立待追蹤目標之間的時序、語義和位置關系，匈牙利匹配策略建立檢測query與新出現目標之間的聯系；
16、記憶模塊用于加強追蹤信息關于內容的穩定性。
17、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，步驟s3中，一致性匹配的標簽匹配策略為：
18、；
19、其中，為第幀已匹配目標的檢測query所對應的預測信息；為第幀追蹤query的信息，為第幀追蹤query的信息，，為并集；
20、通過和傳遞以及更新追蹤信息；
21、當和第i幀標簽信息匹配且iou大于一致性匹配閾值時，則和第i幀預處理后圖片的標簽信息保持一致，進入步驟s4；
22、當和第i幀標簽信息不匹配，或者iou小于等于一致性匹配閾值時，第i幀新出現的標簽信息為，檢測query的預測信息和進行匈牙利匹配。
23、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，匈牙利匹配階段的方法為：
24、；
25、其中，為標簽轉移方式，為第幀檢測query的預測；為第幀新出現的標簽信息；為建立和之間的代價矩陣；
26、匈牙利匹配階段在搜索空間中找到最小成本的標簽轉移方式，匈牙利匹配完成后進入步驟s4；
27、一致性匹配閾值為0.5。
28、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，步驟s4中，記憶模塊利用置信度進入閾值從篩選出追蹤信息并分配目標id、匯總為。
29、記憶模塊利用置信度退出閾值和連續k幀條件的協同保留有追蹤價值的的子集合。
30、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，當追蹤query所對應的預測置信度大于或等于置信度進入閾值時，保留，分配目標id、匯總為。
31、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，當追蹤query所對應的預測置信度大于或等于置信度退出閾值時，將保留；
32、當不滿足連續k幀追蹤query所對應的預測置信度均小于置信度退出閾值時，且不滿足連續k幀都滿足上述條件時，則認為追蹤目標可能被遮擋，則保存，后續再追蹤；
33、當連續k幀的追蹤query所對應的預測置信度均小于置信度退出閾值時，且連續k幀都滿足上述條件時，則認為追蹤目標丟失，則刪除追蹤query，后續不再追蹤。
34、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，將置信度進入閾值、置信度退出閾值和連續k幀條件的協同篩選出的追蹤query作為記憶模塊網絡輸入；
35、記憶模塊包括依次連接的mha、ffn和add&norm，mha的輸出也同時輸入add&norm，記憶模塊輸出。
36、本專利技術所述的一種長短期目標記憶的多目標追蹤方法，作為優選方式，多目標追蹤模型的訓練集、驗證集和測試集為自然場景下多目標追蹤的數據集；驗證階段和測試階段采用相同網絡結構的記憶模塊；
37、解碼器為deformable?detr的解碼器，解碼器包括n個自注意力模塊和n個交叉注意力模塊；
38、多目標追蹤模型的損失函數為：
39、；
40、其中，為第幀圖片的目標數量；為追蹤損失，為檢測損失；和由兩部分組成：邊界框回歸損失和分類損失；
41、當利用訓練集、驗證集和測試集分別訓練、驗證和測試多目標追蹤模型，且驗證結果本文檔來自技高網...
【技術保護點】
1.一種長短期目標記憶的多目標追蹤方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟S1中，所述圖像預處理算法將視頻序列中的圖片逐幀依次調整尺寸大小并進行歸一化；
3.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟S3中，所述編碼器由可變形卷積模塊組成；
4.根據權利要求3所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：所述編碼器為Deformable?DETR的編碼器；
5.根據權利要求4所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：匈牙利匹配階段的方法為：
6.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟S4中，所述記憶模塊利用置信度進入閾值從篩選出追蹤信息并分配目標ID、匯總為；
7.根據權利要求6所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：當追蹤query所對應的預測置信度大于或等于所述置信度進入閾值時，保留，分配目標ID、匯總為。
8.根據權利要求6所
9.根據權利要求8所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：將置信度進入閾值、置信度退出閾值和連續K幀條件的協同篩選出的追蹤query作為記憶模塊輸入；
10.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：所述多目標追蹤模型的訓練集、驗證集和測試集為自然場景下多目標追蹤的數據集；驗證階段和測試階段采用相同網絡結構的所述記憶模塊；
...【技術特征摘要】
1.一種長短期目標記憶的多目標追蹤方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟s1中，所述圖像預處理算法將視頻序列中的圖片逐幀依次調整尺寸大小并進行歸一化；
3.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟s3中，所述編碼器由可變形卷積模塊組成；
4.根據權利要求3所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：所述編碼器為deformable?detr的編碼器；
5.根據權利要求4所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：匈牙利匹配階段的方法為：
6.根據權利要求1所述的一種長短期目標記憶的多目標追蹤方法，其特征在于：步驟s4中，所述記憶模塊利用置信度進入閾值從篩選出追蹤信...
【專利技術屬性】
技術研發人員：李柏蕤，連荷清，武靜威，
申請(專利權)人：北京小蠅科技有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。