基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備技術

本發明專利技術提供一種基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備，所述基于目標檢測與二階段匹配的目標跟蹤方法包括：獲取包含跟蹤對象的圖像數據，形成數據集；根據所述數據集訓練得到目標檢測模型；所述目標檢測模型具有最優模型權重；由所述目標檢測模型輸出的邊界框參數確定追蹤模型，對所述追蹤模型進行二階段匹配框架優化、相似度評分標準優化和匹配算法優化；結合所述目標檢測模型和優化后的追蹤模型，生成多目標追蹤模型；對所述多目標追蹤模型進行評估與部署優化。本發明專利技術提供了一種基于目標檢測與二階段匹配的實時多目標跟蹤方法，利用二階段匹配，避免了由遮擋等因素造成置信讀降低的邊界框被舍棄而導致目標跟丟。跟丟。跟丟。

【技術實現步驟摘要】
基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備


[0001]本專利技術屬于計算機視覺的
，涉及一種目標跟蹤方法，特別是涉及一種基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備。

技術介紹

[0002]目前，多目標跟蹤是計算機視覺領域中的重要研究熱點，在無人機航拍、衛星影像分析等應用場合中有重要實踐意義。當前采用的主要追蹤模型如DeepSORT、FairMOT 等，這類方法大多借助重識別特征評分、采用匈牙利算法完成軌跡與新一幀目標匹配。計算重識別特征會顯著提升耗時，匈牙利算法的時間復雜度會隨著相似度矩陣的維數增高而顯著提升，使得算法難以在前端硬件設備上完成實時高效推理。
[0003]因此，本專利技術提供一種基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備，以解決現有技術的上述不足與缺陷。

技術實現思路

[0004]鑒于以上所述現有技術的缺點，本專利技術的目的在于提供一種基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備，通過一種以IOU為主導的綜合相似度評分指標，取代重識別與單純IOU相似度評分，實現有效匹配與實時性兼顧；采用JV(Jonker
?
Volgenant Algorithm) 算法替代匈牙利算法，針對大型稀疏矩陣有顯著優勢，極大壓縮匹配環節的執行之間，提高追蹤算法運行速度，增強實時性。
[0005]為實現上述目的及其他相關目的，本專利技術一方面提供一種基于目標檢測與二階段匹配的目標跟蹤方法，所述基于目標檢測與二階段匹配的目標跟蹤方法包括：獲取包含跟蹤對象的圖像數據，形成數據集；根據所述數據集訓練得到目標檢測模型；所述目標檢測模型具有最優模型權重；由所述目標檢測模型輸出的邊界框參數確定追蹤模型，對所述追蹤模型進行二階段匹配框架優化、相似度評分標準優化和匹配算法優化；結合所述目標檢測模型和優化后的追蹤模型，生成多目標追蹤模型；對所述多目標追蹤模型進行評估與部署優化。
[0006]于本專利技術的一實施例中，所述獲取包含跟蹤對象的圖像數據，形成數據集的步驟，包括：獲取包含跟蹤對象類別且體現跟蹤對象顯著特征的、背景簡單、遮擋適量的圖片或視頻數據，以及部分符合應用現場實際環境特點的圖片或視頻數據，按照預設比例進行訓練集與測試集的劃分。
[0007]于本專利技術的一實施例中，所述根據所述數據集訓練得到目標檢測模型的步驟，包括：在模型選取時，采用輸入與使用環境尺寸接近的圖片的單張推理時間在硬件設備上達到實時運行要求的目標檢測模型；訓練時，始于公開數據集上預訓練的模型權重，在所述數據集上進行訓練、測試與驗證，得到所述最優模型權重。
[0008]于本專利技術的一實施例中，所述由所述目標檢測模型輸出的邊界框參數確定追蹤模型，對所述追蹤模型進行二階段匹配框架優化、相似度評分標準優化和匹配算法優化的步
驟，包括：利用所述邊界框參數，將邊界框根據置信度水平分為三個等級，對三個等級邊界框內的目標進行初次匹配與二次匹配；將所述邊界框參數轉換為邊界坐標信息。根據所述邊界坐標信息進行重合度評分和面積相似項評分的計算；根據所述重合度評分和所述面積相似項評分進行綜合評分；將前一幀軌跡集與當前幀檢測的目標集中的全體邊界框對兩兩計算綜合評分，得到相似度矩陣；根據所述相似度矩陣計算損失矩陣，通過損失矩陣的最優匹配分析得到所述前一幀軌跡集中軌跡與當前幀檢測目標集中目標之間相似度評分總體最大化的匹配方式。
[0009]于本專利技術的一實施例中，所述對三個等級邊界框內的目標進行初次匹配與二次匹配的步驟，包括：初次匹配時，最高置信度等級邊界框的目標優先與前一幀軌跡集進行匹配；初次匹配余下的目標中，為置信度達到采納閾值的創建軌跡；二次匹配時，初次匹配余下目標中創建的軌跡與中等置信度等級邊界框的目標進行二次匹配；二次匹配余下的目標連同最低置信度等級邊界框的目標一同舍棄；二次匹配余下的軌跡標記為跟丟，與其他軌跡集共同參與下一幀初次匹配；標記為跟丟的軌跡若初次匹配未成功則不參與二次匹配；對達到時間閾值未能匹配到目標的跟丟軌跡進行舍棄。
[0010]于本專利技術的一實施例中，所述結合所述目標檢測模型和優化后的追蹤模型，生成多目標追蹤模型的步驟，包括：計幀器歸零；分配在跟軌跡ID信息與位置信息的存儲空間、分配跟丟軌跡ID信息與位置信息的存儲空間、分配存儲追蹤過程記錄信息的存儲空間、分配模型運行必要的內存。
[0011]于本專利技術的一實施例中，所述對所述多目標追蹤模型進行評估與部署優化的步驟，包括：對不同的多目標追蹤模型在公開多目標追蹤數據集上進行測試，對檢測性能及跟蹤性能指標進行評估，得到最優的多目標追蹤模型；將不同的多目標追蹤模型部署到可以運行多目標追蹤模型的硬件設備上，對應用環境測試視頻流進行推理，完成所述多目標追蹤模型的優化。
[0012]于本專利技術的一實施例中，所述多目標追蹤模型的優化包括：優化檢測器的推理速度，根據模型特性曲線在保持輸出有效性的基礎上降低輸入視頻畫幅尺寸，提高推理速度；超參數調試，包括：檢測器置信度閾值，其中，置信度閾值包括：納新閾值、初次匹配閾值及二次匹配閾值；優化綜合評分各項系數，各項系數包括：IOU項系數、面積相似性項系數；相似度矩陣單項最低相似度閾值。
[0013]為實現上述目的及其他相關目的，本專利技術另一方面提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現所述的基于目標檢測與二階段匹配的目標跟蹤方法。
[0014]為實現上述目的及其他相關目的，本專利技術最后一方面提供一種電子設備，包括：處理器及存儲器；所述存儲器用于存儲計算機程序，所述處理器用于執行所述存儲器存儲的計算機程序，以使所述電子設備執行所述的基于目標檢測與二階段匹配的目標跟蹤方法。
[0015]如上所述，本專利技術所述的基于目標檢測與二階段匹配的目標跟蹤方法、介質及設備，具有以下有益效果：
[0016]本專利技術提供了一種基于目標檢測與二階段匹配框架的實時多目標檢測方法，在有效追蹤視頻中多個感興趣目標的同時兼顧實時性。此方法有益效果具體包括：
[0017]1)通過二階段匹配框架避免了復雜環境下檢測置信度低帶來的匹配遺漏。二階段
匹配的意義在于針對性解決復雜條件下的遮擋、重合等因素帶來的檢測置信度降低問題，相比于常規一階段匹配，采取分階段的等級化匹配，不僅利用了檢測器輸出的低置信度結果，克服了追蹤對象在畫面中因無法完整和干擾因素分割而造成的置信度降低，同時通過等級化的匹配充分杜絕因檢測器誤判而產生的假陽性目標進入追蹤目標集合；通過追蹤算法的結構性優化以微量的資源占用提高率實現顯著指標提高。本專利技術框架與常規框架比較結果如表1所示，將納新閾值、初次匹配閾值、二次匹配閾值分別為0.8、0.7、0.1的二階段匹配框架，以及三項閾值分別為0.8、0.7、0.7的保守一階段匹配模型，以及三項閾值分別為0.8、0.1、0.1低門限的一階段匹配模型相比，本專利技術所提出的二階段匹配框架在假陽性目標數量、假陰性目標數量、追蹤時間上達到了兩類一階段匹配模型的均衡；但假陽性數量上趨近本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于目標檢測與二階段匹配的目標跟蹤方法，其特征在于，所述基于目標檢測與二階段匹配的目標跟蹤方法包括：獲取包含跟蹤對象的圖像數據，形成數據集；根據所述數據集訓練得到目標檢測模型；所述目標檢測模型具有最優模型權重；由所述目標檢測模型輸出的邊界框參數確定追蹤模型，對所述追蹤模型進行二階段匹配框架優化、相似度評分標準優化和匹配算法優化；結合所述目標檢測模型和優化后的追蹤模型，生成多目標追蹤模型；對所述多目標追蹤模型進行評估與部署優化。2.根據權利要求1所述的基于目標檢測與二階段匹配的目標跟蹤方法，其特征在于，所述獲取包含跟蹤對象的圖像數據，形成數據集的步驟，包括：獲取包含跟蹤對象類別且體現跟蹤對象顯著特征的、背景簡單、遮擋適量的圖片或視頻數據，以及部分符合應用現場實際環境特點的圖片或視頻數據，按照預設比例進行訓練集與測試集的劃分。3.根據權利要求1所述的基于目標檢測與二階段匹配的目標跟蹤方法，其特征在于，所述根據所述數據集訓練得到目標檢測模型的步驟，包括：在模型選取時，采用輸入與使用環境尺寸接近的圖片的單張推理時間在硬件設備上達到實時運行要求的目標檢測模型；訓練時，始于公開數據集上預訓練的模型權重，在所述數據集上進行訓練、測試與驗證，得到所述最優模型權重。4.根據權利要求1所述的基于目標檢測與二階段匹配的目標跟蹤方法，其特征在于，所述由所述目標檢測模型輸出的邊界框參數確定追蹤模型，對所述追蹤模型進行二階段匹配框架優化、相似度評分標準優化和匹配算法優化的步驟，包括：利用所述邊界框參數，將邊界框根據置信度水平分為三個等級，對三個等級邊界框內的目標進行初次匹配與二次匹配；將所述邊界框參數轉換為邊界坐標信息。根據所述邊界坐標信息進行重合度評分和面積相似項評分的計算；根據所述重合度評分和所述面積相似項評分進行綜合評分；將前一幀軌跡集與當前幀檢測的目標集中的全體邊界框對兩兩計算綜合評分，得到相似度矩陣；根據所述相似度矩陣計算損失矩陣，通過損失矩陣的最優匹配分析得到所述前一幀軌跡集中軌跡與當前幀檢測目標集中目標之間相似度評分總體最大化的匹配方式。5.根據權利要求4所述的基于目標檢測與二階段匹配的目標跟蹤方法，其特征在于，所述對三個等級邊界框內的目標進行初次匹配與二次匹配的步驟，包括：初次...

【專利技術屬性】
技術研發人員：陳霄翔，劉晶晶，
申請(專利權)人：上海復瞰科技有限公司，
類型：發明
國別省市：