【技術實現步驟摘要】
本專利技術涉及視覺目標跟蹤，具體涉及面向開放詞匯場景的多目標跟蹤方法、裝置及介質。
技術介紹
1、隨著深度學習的快速發展，這一技術已被廣泛應用于解決各種計算機視覺任務，包括分類、檢測、跟蹤等。在多目標跟蹤領域中，基于檢測的跟蹤方法已成為主流，這種方法通過高精度的檢測算法識別出圖像中的所有感興趣對象。一旦識別出這些對象，系統便使用數據關聯技術將當前幀中的對象與前一幀中檢測到的對象進行匹配，以實現對每個目標的連續跟蹤。此方法的核心優勢在于其能夠準確地從復雜的視覺數據中快速提取和更新目標信息，確保跟蹤的連貫性和準確性。
2、經典的sort算法是此領域的代表之一，它提供了一個簡單而高效的在線多目標跟蹤框架。sort算法因其運行速度快和算法簡潔而廣泛應用于多種實時監控系統中。然而，盡管該領域技術已取得顯著進展，但現有的跟蹤方法通常只能有效處理預定義的對象類別，如行人或車輛。這種依賴于預先定義的類別限制了算法在面對現實世界中不斷變化和多樣化的目標時的適應性和靈活性。
3、在目標檢測領域，還有些研究試圖通過訓練圖像-文本對來獲取廣泛的詞匯概念。通過結合圖像和文本的訓練對，這些方法不僅學習已知類別的特征，還能夠通過語義理解拓展到未見過的類別。這種訓練策略使得檢測系統能在極少的或沒有先驗類別信息的情況下，識別新的對象類別，為實現真正的開放詞匯目標跟蹤打下基礎。
4、開放詞匯多目標跟蹤作為目前新興的領域，現有的唯一的方法僅依賴于靜態的外觀信息，嚴重缺乏對不同領域變化的適應性，這在多變的跟蹤環境中尤為明顯。例如，在
5、基于此，本專利技術設計了面向開放詞匯場景的多目標跟蹤方法、裝置及介質以解決上述問題。
技術實現思路
1、針對現有技術所存在的上述缺點，本專利技術提供了面向開放詞匯場景的多目標跟蹤方法、裝置及介質。通過應用自適應上下文歸一化方法、聯合運動模型和外觀模型構建目標跟蹤模型，以及實施層級自適應特征更新策略，增強跟蹤模型對動態場景中未知目標的跟蹤能力。本專利技術通過精確調整輸入特征的統計屬性，結合運動和外觀信息的聯合分析，從而生成適應性更強的目標跟蹤模型。這種方法能夠有效地應對目標的快速移動和臨時遮擋，適用于各種復雜環境中的有效跟蹤。本專利技術顯著提升了在開放詞匯多目標跟蹤場景下的準確性和穩定性，能夠準確地跟蹤各種未定義類別的目標。
2、為實現以上目的，本專利技術通過以下技術方案予以實現：
3、面向開放詞匯場景的多目標跟蹤方法，包括以下步驟：
4、步驟一、在訓練階段，應用自適應上下文歸一化方法，先從輸入圖像中提取特征，得到每個通道的特征圖，再計算每個通道的特征圖的統計特性，然后根據統計特性生成調整系數并應用于特征圖，進而調整特征圖的尺度和偏移；
5、步驟二、在推理階段，通過圖像頭提取圖像的視覺特征加上文本頭提取文本的語義特征后融合運動模型和外觀模型，使用外觀特征和運動特征構建聯合成本矩陣，獲得目標跟蹤模型進行目標匹配；
6、聯合成本矩陣采用公式（6）進行計算：
7、???公式（6）
8、其中，cj（d，t）是聯合成本矩陣，cm（d，t）代表基于運動特征的d次檢測和t次跟蹤之間的相似性度量；cappr（d，t）代表基于外觀特征的d次檢測和t次跟蹤之間的相似性度量；
9、步驟三、在跟蹤階段，采用層級自適應特征更新策略進行特征更新，適應性調整目標跟蹤模型；層級自適應特征更新策略通過分析目標的狀態，并依據目標的實時狀態來動態調整目標的特征表示。
10、更進一步的，步驟一中，對于每個通道的特征圖，采用公式（1）和公式（2）計算其統計特性μc和σμ：
11、??????????????公式（1）
12、?????????????????公式（2）
13、其中，h和w分別代表特征圖的高度和寬度，fc，h，w是在通道c、高度h和寬度w處的特征向量，μc表示通道c上特征圖的平均向量；σμ定義了所有通道平均值的標準差，可以用來衡量各通道間平均值的變異性。
14、更進一步的，步驟一中，采用公式（3）至公式（5）生成調整系數γ和δ：
15、?????????公式（3）
16、????????公式（4）
17、????公式（5）
18、其中，mean_scale是用來控制注入噪聲幅度的歸一化標準差，k是一個常數系數，μγ和σγ2分別代表γ的均值和方差，而μδ和σδ2對應于δ的均值和方差。
19、更進一步的，步驟三中，檢測結果被分配到軌跡，將軌跡分類為兩種狀態：休眠和活躍；當給定幀中沒有新的檢測結果添加到軌跡時，該軌跡被設置為休眠狀態；否則，則保持在活躍狀態；如果軌跡在休眠狀態下停留超過預定的幀數，則被丟棄。
20、更進一步的，步驟三中，采用公式（7）進行休眠狀態下的軌跡特征更新：
21、?????公式（7）
22、其中，fd是更新后的特征向量，fnew是當前幀檢測到的特征向量，fpre是軌跡上最新的特征向量，α是控制更新比例的一個系數。
23、更進一步的，更新后的特征向量fd被追加到休眠狀態軌跡的特征集中。
24、更進一步的，在將軌跡轉換回活躍狀態前，采用公式（8）計算新的檢測特征的嵌入向量與軌跡中所有先前的嵌入向量的平均距離，作為休眠狀態的成本：
25、????????????????公式（8）
26、其中，fcurr代表新的檢測特征的嵌入向量，fdn表示軌跡中所有先前的嵌入向量，n是這些向量的索引，n代表軌跡中嵌入向量的數量。
27、更進一步的，步驟三中，對于活躍狀態的軌跡，采用公式（9）進行活躍狀態下軌跡的特征更新：
28、?公式（9）
29、其中，β是控制更新比例的另一個系數，sobj是由當前對象的檢測置信度與當前幀所有檢測置信度的比例確定的得分。
30、為了更好地實現本專利技術的目的，本專利技術還提供了一種面向開放詞匯場景的多目標跟蹤裝置，包括存儲器以及與所述存儲器耦接的處理器；其中，所述存儲器用于存儲程序數據，所述處理器用于執行所述程序數據以實現所述的面向開放詞匯場景的多目標跟蹤方法。
31、為了更好地實現本專利技術的目的，本專利技術還提供了一種計算機存儲介質，所述計算機存儲介質用于存儲程序數據，所述程序數據在被計算機執行時，用以實現所述的面向開放詞匯場景的多目標跟蹤方法。
32、本專利技術相較于現有技術，其有益效果為：本專利技術通過引入統計特性基礎上的動態調整策略，增強了模型在開放詞匯多目標跟蹤中的泛化能力。本專利技術在傳統歸一化技術的基礎上，通過計算基于本文檔來自技高網...
【技術保護點】
1.面向開放詞匯場景的多目標跟蹤方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟一中，對于每個通道的特征圖，采用公式（1）和公式（2）計算其統計特性μc和σμ：
3.根據權利要求2所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟一中，采用公式（3）至公式（5）生成調整系數γ和δ：
4.根據權利要求3所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟三中，檢測結果分配到軌跡，將軌跡分類為兩種狀態：休眠和活躍；當給定幀中沒有新的檢測結果添加到軌跡時，該軌跡被設置為休眠狀態；否則，則保持在活躍狀態；如果軌跡在休眠狀態下停留超過預定的幀數，則被丟棄。
5.根據權利要求4所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟三中，采用公式（7）進行休眠狀態下的軌跡特征更新：
6.根據權利要求5所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，更新后的特征向量fd被追加到休眠狀態軌跡的特征集中。
7.根據權利要求6所述的面向開放詞匯場景的多目標
8.根據權利要求7所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟三中，對于活躍狀態的軌跡，采用公式（9）進行活躍狀態下軌跡的特征更新：
9.一種面向開放詞匯場景的多目標跟蹤裝置，其特征在于，包括存儲器以及與所述存儲器耦接的處理器；其中，所述存儲器用于存儲程序數據，所述處理器用于執行所述程序數據以實現權利要求1~8任一所述的面向開放詞匯場景的多目標跟蹤方法。
10.一種計算機存儲介質，其特征在于，所述計算機存儲介質用于存儲程序數據，所述程序數據在被計算機執行時，用以實現權利要求1~8任一所述的面向開放詞匯場景的多目標跟蹤方法。
...【技術特征摘要】
1.面向開放詞匯場景的多目標跟蹤方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟一中，對于每個通道的特征圖，采用公式（1）和公式（2）計算其統計特性μc和σμ：
3.根據權利要求2所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟一中，采用公式（3）至公式（5）生成調整系數γ和δ：
4.根據權利要求3所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟三中，檢測結果分配到軌跡，將軌跡分類為兩種狀態：休眠和活躍；當給定幀中沒有新的檢測結果添加到軌跡時，該軌跡被設置為休眠狀態；否則，則保持在活躍狀態；如果軌跡在休眠狀態下停留超過預定的幀數，則被丟棄。
5.根據權利要求4所述的面向開放詞匯場景的多目標跟蹤方法，其特征在于，步驟三中，采用公式（7）進行休眠狀態下的軌跡特征更新：
6.根據權利要求5所述的面向開放詞匯場景的多目標跟...
【專利技術屬性】
技術研發人員：張大偉，李潤，王彥超，陽誠磚，鄭忠龍，
申請(專利權)人：浙江師范大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。