【技術實現步驟摘要】
本專利技術涉及圖像處理和視頻信號處理，尤其涉及基于動態自適應和強化特征的多目標跟蹤分割方法及系統。
技術介紹
1、多目標跟蹤與分割是指在視頻或圖像序列中同時識別、追蹤和區分多個移動目標的方法。它是一種系統性的方法，這項方法通過綜合應用目標檢測、特征提取、數據關聯和實例分割等關鍵步驟，旨在面對遮擋、相似目標、快速移動和視角變化等復雜場景，在像素級下評估多個移動目標之間的關系。目前流行的多目標跟蹤與分割系統，在使用過程中依靠深度學習技術為數據關聯提供魯棒的關聯信息，例如，單獨訓練一個的實例分割模型來獲取高質量的實例分割掩碼、依賴深度學習模型進行狀態估計、訓練一個深度學習模型在圖域上進行關聯跟蹤等。同時，在資源受限或對實時性要求極高的環境中，深度學習模型的高計算需求可能導致其難以滿足高效運行的需求。此外，深度學習模型的訓練和部署成本相對較高，且模型的復雜性可能影響到系統的可擴展性和維護性。同時，當前多目標跟蹤與分割方法對于視頻下目標特征的利用仍然是粗糙的。同時，現有的多目標跟蹤技術在處理動態環境、大規模目標場景或極端光照條件下的性能不足。此外，算法的泛化能力、魯棒性和可擴展性也是當前研究中需要進一步解決的問題。公開號為cn116452631a的中國專利技術申請公開了一種多目標跟蹤方法，使用先逐幀檢測分割再數據關聯的策略，利用傳統的表觀與運動信息來進行匹配，并整合預匹配信息和選擇加權的快速關聯算法，然而這種方法在融合權重時是固定的，無法動態的適應視頻環境，同時運動和外觀線索的魯棒性有限。
技術實現思路
1、本專利技術的目的在于解決現有技術中的問題。
2、本專利技術解決其技術問題所采用的技術方案是：提供一種基于動態自適應和強化特征的多目標跟蹤分割方法，包括以下步驟：
3、前處理步驟，讀取圖像或視頻信息，對每一幀圖像進行目標分割，得到目標像素級信息以及目標邊界框信息；
4、外觀代價計算步驟，利用重識別模型處理目標像素級信息和目標邊界框信息，獲得目標掩碼和背景特征，基于目標掩碼和背景特征計算外觀特征向量，從而計算外觀代價矩陣；
5、預匹配步驟，通過匈牙利算法對外觀代價矩陣進行處理，獲得匹配候選對和未匹配候選對；
6、運動代價計算步驟，以目標邊界框上四個頂點以及中心點作為五個關鍵點，通過卡爾曼濾波器獲取五個關鍵點的速度；將上一幀圖像的目標掩碼映射到五個關鍵點形成的四個三角形中并利用關鍵點速度進行運動模擬，計算運動代價矩陣；
7、正式匹配步驟，未匹配候選對以運動代價作為最終代價；匹配候選對基于歷史掩碼面積計算融合權重，基于融合權重融合外觀代價和運動代價，得到最終代價；整合未匹配候選對的最終代價和匹配候選對的最終代價，獲得最終代價矩陣，通過匈牙利算法對最終代價矩陣進行處理，獲得匹配對和未匹配對；
8、后處理步驟，對所有軌跡進行卡爾曼濾波預測，通過卡爾曼濾波算法更新修正位置信息，得到新軌跡集，新軌跡集中的軌跡和檢測目標根據匹配狀態劃分為確認態軌跡和未確認態軌跡，確認態的軌跡送入預匹配步驟以進行下一次預匹配，未確認態的軌跡送入正式匹配步驟以進行下一次正式匹配；
9、重復步驟，重復預匹配步驟至后處理步驟直至匹配結束，進入可視化步驟；
10、可視化步驟，對新的確認態的軌跡進行可視化操作，輸出標記檢測目標的視頻。
11、優選的，所述外觀代價計算步驟，采用基于掩碼的注意力機制，具體包括以下步驟：
12、將目標像素級信息和目標邊界框信息傳遞給重識別模型，以獲得目標掩碼m和背景特征圖f；
13、對掩碼m特征圖給予權重，對背景特征圖給予權重，進行加權融合獲取外觀特征向量，表示為:
14、；
15、其中，＞；(n,m)為背景特征圖f的像素坐標，⊙表示元素乘法運算；m(n,m)=1表示roi，m(n,m)=0表示背景區域；
16、以視頻第t-1幀圖像中已匹配的n個目標的外觀特征向量為軌跡t，以視頻第t幀圖像中m個目標外觀特征的特征向量為軌跡s；計算得到第i個軌跡t[i]與第j個檢測s[j]之間的外觀相似度余弦距離，得到n*m外觀代價矩陣:
17、；
18、；
19、其中，代表軌跡t[i]的外觀特征向量，代表檢測s[j]的外觀特征向量；和分別表示軌跡t[i]與檢測s[j]的歐幾里得范數。
20、優選的，所述預匹配步驟中，通過匈牙利算法對n*m外觀代價矩陣進行處理，獲得最小代價的候選對作為預匹配候選對，其他候選對作為未匹配候選對。
21、優選的，所述運動代價計算步驟中，包括以下步驟：
22、通過卡爾曼濾波器獲取目標邊界框上四個點以及中心點的速度；
23、對于第t-1幀的目標掩碼，將其映射到這些關鍵點形成的四個三角形中；
24、利用這五個點的速度，采用類仿射變換，對掩碼進行運動模擬，以獲得第t幀預測掩碼，得到軌跡t[i]的運動信息；
25、通過計算軌跡t[i]和檢測s[j]之間的mask-iou分數，得到n*m運動代價矩陣：
26、；
27、；
28、其中，表示仿射變換函數，是第t幀預測的關鍵點，δ表示以符號后三個點為頂點組成三角形；代表mask-iou分數；表示并集，表示交集。
29、優選的，所述正式匹配步驟中，得到的最終代價矩陣為c，其中的矩陣元素表示為：
30、；
31、其中，為基于歷史掩碼面積計算得到的融合權重。
32、優選的，所述融合權重的計算過程，包括以下步驟：
33、獲取歷史掩碼面積，表示為，其中表示在第t-1幀中第i個被跟蹤對象的掩碼區域，n代表已跟蹤對象的總數；
34、采用指數移動平均機制來預測第i個對象在第t幀的預測掩碼面積，表示為：
35、；
36、其中，是第i個對象在第t-1幀中的近似掩碼區域，是動量項，表示第i個對象在第t幀的檢測掩碼區域；
37、應用sigmoid函數將變化率轉換為連續且平滑的權重系數，即融合權重，表示為：
38、；
39、其中，表示在第i對象在第t幀中的近似掩碼區域與第j個對象在第t幀中的檢測掩碼區域之間的相對變化率。
40、優選的，所述后處理步驟，包括：
41、第一分類步驟，對所有軌跡進行卡爾曼濾波預測，通過卡爾曼濾波算法更新修正位置信息，得到新軌跡集；連續三幀匹配到檢測目標的軌跡被認定為確認態的軌跡，送入預匹配步驟以進行下一次預匹配；未能連續三幀匹配到檢測目標的軌跡被認定為未確認態的軌跡，送入正式匹配步驟以進行下一次正式匹配；未匹配到檢測目標的軌跡視為匹配失敗的軌跡送入第二分類步驟；
42、第二分類步驟，檢測目標作為未確認態的軌跡送入軌跡集中，進入第一分類步驟；判斷軌跡是否為確認態，若為確認態，則判斷其軌跡存活時長a是否超過閾值，刪除屬于未本文檔來自技高網...
【技術保護點】
1.一種基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述外觀代價計算步驟，采用基于掩碼的注意力機制，具體包括以下步驟：
3.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述預匹配步驟中，通過匈牙利算法對N*M外觀代價矩陣進行處理，獲得最小代價的候選對作為預匹配候選對，其他候選對作為未匹配候選對。
4.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述運動代價計算步驟中，包括以下步驟：
5.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述正式匹配步驟中，得到的最終代價矩陣為C，其中的矩陣元素表示為：
6.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述融合權重的計算過程，包括以下步驟：
7.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所
8.一種基于動態自適應和強化特征的多目標跟蹤分割系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述外觀代價計算步驟，采用基于掩碼的注意力機制，具體包括以下步驟：
3.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，其特征在于，所述預匹配步驟中，通過匈牙利算法對n*m外觀代價矩陣進行處理，獲得最小代價的候選對作為預匹配候選對，其他候選對作為未匹配候選對。
4.根據權利要求1所述的基于動態自適應和強化特征的多目標跟蹤分割方法，...
【專利技術屬性】
技術研發人員：陳龍濤，廖國興，曾煥強，朱建清，黃德天，黃誠惕，傅玉青，施一帆，
申請(專利權)人：華僑大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。