【技術實現步驟摘要】
本專利技術涉及圖像處理，具體涉及一種基于軌跡預測的遮擋目標穩定跟蹤方法和裝置。
技術介紹
1、多目標跟蹤作為計算機視覺領域中的一項重要研究內容，近幾年隨著監控系統的不斷完善，多目標跟蹤在智能監控、異常檢測、自動駕駛、安防等領域都具有非常重要的應用價值
2、目標跟蹤技術的關鍵是建立當前幀圖像與下一幀圖像的關聯。單幀圖像的目標檢測是提供穩定的初始跟蹤位置的重要步驟，但不能完成數據關聯。將每幀圖像的檢測位置與運動軌跡預測的位置進行關聯，給出目標身份，是多目標跟蹤穩定的關鍵。
3、多目標跟蹤領域主要分為兩大類，離線跟蹤算法和在線跟蹤算法。離線跟蹤算法無法應用于實時跟蹤，在線跟蹤算法為當前多目標跟蹤領域的研究趨勢。當前在線實時跟蹤算法在sort(simple?online?and?realtime?tracking)算法的基礎上進行研究，sort算法將多目標跟蹤問題分解為目標邊界框檢測部分，負責預測和更新軌跡信息的狀態預測，以及數據關聯部分，負責目標和軌跡之間匹配。sort算法中輸入圖片經過目標檢測算法輸出目標的位置和類別，通過卡爾曼濾波對每個檢測到目標進行狀態預測和更新，最后使用匈牙利算法求解預測后的目標和當前幀中檢測到的目標iou匹配的代價矩陣，sort算法跟蹤速度較快但沒有解決算法的身份頻繁切換。
4、當目標被遮擋后，確保目標身份不發生切換多目標穩定持續跟蹤需要解決的核心問題。針對此問題，deepsort算法在sort算法上引入了特征重識別模型(reid)使用余弦距離計算目標特征信息相似度，使用馬
5、雖然deepsort算法在多目標跟蹤中被廣泛使用，但是其對于目標被遮擋情況的跟蹤效果并不理想，reid模型無法提取到足夠的特征信息，從而影響目標的重新識別和目標身份關聯。針對多目標抗遮擋穩定跟蹤任務仍需進一步完善目標的軌跡關聯，降低目標身份切換頻率，從而提升跟蹤算法穩定性。
技術實現思路
1、有鑒于此，本專利技術提供了一種基于軌跡預測的遮擋目標穩定跟蹤方法，能夠提升多目標遮擋后穩定跟蹤效果。
2、為了解決上述技術問題，本專利技術是這樣實現的。
3、一種基于軌跡預測的遮擋目標穩定跟蹤方法，包括：
4、步驟1、對單幀圖像進行特征提取和目標檢測；
5、步驟2、根據多幀圖像的目標檢測結果進行檢測框的匹配，當出現檢測框失配時，確定目標遮擋；判斷目標遮擋時間，如果為短遮擋，則執行步驟3；如果為長遮擋，則執行步驟4；
6、步驟3、在短遮擋情況下，利用最小二乘法，進行目標軌跡預測；
7、步驟4、在長遮擋情況下，利用卡爾曼濾波，進行目標軌跡預測。
8、優選地，在步驟2中，當檢測框失配時，失配的檢測框分別與高價值檢測框和預測框進行關聯，計算失配的檢測框與高價值檢測框和預測框的余弦距離，如果最小的余弦距離小于設定閾值，則認為對應的高價值檢測框或預測框為最合適的關聯項，將所述失配的檢測框切換為匹配狀態，認為沒有發生遮擋；
9、所述高價值檢測框為單次出現目標的檢測框。
10、優選地，高價值檢測框只使用一次，當高價值檢測框被確定為關聯項后，從高價值檢測框集合中刪除。
11、優選地，所述高價值檢測框進一步包括超過最大壽命的檢測框。
12、優選地，在步驟1中，所述對單幀圖像進行特征提取時，采用雙路注意力特征提取模型；
13、雙路注意力特征提取模型包括自注意力特征提取通道、循環注意力特征提取通道和特征編碼模塊；
14、在自注意力特征提取通道中，輸入圖像作為正樣本，依次經過第一卷積模塊和第一注意力模塊處理，獲得第一特征；
15、在循環注意力特征提取通道中，所述輸入圖像通過循環移位獲得多個負樣本，各負樣本經過第二卷積模塊的處理后相加融合，然后由第二注意力模塊和第三卷積模塊進行處理后，獲得第二特征；第二特征和自注意力特征提取通道獲得的所述第一特征相加融合為第三特征；
16、第一特征和第三特征拼接后，進行特征編碼，完成特征提取。
17、優選地，所述第一注意力模塊和第二注意力模塊結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第一點積模塊和第二點積模塊；輸入數據分別經過第一卷積層、第二卷積層、第三卷積層的處理后，輸出數據q、數據k和數據v；數據q和數據k在第一點積模塊中進行相乘處理后，輸出注意力權重信息；該注意力權重信息與數據v在第二點積模塊中進行相乘處理，輸出特征信息。
18、本專利技術還提供了一種基于軌跡預測的遮擋目標穩定跟蹤裝置，包括單幀圖像目標檢測模塊、檢測框匹配模塊、遮擋判斷模塊、短遮擋預測模塊、長遮擋預測模塊；
19、所述單幀圖像目標檢測模塊，用于對單幀圖像進行特征提取和目標檢測；
20、所述檢測框匹配模塊，用于根據多幀圖像的目標檢測結果進行檢測框的匹配，當出現檢測框失配時，確定目標遮擋；
21、所述遮擋判斷模塊，用于判斷目標遮擋時間，如果為短遮擋，則通知短遮擋預測模塊；如果為長遮擋，則通知長遮擋預測模塊；
22、所述短遮擋預測模塊，用于在短遮擋情況下，利用最小二乘法，進行目標軌跡預測；
23、所述長遮擋預測模塊，用于在長遮擋情況下，利用卡爾曼濾波，進行目標軌跡預測。
24、優選地，所述單幀圖像目標檢測模塊包括雙路注意力特征提取模型和目標檢測模塊；雙路注意力特征提取模型包括自注意力特征提取通道、循環注意力特征提取通道和特征編碼模塊；
25、自注意力特征提取通道包括第一卷積模塊和第一注意力模塊處理；輸入圖像作為正樣本，依次經過第一卷積模塊和第一注意力模塊處理，獲得第一特征；
26、所述循環注意力特征提取通道包括融合模塊，以及由循環移位模塊、第二卷積模塊、相加模塊、第二注意力模塊、第三卷積模塊組成的循環注意力模塊；循環移位模塊對輸入圖像進行循環移位，構造負樣本；各負樣本經過第二卷積模塊處理后在相加模塊相加融合；然后經過第二注意力模塊和第三卷積模塊進行處理后，獲得第二特征；融合模塊將所述第一特征和第二特征相加，獲得第三特征；
27、所述特征編碼模塊將第一特征和第三特征拼接后，進行特征編碼，完成特征提取；
28、所述目標檢測模塊根據特征編碼模塊輸出的提取特征，進行目標位置和目標身份的預測，完成單幀圖像的目標檢測。
29、優選地，所述第一注意力模塊和第二注意力模塊結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第一點積模塊和第二點積模塊；輸入數據分別經過第一卷積層、第二卷積層、第三卷積層的處理后，輸出數據q、數據k和數據v；數據q和數據k在第一點積模塊中進行相乘處理后，輸出注意力權重信息；該注意力權重信息與數據v在第二點積模塊中進行相乘處理，輸出特征信息。
30、優選地，所述檢測框匹配模塊在檢測框失配時，進一步將失本文檔來自技高網...
【技術保護點】
1.一種基于軌跡預測的遮擋目標穩定跟蹤方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，在步驟2中，當檢測框失配時，失配的檢測框分別與高價值檢測框和預測框進行關聯，計算失配的檢測框與高價值檢測框和預測框的余弦距離，如果最小的余弦距離小于設定閾值，則認為對應的高價值檢測框或預測框為最合適的關聯項，將所述失配的檢測框切換為匹配狀態，認為沒有發生遮擋；
3.如權利要求2所述的方法，其特征在于，高價值檢測框只使用一次，當高價值檢測框被確定為關聯項后，從高價值檢測框集合中刪除。
4.如權利要求2或3所述的方法，其特征在于，所述高價值檢測框進一步包括超過最大壽命的檢測框。
5.如權利要求1所述的方法，其特征在于，在步驟1中，所述對單幀圖像進行特征提取時，采用雙路注意力特征提取模型；
6.如權利要求5所述的方法，其特征在于，所述第一注意力模塊和第二注意力模塊結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第一點積模塊和第二點積模塊；輸入數據分別經過第一卷積層、第二卷積層、第三卷積層的處理后，輸出數據Q、數據K和數據
7.一種基于軌跡預測的遮擋目標穩定跟蹤裝置，其特征在于，包括單幀圖像目標檢測模塊、檢測框匹配模塊、遮擋判斷模塊、短遮擋預測模塊、長遮擋預測模塊；
8.如權利要求7所述的裝置，其特征在于，所述單幀圖像目標檢測模塊包括雙路注意力特征提取模型和目標檢測模塊；雙路注意力特征提取模型包括自注意力特征提取通道、循環注意力特征提取通道和特征編碼模塊；
9.如權利要求8所述的裝置，其特征在于，所述第一注意力模塊和第二注意力模塊結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第一點積模塊和第二點積模塊；輸入數據分別經過第一卷積層、第二卷積層、第三卷積層的處理后，輸出數據Q、數據K和數據V；數據Q和數據K在第一點積模塊中進行相乘處理后，輸出注意力權重信息；該注意力權重信息與數據V在第二點積模塊中進行相乘處理，輸出特征信息。
10.如權利要求7所述的裝置，其特征在于，所述檢測框匹配模塊在檢測框失配時，進一步將失配的檢測框分別與高價值檢測框和預測框進行關聯，計算失配的檢測框與高價值檢測框和預測框的余弦距離，如果最小的余弦距離小于設定閾值，則認為對應的高價值檢測框或預測框為最合適的關聯項，將所述失配的檢測框切換為匹配狀態，認為沒有發生遮擋；所述高價值檢測框為單次出現目標的檢測框和超過最大壽命的檢測框；高價值檢測框只使用一次，當高價值檢測框被確定為關聯項后，從高價值檢測框集合中刪除。
...【技術特征摘要】
1.一種基于軌跡預測的遮擋目標穩定跟蹤方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，在步驟2中，當檢測框失配時，失配的檢測框分別與高價值檢測框和預測框進行關聯，計算失配的檢測框與高價值檢測框和預測框的余弦距離，如果最小的余弦距離小于設定閾值，則認為對應的高價值檢測框或預測框為最合適的關聯項，將所述失配的檢測框切換為匹配狀態，認為沒有發生遮擋；
3.如權利要求2所述的方法，其特征在于，高價值檢測框只使用一次，當高價值檢測框被確定為關聯項后，從高價值檢測框集合中刪除。
4.如權利要求2或3所述的方法，其特征在于，所述高價值檢測框進一步包括超過最大壽命的檢測框。
5.如權利要求1所述的方法，其特征在于，在步驟1中，所述對單幀圖像進行特征提取時，采用雙路注意力特征提取模型；
6.如權利要求5所述的方法，其特征在于，所述第一注意力模塊和第二注意力模塊結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第一點積模塊和第二點積模塊；輸入數據分別經過第一卷積層、第二卷積層、第三卷積層的處理后，輸出數據q、數據k和數據v；數據q和數據k在第一點積模塊中進行相乘處理后，輸出注意力權重信息；該注意力權重信息與數據v在第二點積模塊中進行相乘處理，輸出特征信息。
7.一種基于軌跡預測的遮擋目標穩定...
【專利技術屬性】
技術研發人員：周悅，姜雨彤，楊忠琳，李興鑫，朱夢琪，孫偉琛，王瑩，解芳，孫曉霞，岳文斌，沈麗麗，韓震，
申請(專利權)人：中國北方車輛研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。