【技術實現(xiàn)步驟摘要】
本專利技術涉及圖像識別，特別是一種跨模態(tài)目標跟蹤方法及系統(tǒng)。
技術介紹
1、目前，大多數(shù)目標跟蹤方法主要使用可見光數(shù)據(jù)進行目標跟蹤，但在某些情況下，如光照環(huán)境復雜和煙霧下，目標難以被定位跟蹤，在跟蹤過程中，目標可能丟失，從而降低跟蹤精度。
2、由于可見光圖像和熱紅外圖像具有互補的優(yōu)勢，將可見光圖像與熱紅外圖像相結(jié)合的跨模態(tài)目標跟蹤已被證實是一種高效的方式來提高跟蹤性能。其中有效地整合多模態(tài)信息是跨模態(tài)目標跟蹤的一個關鍵任務。跨模態(tài)圖像融合主要涵蓋像素級、特征級和決策級三種融合策略。像素級融合能豐富圖像的細節(jié)，如邊緣、顏色和紋理，對圖像分析處理大有幫助，但缺乏高級語義信息。特征級融合則能提取出目標或感興趣區(qū)域的語義數(shù)據(jù)，但空間細節(jié)信息略顯不足，決策級融合不能充分利用跨模態(tài)的關聯(lián)性，無法利用模型對目標或圖像進行聯(lián)合建模。
3、此外，在目標跟蹤過程中有著非常豐富時序信息，這些信息可以很好的解決目標外觀的多變性，通常的做法是引入一個動態(tài)模板和一個更新控制器來捕獲目標的外觀變化，但這樣的方法會存儲大量的時序信息，從而導致內(nèi)存占用和計算量上升，這對目標跟蹤算法來說是一個巨大的挑戰(zhàn)。
技術實現(xiàn)思路
1、針對上述現(xiàn)有技術的缺陷，本專利技術提供了一種基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，目的是提高在光照變化、黑夜、低可見度環(huán)境跟蹤的穩(wěn)定性和魯棒性。本專利技術還提供實現(xiàn)該方法的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤系統(tǒng)。
2、本專利技術的技術方案如下：
3
4、步驟1、構(gòu)建包含可見光和熱紅外視頻對的數(shù)據(jù)集作為網(wǎng)絡模型的訓練集；
5、步驟2、構(gòu)建跨模態(tài)目標跟蹤網(wǎng)絡模型；所述跨模態(tài)目標跟蹤網(wǎng)絡模型包括特征提取主干網(wǎng)絡、自適應互補融合模塊和目標分類回歸網(wǎng)絡，所述特征提取主干網(wǎng)絡包括結(jié)構(gòu)相同的可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡，所述可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡分別通過卷積提取模板和搜索區(qū)域的特征并進行自適應卷積提取時序信息，所述自適應互補融合模塊對所述特征提取主干網(wǎng)絡提取的可見光特征和熱紅外特征進行通道注意力增強以及空間注意力增強并融合；
6、步驟3、初始化跨模態(tài)目標跟蹤網(wǎng)絡模型的參數(shù)；
7、步驟4、對訓練集數(shù)據(jù)進行預處理并進行模型訓練，訓練時選擇一個視頻序列，隨機取出同時刻的兩幀的可見光圖像和熱紅外圖像，將可見光和熱紅外圖像分別作為模板，則相應的熱紅外圖像和可見光圖像則分別作為搜索區(qū)域；
8、步驟5、將待跟蹤數(shù)據(jù)輸入訓練后的跨模態(tài)目標跟蹤網(wǎng)絡模型得到跟蹤結(jié)果。
9、進一步地，所述可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡均包括四層卷積層，并且最后兩層卷積層后設置自適應卷積層提取時序信息。
10、進一步地，所述自適應卷積層的結(jié)構(gòu)為，對于任何輸入xt，可以獲得輸出
11、
12、其中，運算符*表示卷積操作，wb和bb為可學習的參數(shù)，其中f表示卷積操作，
13、
14、表示進行池化后的l幀的自適應卷積層的輸入。
15、進一步地，當t≤l-1時，用第一幀的補足，直到t＞l-1。
16、進一步地，所述步驟2中自適應互補融合模塊對所述特征提取主干網(wǎng)絡提取的可見光特征和熱紅外特征進行通道注意力增強以及空間注意力增強并融合具體為：
17、將可見光特征與通道注意力增強以及空間注意力增強后的熱紅外特征進行逐元素相加得到第一組特征，將熱紅外特征與通道注意力增強以及空間注意力增強后的可見光特征進行逐元素相加得到第二組特征，再將第一組特征和第二組特征按照通道進行拼接并卷積降維。
18、進一步地，所述步驟2中進行通道注意力增強是將可見光特征和熱紅外特征進行拼接得到連接特征，然后進行通道注意力增強，進行通道注意力增強后的可見光特征為熱紅外特征為
19、
20、為連接特征，其中，δ為全局池化，ω為全連接層，ε為sigmoid，為通道乘積，split為沿通道維度拆分特征的操作。
21、進一步地，所述步驟2中進行空間注意力增強是將通道注意力增強后的可見光特征和熱紅外特征沿通道維度進行拼接，得到并集特征us，進行空間注意力增強后的可見光特征為熱紅外特征為
22、
23、
24、其中，ρ為平均池化操作，φ為最大池化操作，cat為沿通道維度拼接特征的操作，為二維卷積操作，w為計算出來的空間注意力權(quán)值。
25、進一步地，所述步驟4中的預處理是進行圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、圖像縮放、圖像平移和灰度化操作。
26、進一步地，進行模型訓練時的損失函數(shù)為
27、
28、lcls表示加權(quán)焦點損失，liou表示iou損失，l1表示l1損失，λiou為超參數(shù)表示iou損失權(quán)重，為超參數(shù)表示l1損失權(quán)重。
29、本專利技術的另一技術方案為，一種基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤系統(tǒng)，包括以下模塊：
30、訓練數(shù)據(jù)構(gòu)建模塊，用于構(gòu)建包含可見光和熱紅外視頻對的數(shù)據(jù)集作為網(wǎng)絡模型的訓練集；
31、網(wǎng)絡模型構(gòu)建模塊，用于構(gòu)建跨模態(tài)目標跟蹤網(wǎng)絡模型；所述跨模態(tài)目標跟蹤網(wǎng)絡模型包括特征提取主干網(wǎng)絡、自適應互補融合模塊和目標分類回歸網(wǎng)絡，所述特征提取主干網(wǎng)絡包括結(jié)構(gòu)相同的可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡，所述可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡分別通過卷積提取模板和搜索區(qū)域的特征并進行自適應卷積提取時序信息，所述自適應互補融合模塊對所述特征提取主干網(wǎng)絡提取的可見光特征和熱紅外特征進行通道注意力增強以及空間注意力增強并融合；
32、初始化模塊，用于初始化跨模態(tài)目標跟蹤網(wǎng)絡模型的參數(shù)；
33、訓練模塊，用于對訓練集數(shù)據(jù)進行預處理并進行模型訓練，訓練時選擇一個視頻序列，隨機取出同時刻的兩幀的可見光圖像和熱紅外圖像，將可見光和熱紅外圖像分別作為模板，則相應的熱紅外圖像和可見光圖像則分別作為搜索區(qū)域；
34、以及，輸出模塊，用于將待跟蹤數(shù)據(jù)輸入訓練后的跨模態(tài)目標跟蹤網(wǎng)絡模型得到跟蹤結(jié)果。
35、本專利技術與現(xiàn)有技術相比較，具有如下優(yōu)點：
36、本專利技術在特征提取網(wǎng)絡中采用在線時序自適應卷積，通過對骨干網(wǎng)絡的后三層卷積采用自適應方法來更新權(quán)重，從而利用時序信息增強提取的特征，以適應不同的目標和環(huán)境，提高跟蹤精度的同時計算量相對較小，減少了內(nèi)存占用。
37、本專利技術方法結(jié)合特征級融合的基礎上，引入空間和通道的自適應注意力組合，利用雙重注意力解決缺乏空間細節(jié)信息的問題，使得模型能夠同時關注圖像中不同空間位置和不同通道的信息，令得到的融合特征具有更加魯棒的特征表征能力，能夠最大程度利用模態(tài)之間的互補信息。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡均包括四層卷積層，并且最后兩層卷積層后設置自適應卷積層提取時序信息。
3.根據(jù)權(quán)利要求2所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述自適應卷積層的結(jié)構(gòu)為，對于任何輸入Xt，可以獲得輸出
4.根據(jù)權(quán)利要求3所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，當t≤L-1時，用第一幀的補足，直到t＞L-1。
5.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述步驟2中自適應互補融合模塊對所述特征提取主干網(wǎng)絡提取的可見光特征和熱紅外特征進行通道注意力增強以及空間注意力增強并融合具體為：
6.根據(jù)權(quán)利要求5所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述步驟2中進行通道注意力增強是將可見光特征和熱紅外特征進行拼接得到連接特征，然后進行通道注意力增強，進行通道注意力增強后的可見光特征
7.根據(jù)權(quán)利要求6所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述步驟2中進行空間注意力增強是將通道注意力增強后的可見光特征和熱紅外特征沿通道維度進行拼接，得到并集特征Us，進行空間注意力增強后的可見光特征為熱紅外特征為
8.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述步驟4中的預處理是進行圖像旋轉(zhuǎn)、圖像翻轉(zhuǎn)、圖像縮放、圖像平移和灰度化操作。
9.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，進行模型訓練時的損失函數(shù)為
10.一種基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤系統(tǒng)，其特征在于，包括以下模塊：
...【技術特征摘要】
1.一種基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述可見光主干網(wǎng)絡和熱紅外主干網(wǎng)絡均包括四層卷積層，并且最后兩層卷積層后設置自適應卷積層提取時序信息。
3.根據(jù)權(quán)利要求2所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述自適應卷積層的結(jié)構(gòu)為，對于任何輸入xt，可以獲得輸出
4.根據(jù)權(quán)利要求3所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，當t≤l-1時，用第一幀的補足，直到t＞l-1。
5.根據(jù)權(quán)利要求1所述的基于全卷積孿生網(wǎng)絡的跨模態(tài)目標跟蹤方法，其特征在于，所述步驟2中自適應互補融合模塊對所述特征提取主干網(wǎng)絡提取的可見光特征和熱紅外特征進行通道注意力增強以及空間注意力增強并融合具體為：
6.根據(jù)權(quán)利要求5所述的基于全卷...
【專利技術屬性】
技術研發(fā)人員：鐘珊，薛楊濤，閆海英，龔聲蓉，陳攀峰，周劍，梁偉，
申請(專利權(quán))人：常熟理工學院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。