【技術實現步驟摘要】
本專利技術涉及計算機視覺與圖像處理，特別涉及一種基于雙路徑注意力和通道特征優化的目標跟蹤方法與系統。
技術介紹
1、視頻跟蹤是計算機視覺領域中的一項重要組成部分，在多個領域中有著廣泛的應用，比如自動駕駛、視頻監控、交通監控、高速攝影等。視頻跟蹤是在確定第一幀中的目標對象后，能夠在后續幀中準確的預測定位到該目標，從而實現跟蹤。目前，隨著視頻跟蹤的實用性和實時性不斷提高，相關的應用在我們的日常生活中也隨處可見，這項技術的研究也變得更有價值，同時，由于物體形變、快速運動、遮擋等諸多因素的影響，視頻跟蹤在未來一段時間仍然是一項具有挑戰性的任務。
2、最近幾年，transformer的出現使計算機視覺領域有了突飛猛進的發展，通過transformer中自注意力的特性來探索連續幀之間的關聯，以獲取豐富的上下文信息，從而實現良好的跟蹤性能。由于自注意力機制的性質，需要對輸入的所有特征進行處理，隨著目前視頻圖片分辨率的不斷提高，更加繁重的計算量也隨之到來，這無形中會增加一些額外的噪聲干擾，另外，自注意力的大量使用，也會產生很多的冗余計算。
技術實現思路
1、鑒于上述狀況，本專利技術的主要目的是為了提出一種基于雙路徑注意力和通道特征優化的目標跟蹤方法與系統，以解決上述技術問題。
2、本專利技術提出一種基于雙路徑注意力和通道特征優化的目標跟蹤方法，所述方法包括如下步驟：
3、步驟1、基于transformer網絡框架構建自適應雙路徑注意力特征融合網絡，自適應雙路徑注
4、步驟2、對模板圖像和搜索圖像進行分割，分別得到預設數量的模板圖像小塊和搜索圖像小塊，對每個圖像小塊進行線性變換操作，再輸入至transformer網絡中的編碼器進行異步階段特征提取，得到異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征；
5、將異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征輸入至自適應雙路徑注意力特征融合網絡；
6、在高效自注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行高效自注意力機制處理，得到高效自注意力分數；
7、對高效自注意力分數進行激活函數處理，得到激活處理后的高效自注意力分數；
8、在全面注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行歸一化機制處理，得到全面自注意力分數；
9、對高效自注意力分數和全面自注意力分數進行權重分配，得到注意力輸出矩陣；
10、步驟3、基于注意力輸出矩陣，對模板圖像特征以及搜索圖像特征進行加權融合，得到加權融合后的特征；
11、將加權融合后的特征輸入至通道特征優化模塊中進行特征冗余消除，得到消除冗余的特征，利用消除冗余的特征對特征融合網絡模型進行優化，得到優化的特征融合網絡模型；
12、步驟4、利用大規模數據對優化的特征融合網絡模型和通道特征優化模塊進行訓練，得到訓練后的特征融合網絡模型和訓練后的通道特征優化模塊；
13、步驟5、將模板圖像和搜索圖像輸入至訓練后的特征融合網絡模型，分別對模板圖像和搜索圖像進行目標特征提取，得到訓練后模型提取的模板圖像目標特征和訓練后模型提取的搜索圖像目標特征；
14、步驟6、對模型訓練后提取的搜索圖像目標特征以及模型訓練后提取的模板圖像目標特征以迭代的形式重復步驟2，得到更新的注意力輸出矩陣；
15、利用更新的注意力輸出矩陣對模型訓練后提取的搜索圖像目標特征以及模型訓練后提取的模板圖像目標特征進行加權融合，得到更新的目標特征加權融合結果；
16、將更新的目標特征加權融合結果輸入至通道特征優化模塊中依次進行歸一化處理、可分離卷積處理以及非線性處理，得到經過處理的特征圖，將經過處理的特征圖進行通道特征優化操作，得到通道優化的特征；
17、對通道優化的特征依次進行線性映射機制處理和激活函數特征優化處理，得到優化后的特征圖，將優化后的特征圖進行卷積處理，得到輸出的特征圖；
18、對輸出的特征圖進行通道信息聚合機制處理，得到再次優化的特征融合網絡模型；
19、步驟7、將模板圖像特征以及搜索圖像特征通過訓練后的通道特征優化模塊進行異步階段特征融合，得到異步交互階段的融合特征，將異步交互階段的融合特征輸入至預測頭并得到預測結果；
20、基于預測結果對目標進行跟蹤。
21、本專利技術還提出一種基于雙路徑注意力和通道特征優化的目標跟蹤系統，所述系統包括：
22、構建模塊，用于：
23、基于transformer網絡框架構建自適應雙路徑注意力特征融合網絡，自適應雙路徑注意力特征融合網絡包括高效自注意力分支和全面自注意力分支，基于高效自注意力分支和全面自注意力分支構建特征融合網絡模型和通道特征優化模塊；
24、學習模塊a，用于：
25、對模板圖像和搜索圖像進行分割，分別得到預設數量的模板圖像小塊和搜索圖像小塊，對每個圖像小塊進行線性變換操作，再輸入至transformer網絡中的編碼器進行異步階段特征提取，得到異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征；
26、將異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征輸入至自適應雙路徑注意力特征融合網絡；
27、在高效自注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行高效自注意力機制處理，得到高效自注意力分數；
28、對高效自注意力分數進行激活函數處理，得到激活處理后的高效自注意力分數；
29、在全面注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行歸一化機制處理，得到全面自注意力分數；
30、對高效自注意力分數和全面自注意力分數進行權重分配，得到注意力輸出矩陣；
31、學習模塊b，用于：
32、基于注意力輸出矩陣，對模板圖像特征以及搜索圖像特征進行加權融合，得到加權融合后的特征；
33、將加權融合后的特征輸入至通道特征優化模塊中進行特征冗余消除，得到消除冗余的特征，利用消除冗余的特征對特征融合網絡模型進行優化，得到優化的特征融合網絡模型；
34、預訓練模塊，用于：
35、利用大規模數據對優化的特征融合網絡模型和通道特征優化模塊進行訓練，得到訓練后的特征融合網絡模型和訓練后的通道特征優化模塊；
36、提取模塊，用于：
37、將模板圖像和搜索圖像輸入至訓練后的特征融合網絡模型，分別對模板圖像和搜索圖像進行目標特征提取，得到訓練后模型提取的模板圖像目標特征和訓練后模型提取的搜索圖像目標特征；
【技術保護點】
1.一種基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，所述方法包括如下步驟：
2.根據權利要求1所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在所述步驟2中，對高效自注意力分數進行激活函數處理，得到激活處理后的高效自注意力分數，過程對應的關系式如下：
3.根據權利要求2所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在全面注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行歸一化機制處理，得到全面自注意力分數的步驟中，過程對應存在的關系式如下：
4.根據權利要求3所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在對高效自注意力分數和全面自注意力分數進行權重分配，得到注意力輸出矩陣的步驟中，過程對應存在的關系式如下：
5.根據權利要求4所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在所述步驟6中，將更新的目標特征加權融合結果輸入至通道特征優化模塊中依次進行歸一化處理、可分離卷積處理以及非線性處理，得到經過處理的特征圖，過程對應
6.根據權利要求5所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在將經過處理的特征圖進行通道特征優化操作，得到通道優化的特征的步驟中，過程對應存在的關系式如下：
7.根據權利要求6所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在將優化后的特征圖進行卷積處理，得到輸出的特征圖的步驟中，過程對應存在的關系式如下：
8.一種基于雙路徑注意力和通道特征優化的目標跟蹤系統，其特征在于，所述系統應用如上述權利要求1至7任意一種基于雙路徑注意力和通道特征優化的目標跟蹤方法，所述系統包括：
...【技術特征摘要】
1.一種基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，所述方法包括如下步驟：
2.根據權利要求1所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在所述步驟2中，對高效自注意力分數進行激活函數處理，得到激活處理后的高效自注意力分數，過程對應的關系式如下：
3.根據權利要求2所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在全面注意力分支，對異步階段特征提取的模板圖像特征以及異步階段特征提取的搜索圖像特征進行歸一化機制處理，得到全面自注意力分數的步驟中，過程對應存在的關系式如下：
4.根據權利要求3所述的基于雙路徑注意力和通道特征優化的目標跟蹤方法，其特征在于，在對高效自注意力分數和全面自注意力分數進行權重分配，得到注意力輸出矩陣的步驟中，過程對應存在的關系式如下：
5.根據權利要求4...
【專利技術屬性】
技術研發人員：王軍，孫磊，王員云，羅書紅，安卓，
申請(專利權)人：南昌工程學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。