【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，屬于計算機視覺。
技術(shù)介紹
1、多目標跟蹤是計算機視覺中的一個重要研究領(lǐng)域，它涉及到在一段視頻中同時檢測并跟蹤多個移動對象。這個過程不僅需要識別出視頻幀中的目標，還需要在連續(xù)的幀之間保持這些目標的身份一致性，即使是在目標之間發(fā)生遮擋、目標外觀變化或者相機視角改變的情況下。多目標跟蹤技術(shù)在許多實際應(yīng)用中發(fā)揮著重要作用，如智能監(jiān)控系統(tǒng)、自動駕駛汽車、體育分析、人機交互等領(lǐng)域。隨著人工智能技術(shù)的發(fā)展，特別是深度學(xué)習(xí)的進步，多目標跟蹤算法的性能得到了顯著提升，能夠更好地應(yīng)對復(fù)雜場景下的挑戰(zhàn)。
2、但目前的大部分多目標跟蹤方法由于模型計算量過大難以在性能與速度之間取得平衡，這些方法在實際應(yīng)用往往需要很高的硬件條件，無法在大多數(shù)終端設(shè)備部署，極大的限制了這些多目標跟蹤方法的落地應(yīng)用。部分模型較小的跟蹤器雖然推理速度快，但性能不佳，無法在性能和推理速度之間取得平衡。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，解決現(xiàn)有技術(shù)中跟蹤器在推理速度與性能之間難以平衡的問題，包括現(xiàn)有的大部分多目標跟蹤方法由于參數(shù)量過大，在終端設(shè)備上無法實現(xiàn)，極大的限制了這些算法的落地應(yīng)用，以及部分較小型的跟蹤器雖然推理速度較快，但性能不佳。
2、為解決上述技術(shù)問題，本專利技術(shù)是采用下述技術(shù)方案實現(xiàn)的：
3、第一方面，本專利技術(shù)提供了一種基于神
4、步驟1：使用yolox對視頻中的目標逐幀檢測，獲取目標檢測位置，并得到2d線索；
5、步驟2：使用深度神經(jīng)回歸器，估計每個目標與攝像機的距離，并得到3d定位信息；
6、步驟3：使用神經(jīng)網(wǎng)絡(luò)，根據(jù)目標的運動狀態(tài)動態(tài)調(diào)整卡爾曼濾波的過程噪聲和觀察噪聲；
7、步驟4：整合步驟2和3得到的目標運動狀態(tài)信息，獲取目標預(yù)測位置；
8、步驟5：根據(jù)步驟1得到的目標檢測位置與步驟4得到的目標預(yù)測位置計算成本矩陣；
9、步驟6：使用深度密度估計器，將步驟1獲得的2d線索與步驟2獲得的3d定位信息合并，對步驟5得到的成本矩陣進行修正與歸一化；
10、步驟7：基于歸一化的成本矩陣，使用匈牙利算法完成匹配；
11、步驟8：重復(fù)步驟1-7，直至完成視頻的目標跟蹤工作。
12、進一步的，所述步驟1具體包括：
13、使用已訓(xùn)練的yolox模型獲取目標的x坐標、y坐標、高度h和寬高比a；
14、yolox-s模型用于硬件性能一般的設(shè)備，yolox-x模型應(yīng)用于硬件性能較好的設(shè)備。
15、進一步的，所述步驟2具體包括：
16、在motsynth訓(xùn)練集上訓(xùn)練深度神經(jīng)回歸器；
17、使用lstm長短時記憶網(wǎng)絡(luò)編碼所有過去幀的歷史信息，其輸出為一個單幀特征圖；
18、使用特征金字塔網(wǎng)絡(luò)fpn，在深層網(wǎng)絡(luò)中加入了一個額外的分支，以恢復(fù)原始分辨率并避免因下采樣導(dǎo)致的空間信息丟失；
19、通過一個多層次感知機輸出預(yù)測的距離，并且不是直接輸出一個精確的估計值，而是輸出一個高斯分布，從而獲得模型的不確定性。
20、進一步的，所述步驟3具體包括：
21、傳統(tǒng)的卡爾曼濾波器中的觀測噪聲rk和過程噪聲qk不再是固定的預(yù)設(shè)參數(shù)，而是通過兩個獨立的神經(jīng)網(wǎng)絡(luò)來動態(tài)更新，這兩個網(wǎng)絡(luò)基于當前的運動狀態(tài)來調(diào)整噪聲參數(shù)
22、rk＝r-net(zk)
23、qk＝q-net(xk-1)
24、zk表示當前幀的檢測結(jié)果，xk-1表示k-1時間長度內(nèi)的狀態(tài)均值，r表示觀測噪聲的協(xié)方差矩陣，它描述了觀測模型中的隨機誤差對估計值的影響程度，q表示過程噪聲的協(xié)方差矩陣,它描述了狀態(tài)轉(zhuǎn)移模型中的隨機誤差對預(yù)測值的影響程度，net()表示使用神經(jīng)網(wǎng)絡(luò)處理zk與xk-1參數(shù)；
25、這兩個網(wǎng)絡(luò)設(shè)計為全連接層。
26、進一步的，所述步驟6具體包括：
27、接收多種輸入，包括2d線索以及3d定位信息；
28、構(gòu)建一個條件概率分布p(d∈t|t)，該分布基于輸入的成本矩陣，估計了檢測d屬于軌跡t的概率，輸出修正后的成本矩陣；
29、對這個成本矩陣進行進一步的歸一化處理，通過softmax函數(shù)平滑化。
30、進一步的，所述步驟7具體包括：
31、先匹配高分的檢測框，計算高分框和預(yù)測框的iou，使用匈牙利算法匹配iou，獲得3個結(jié)果：已匹配的軌跡與高分框、未成功匹配的軌跡和未成功匹配的高分框，匹配成功后將跟蹤軌跡中的框更新為高分檢測框；
32、然后針對低分框，計算低分框和上一步未匹配上的預(yù)測框的iou，使用匈牙利算法進行匹配，獲得3個結(jié)果：已匹配的軌跡與低分框、未成功匹配的軌跡和未成功匹配的低分框。匹配成功后將追蹤軌跡中的框更新為檢測框；
33、最后針對未匹配上的高分檢測框，將其和狀態(tài)未激活的軌跡匹配，獲得3個結(jié)果：匹配、未匹配軌跡和未匹配檢測框。未匹配的軌跡標記為刪除，對于未匹配檢測框，置信度高于閾值則更新為新的跟蹤軌跡，小于則丟棄。
34、第二方面，本專利技術(shù)提供了一種通用式的多目標跟蹤裝置，包括：
35、目標檢測模塊：使用兩種目標檢測模型yolox-x與yolox-s,前者參數(shù)量較大，性能較好，適合部署在具有較高硬件水平的設(shè)備，后者參數(shù)量少，性能略差，適合部署在硬件水平一般的設(shè)備；
36、運動信息編碼模塊：使用lstm長短時記憶網(wǎng)絡(luò)編碼所有過去幀的歷史信息，其輸出為一個單幀特征圖；
37、特征恢復(fù)模塊：使用特征金字塔網(wǎng)絡(luò)fpn，在深層網(wǎng)絡(luò)中加入了一個額外的分支，以恢復(fù)原始分辨率并避免因下采樣導(dǎo)致的空間信息丟失；
38、深度計算模塊：將運動信息編碼模塊、特征恢復(fù)模塊整合到同一神經(jīng)網(wǎng)絡(luò)，并在網(wǎng)絡(luò)的最后一層加入多層感知機，輸出預(yù)測的距離；
39、運動估計模塊：通過兩個獨立的神經(jīng)網(wǎng)絡(luò)來動態(tài)更新卡爾曼濾波過程中的過程噪聲和觀察噪聲，根據(jù)目標的歷史軌跡信息預(yù)測當前的運動狀態(tài)；
40、成本矩陣計算模塊：根據(jù)目標檢測模塊獲得的檢測信息，與運動估計模塊獲得的預(yù)測信息，計算出二者的成本矩陣；
41、深度密度估計模塊：將運動估計模塊獲得的2d線索與深度計算模塊獲得的3d定位信息整合，對成本矩陣進行修正與歸一化，并通過softmax函數(shù)平滑化；
42、關(guān)聯(lián)匹配模塊：根據(jù)成本矩陣，將檢測框與軌跡進行匹配，通過先匹配高分檢測框后匹配低分檢測框的方案，有效提高了匹配正確率。
43、第三方面，本專利技術(shù)提出了一種終端設(shè)備，該終端包括處理器和存儲介質(zhì)；
44、所述存儲介質(zhì)用于存放指令；
45、本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，基于給定視頻進行目標跟蹤，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟1具體包括：
3.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟2具體包括：
4.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟3具體包括：
5.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟6具體包括：
6.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟7具體包括：
7.一種基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤裝置，其特征在于，包括：
8.一種終端，其特征在于，包括處理器及存儲介質(zhì)；
9.計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1～6任一項所述方
...【技術(shù)特征摘要】
1.基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，基于給定視頻進行目標跟蹤，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟1具體包括：
3.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟2具體包括：
4.根據(jù)權(quán)利要求1所述的基于神經(jīng)卡爾曼濾波器與深度估計網(wǎng)絡(luò)的多目標跟蹤方法，其特征在于，所述步驟3具體包括：
5.根據(jù)權(quán)利要...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：韓光，杜昕隆，黃俊輝，黃海權(quán)，曾彬明，
申請(專利權(quán))人：南京郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。