【技術實現步驟摘要】
本專利技術涉及一種基于deep-sort與最小二乘法的行人軌跡預測方法及系統，屬于計算機視覺和智能駕駛領域。
技術介紹
1、在自動駕駛汽車行駛的路段中存在眾多風險問題，其中主要涉及交叉路口汽車與行人之間的潛在沖突，為了減少汽車與行人之間發生交通事故的概率，需要對行人進行精確檢測，并對行人軌跡進行精準預測。
2、行人檢測是行人軌跡預測的基礎，目前自動駕駛系統常采用激光雷達、毫米波雷達和相機等進行檢測。激光雷達成本高昂，計算量大，難以批量應用；毫米波雷達難以準確區分行人和其它目標；普通相機存在測距精度差等缺點。
3、在行人軌跡預測方面，日本學者takuma等以車載前視攝像頭制作fpl行人數據集，并預測視頻中行人的軌跡。park等提出了基于數據檢索的第一視角軌跡預測的方法，使用alexnet提取場景特征建立egoretinal地圖，將訓練樣本路徑映射到視頻并通過估計遮擋物體后面的空白區域來預測第一視角下的行人路徑。su等將數據檢索方法應用到虛擬游戲的場景，預測了第一視角下籃球運動員的運動軌跡。wang等基于前人研究的分步預測行人軌跡的方法，提出了sgnet驅動型軌跡預測的模型，該模型采用帶條件變分的自編碼器編解碼結構來預測多個時間段內的行人軌跡。此方法可以預測車載前視攝像頭下的行人運動軌跡，但沒有融合行人的行走姿態信息，同時也沒有關注相機運動誤差所帶來的影響，因此對第一人稱下的行人軌跡預測精度效果較差。
4、針對上述問題，基于astra?pro?3d深度相機，本專利技術提出了一種基于deep-sor
技術實現思路
1、本專利技術的目的在于提出一種基于deep-sort與最小二乘法相融合的行人軌跡預測方法及系統，解決目前行人軌跡預測精度低、實時性差的問題。首先，利用yolov7算法實現行人檢測。然后，利用基于kalman濾波算法的deep-sort進行行人軌跡的跟蹤。最后，基于深度相機坐標變換原理，計算行人在相機坐標系下任意一點的三維軌跡坐標，通過垂直投影方法將行人的三維軌跡解耦成橫向和縱向的二維軌跡，并利用最小二乘法對行人橫向和縱向二維軌跡進行預測，將橫向和縱向預測軌跡再合成行人的三維軌跡，實現了實時的單目標行人軌跡預測和多目標行人軌跡預測。本專利技術所提出的算法具有預測精度高、實時性高的特點，可以滿足自動駕駛汽車的行人防沖突需求。
2、本專利技術的技術方案：
3、本專利技術提供一種基于deep-sort與最小二乘法的行人軌跡預測系統(如圖1所示，一種yolov7與deep-sort融合的行人軌跡預測算法關系示意圖)，包括astro?pro?3d深度相機、yolov7算法模塊、kalman濾波算法模塊、坐標轉換模塊、最小二乘法模塊、open?ni庫；它們之間的連接關系是：首先，基于astra?pro?3d深度相機采集視頻圖像，采用yolov7算法實現行人檢測識別，并利用基于kalman濾波的deep-sort實現行人軌跡的跟蹤。然后，對astrapro?3d深度相機的成像原理進行研究，計算行人在相機坐標系下的三維坐標，根據計算出的三維坐標，通過垂直投影的方法將行人的三維軌跡解耦成橫向和縱向的二維軌跡，并利用最小二乘法對行人橫向和縱向二維軌跡進行預測，將橫向和縱向預測軌跡合成行人三維軌跡，實現了實時的單目標行人軌跡預測和多目標行人軌跡預測。
4、所述astro?pro?3d深度相機，采用奧比中光公司3d深度相機(如圖2所示，為astropro?3d深度相機外觀圖)，基于3d結構光成像技術獲取物體的深度圖像，可以獲取到彩色rgb、深度depth、紅外ir的圖像信息以及深度點云信息。利用astro?pro?3d深度相機可以對行人行走過程錄制視頻，為后續行人檢測和行人軌跡預測提供數據支撐。
5、所述open?ni庫，嵌套于python之中，負責對astro?pro?3d深度相機采集的行人行走視頻進行錄制及回放，為后續行人檢測提供數據源。
6、所述改進的yolov7算法模塊，利用gpu架構模型，將silu作為激活函數。yolov7框架可劃分為3個部分：輸入層，骨干網絡層，輸出層，如圖3所示，yolov7的結構圖，輸入層對輸入的圖片進行預處理，將圖片縮放成640×640大小的rgb圖片，增加圖片的自適應錨架計算功能，并在不同的訓練中找到最優錨框的值。骨干網絡層主要是用來實現特征的提取，由cbs模塊、elan模塊和mp模塊組成。首先，通過cbs模塊經過4層卷積來改變通道數和進行特征提取，將特征圖尺寸變為160×160×128，并將頭部部分替換成bot3結構，即一種visiontransformer結構，通過全局注意力機制，充分考慮行人上下文的特征，有效地提升了精度；然后，經過elan模塊控制最短、梯度最長的路徑，使網絡模型學習到更多的畫面特點，增強它的堅固性，且使得圖片輸入和輸出的長寬不變；接著，由mp模塊向下采樣，在輸入輸出通道相同的情況下，上分支先通過mp算法對長寬減半，再通過cbs算法對通道減半；而下分支則是通過一個cbs算法對通道減半，再通過一個cbs算法對長寬減半。最后，上下分支合并實現減半長寬、倍增通道、提取特征。輸出層用于預測圖像特征和圖像目標類別及可信度，引入repvgg-style算法，升級輸出層網絡結構，運用輔助頭訓練及相應的正負樣本匹配策略，并融入bconv、mp、cat、rap等模塊，提高yolov7網絡輸出層的整體性能及預測的準確度。可以實現對錄制視頻中的行人在各個時刻所處位置的標定，從而獲取行人在相機坐標系下的三維軌跡坐標，實現了行人檢測這一過程。本算法將所有卷積conv層替換shufflenetv2結構，通過通道間混洗和稀疏連接。免去傳統復雜的卷積過程，實現對模型的有效壓縮，有利于將該yolov7算法部署于資源受限的嵌入式設備。
7、所述deep-sort模型基于改進的卡爾曼濾波算法實現，利用所得到的前一幀目標信息，來預測對應目標在后一幀的跟蹤信息。在行人軌跡跟蹤過程中，如果物體發生遮擋，則無法獲得目標的表觀特征，從而造成目標丟失的現象。kalman濾波算法通過運動信息對目標對象的運動模型進行構建，可以有效的緩解因遮擋而造成的漏檢、誤檢問題，提高了行人軌跡跟蹤的精確度。
8、所述最小二乘法，本專利技術采用最小二乘法對行人軌跡進行實時預測。為了實現對行人軌跡實時的預測，需要構造出yc和xc之間的對應關系，xc為行人在相機坐標系下的橫坐標，yc為行人在相機坐標系下的縱坐標，為了進一步降低算法對算力的要求，本專利技術采用運動分解的方法，分別研究了yc和t以及xc和t的關系，并在yc和xc方向進行擬合和預測。具體在下面方法部分介紹。
9、所述基于deep-sort模型與最小二乘法相融合的行人軌跡預測方法，具體步驟如下：
10、步本文檔來自技高網...
【技術保護點】
1.一種基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟S301計算深度相機坐標系下行人軌跡三維坐標Xc,Yc,Zc的具體方法如下：
3.根據權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟S405的多項式擬合包括：
4.根據權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟S202的初始化包括：
5.根據權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟S211中IOU計算方法是兩個矩形框交集面積與并集面積的比值。
6.根據權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟S212中的IOU閾值設定為一個介于0到1之間的數，如0.5。
7.一種實現如權利要求1所述的基于Deep-SORT與最小二乘法的行人軌跡預測方法的
8.根據權利要求7所述的基于Deep-SORT與最小二乘法的行人軌跡預測系統，其特征在于，所述改進的Yolov7算法模塊包括3個部分：輸入層，骨干網絡層，輸出層；
9.根據權利要求7所述的基于Deep-SORT與最小二乘法的行人軌跡預測系統，其特征在于，改進的Yolov7算法模塊使用SiLU作為激活函數。
10.根據權利要求7所述的基于Deep-SORT與最小二乘法的行人軌跡預測系統，其特征在于，所述Open?NI庫，嵌套于Python之中，負責對Astro?Pro?3D深度相機采集的行人行走視頻進行錄制及回放，為后續行人檢測提供數據源。
...【技術特征摘要】
1.一種基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟s301計算深度相機坐標系下行人軌跡三維坐標xc,yc,zc的具體方法如下：
3.根據權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟s405的多項式擬合包括：
4.根據權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟s202的初始化包括：
5.根據權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟s211中iou計算方法是兩個矩形框交集面積與并集面積的比值。
6.根據權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法，其特征在于，所述步驟s212中的iou閾值設定為一個介于0到1之間的數，如0.5。
7.一種實現如權利要求1所述的基于deep-sort與最小二乘法的行人軌跡預測方法的系統，其特征在于，包括：包括：3d深度相機、改進的yolov7算法模塊、deep-sort模塊、坐標轉換模塊、最...
【專利技術屬性】
技術研發人員：王興銳，何友國，張春光，劉國偉，司浩睿，李嘉琪，劉家齊，
申請(專利權)人：江蘇大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。