一種基于社會意圖交互的行人軌跡預測方法技術

技術編號：44531482 閱讀：3 留言：0更新日期：2025-03-07 13:20

本發明專利技術實施例公開了一種基于社會意圖交互的行人軌跡預測方法，涉及智能制造技術領域，能夠提高行人軌跡預測的準確率與成功率。本發明專利技術包括：在連續幀提取場景中行人位置信息，創建數據列表；通過數據列表，設計運動狀態分析模塊，對行人進行運動學分析，分別構建主體和鄰居群的狀態張量；搭建網絡對所述狀態張量進行編碼、意圖信息提取，實現意圖交互；對所述交互結果進行解碼，獲取場景中主體的軌跡表征；利用設計的軌跡優化器對所述軌跡表征進行優化，實現完整，準確的行人軌跡預測。本發明專利技術適用于密集行人場景中的行人軌跡預測。

全部詳細技術資料下載

【技術實現步驟摘要】

本專利技術涉及一般的圖像數據處理或產生技術中的預測技術分支，主要用于涉及新一代信息技術的智能制造場景，尤其涉及一種基于社會意圖交互的行人軌跡預測方法。

技術介紹

1、行人軌跡預測是指在給定一段時間內的行人位置歷史數據時，預測未來某段時間內行人可能的運動軌跡。這項技術在自動駕駛，智能制造等強人機交互領域具有廣泛應用。但是實際場景中的復雜情境給行人軌跡預測任務帶來了很大挑戰。一方面，行人運動具有高度的自主性和靈活性，尤其是在社會環境下，行人的行進路線受到各種復雜因素的影響。另一方面，空間場景中主體行人的鄰居數量不斷變化，如何對其進行處理并分析他們與主體之間社會意圖的交互對于最終軌跡預測結果的影響至關重要。因此亟需一種基于社會意圖交互的行人軌跡預測方法，在空間場中實現有效、精確的行人軌跡預測。

2、早期方法難以捕捉復雜的環境以及潛在狀態信息，它們被基于數據驅動的深度學習方法取代。現有方法已經解決一些挑戰，基于lstm的方法分析主體與鄰居的社交互動行為，對交互信息平等對待，無法挖掘未來時刻潛在關鍵信息。雖然基于注意力機制的方法對主體和鄰居的交互信息不再平等處理，但也僅限注意力機制之間的外部交互，無法捕捉主體與鄰居之間的內在聯系，同時在遠距離行人的處理上浪費較多計算資源。基于vae的方法利用隨時間生成的潛在變量開展軌跡測的工作，但對于鄰里關系的社交分析不夠深入。現有的方法存在一個共同問題，誤差隨著預測時期的增長而逐步增大。因此，如何在復雜場景中提高行人軌跡預測的準確性，以便于實現可靠的行人軌跡預測，成為了需要研究解決的問題。</p>

技術實現思路

1、本專利技術的實施例提供一種基于社會意圖交互的行人軌跡預測方法，能夠提高行人軌跡預測的準確性。

2、為達到上述目的，本專利技術的實施例采用如下技術方案：

3、一種基于社會意圖交互的行人軌跡預測方法，包括：

4、s1、從所拍攝的視頻數據的連續幀中提取場景中的行人位置信息，并根據所述行人位置信息創建數據列表；

5、s2、利用所述數據列表，對進行行人的運動學分析，并獲取主體和鄰居群的狀態張量；

6、s3、利用所述狀態張量進行意圖交互，并得到交互結果；

7、s4、對所述交互結果進行解碼，并得到場景中主體的軌跡表征；

8、s5、對所述軌跡表征進行優化后，在將最終得到的軌跡進行dbscan聚類處理。

9、其中，在所創建的數據列表中，第一列為所選觀察時刻，第二列為被選定作為主體的行人id，第三和第四列為作為主體的行人在二維平面中的橫坐標信息和縱坐標信息。例如：對于每一幀觀察時刻的圖像，提取圖像中所有行人當前的位置，構建數據列表。第一列為所選觀察時刻，第二列為被選定作為主體的行人id，三四列為主體當前時刻在二維平面中的位置。可以依次選定一個目標進行考察，其他行人暫定為全局鄰居。

10、進一步的，可以專注于全局觀察下所有行人的運動狀態，設計運動狀態分析模塊；具體的，引入行人的感知信息設計運動狀態模塊，根據選定主體和鄰居群之間的關系進行建模。選定主體i和鄰居j進行運動狀態分解，融入感知信息為進一步構建主體和鄰居群的狀態張量做準備。s2具體包括：對當前主體進行運動狀態分析，得到主體的狀態張量s；對當前主體的鄰居群進行運動狀態分析，得到鄰居群的狀態張量o。其中，所述對當前主體進行運動狀態分析，得到主體的狀態張量s，包括：建立所述連續幀的整個觀察時期 t ob內主體的狀態張量為，n表示需要處理的主體批次，表示實數域；主體i的在t時刻的運動狀態為( x t i, y t i, v t i, θ t i)， x t i, y t i分別表示t時刻下主體i在場景中的位置的橫坐標和縱坐標， v t i, θ t i分別表示t時刻下主體i在場景中的切向速度變量和法向速度變量；，，主體i的切向速度表示為 v t ix，主體i的法向速度表示為 v t iy。

11、在構建主體i的狀態張量后，利用與分析主體的狀態張量同樣的方式對鄰居群中每一個體進行運動狀態分解，可以得到鄰居群中每一個體的狀態張量，從而進一步描述主體和鄰居群之間的交互信息。所述對當前主體的鄰居群進行運動狀態分析，得到鄰居群的狀態張量o，包括：建立所述連續幀的整個觀察時期 t ob內鄰居群的狀態張量為， n n表示鄰居的數量，鄰居j在t時刻的運動感知狀態表示為，表示主體i與鄰居j在t時刻的距離， θ t ij表示主體i與鄰居j的速度夾角，，， x t j, y t j分別表示t時刻下鄰居j在場景中的位置的橫坐標和縱坐標， v t j表示t時刻下鄰居j在場景中的切向速度變量，→為矢量符號， ob t ij表示對應 t ob的最終距離；其中，，， v t ij表示主體i相對于鄰居j在t時刻的速度， v t jx表示鄰居j的切向速度，t表示當前時刻， ξ表示前時刻相對觀察時期末期的時間段( t ob? 本文檔來自技高網...

【技術保護點】

1.一種基于社會意圖交互的行人軌跡預測方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，在所創建的數據列表中，第一列為所選觀察時刻，第二列為被選定作為主體的行人id，第三和第四列為作為主體的行人在二維平面中的橫坐標信息和縱坐標信息。

3.根據權利要求2所述的方法，其特征在于，S2包括：

4.根據權利要求3所述的方法，其特征在于，所述對當前主體進行運動狀態分析，得到主體的狀態張量S，包括：獲取在連續幀的整個觀察時期Tob內主體的狀態張量，N表示需要處理的主體批次，表示實數域；

5.根據權利要求4所述的方法，其特征在于，所述對當前主體的鄰居群進行運動狀態分析，得到鄰居群的狀態張量O，包括：

6.根據權利要求1所述的方法，其特征在于，S3包括：

7.根據權利要求6所述的方法，其特征在于，所述對所得到的狀態張量進行預處理，包括：對鄰居群的狀態張量進行線性變換處理和位置編碼，并得到針對鄰居群的預處理結果，其中，dmodel表示Ope的特征維度，Ope投影到Query的向量為Qho，投影到Key的向量為

8.根據權利要求7所述的方法，其特征在于，所述利用鄰居群的意圖信息獲取注意力權重，包括：獲取鄰居群中每一個頭的注意力權重Aho，，Mo表示感知掩碼，當大于ri時則判定為非鄰居，ri為觀察半徑，交互結果解碼器的輸入為，主體意圖提取模塊的輸入為。

9.根據權利要求8所述的方法，其特征在于，所述利用所述注意力權重確定意圖交互的結果，包括：在的鄰居數量Nn維度進行平均處理，平均處理結果為，其中，Tob表示觀察時期的最后一個時刻；

10.根據權利要求1所述的方法，其特征在于，S4包括：

...

【技術特征摘要】

1.一種基于社會意圖交互的行人軌跡預測方法，其特征在于，包括：

3.根據權利要求2所述的方法，其特征在于，s2包括：

4.根據權利要求3所述的方法，其特征在于，所述對當前主體進行運動狀態分析，得到主體的狀態張量s，包括：獲取在連續幀的整個觀察時期tob內主體的狀態張量，n表示需要處理的主體批次，表示實數域；

5.根據權利要求4所述的方法，其特征在于，所述對當前主體的鄰居群進行運動狀態分析，得到鄰居群的狀態張量o，包括：

6.根據權利要求1所述的方法，其特征在于，s3包括：

7.根據權利要求6所述的方法，其特征在于，所述對所得到的狀態張量...

【專利技術屬性】
技術研發人員：陳凱，趙曉冬，黃煜杰，方國宇，張安磊，
申請(專利權)人：南京航空航天大學，
類型：發明
國別省市：

全部詳細技術資料下載我是這個專利的主人

相關技術

網友詢問留言已有0條評論

還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

發布您的意見

相關領域技術