本發明專利技術公開一種基于自回歸同步預測及規劃的端到端自動駕駛方法和系統，該方法包括：S1數據輸入：輸入多模態數據和自車狀態，其中，多模態數據包括點云和多視圖圖像；S2特征編碼：將點云和多視圖圖像分別通過點云編碼器和圖像編碼器獲得BEV視角下的點云特征F<subgt;l</subgt;和多視圖圖像特征F<subgt;i</subgt;，并將自車狀態通過自車編碼器編碼獲得自車狀態的查詢特征Q<subgt;e</subgt;；S3環境感知：分別通過3D障礙物檢測、地圖檢測和紅綠燈檢測獲得目標狀態S<subgt;a</subgt;和目標特征Q<subgt;a</subgt;、地圖狀態S<subgt;m</subgt;和地圖特征Q<subgt;m</subgt;、紅綠燈狀態S<subgt;t</subgt;和紅綠燈特征Q<subgt;t</subgt;，并通過靜態場景的Occupancy檢測獲得Occupancy狀態的預測結果S<subgt;c</subgt;；S4同步預測及規劃：通過自回歸方式將未來N個時刻的自車狀態和目標狀態拆解為利用過去及當前時刻的狀態及環境信息預測下一時刻的狀態，依次往復得到所有N個時刻的狀態。
【技術實現步驟摘要】
本專利技術涉及自動駕駛，尤其涉及一種基于自回歸同步預測及規劃的端到端自動駕駛方法和系統。
技術介紹
1、在自動駕駛、機器人及其他智能體等
，尤其是在自動駕駛領域，一般將自動駕駛整個技術棧拆解為環境感知、跟蹤及后融合、預測以及規劃等子模塊進行單獨處理。近期，學術界掀起了端到端自動駕駛技術研究的熱潮，比較有代表性的如uniad、vad等。端到端自動駕駛技術相對于早期的多任務流式處理的方式相比，突出的優勢在于：1.簡化不必要的環節。比如跟蹤及后融合，甚至所有中間環節都可拋棄；2.極大簡化部署流程，直接一個模型就能解決；3.數據驅動的ai，上限更高，同時可以極大的簡化規則化的代碼量。
2、近年來端到端自動駕駛領域具有代表性的方案是uniad、vad等。他們的提出打破了人們對端到端自動駕駛的質疑，因為他們從結構設計上就具備一定的可解釋性。uniad是第一個被提出并且獲得廣泛的端到端自動駕駛解決方案。它的特點是具有完整的環境感知、跟蹤、預測、occupancy以及規劃等子功能模塊，同時其巧妙的利用transformer將各個模塊有效的連接起來實現了端到端自動駕駛。但是uniad也有比較明顯的缺點，即模型結構過于復雜，給模型訓練和部署帶來了很大的挑戰。vad采用了矢量化的方法將中間任務都矢量化以圖增加計算效率和節省顯存。
技術實現思路
1、針對現有技術中的問題，本專利技術旨在基于自回歸同步預測及規劃的方法進一步簡化端到端自動駕駛復雜度同時提升端到端自動駕駛技術的性能。
<
p>2、為了達到上述目的，本專利技術的技術方案提供了一種基于自回歸同步預測及規劃的端到端自動駕駛方法，其包括如下步驟：s1數據輸入：輸入多模態數據和自車狀態，其中，多模態數據包括點云和多視圖圖像；s2特征編碼：將點云和多視圖圖像分別通過點云編碼器和圖像編碼器獲得bev視角下的點云特征fl和多視圖圖像特征fi，并將自車狀態通過自車編碼器編碼獲得自車狀態的查詢特征qe；s3環境感知：分別通過3d障礙物檢測、地圖檢測和紅綠燈檢測獲得目標狀態sa和目標特征qa、地圖狀態sm和地圖特征qm、紅綠燈狀態st和紅綠燈特征qt，并通過靜態場景的occupancy檢測獲得occupancy狀態的預測結果sc；s4同步預測及規劃：通過自回歸方式將未來n個時刻的自車狀態和目標狀態拆解為利用過去及當前時刻的狀態及環境信息預測下一時刻的狀態，依次往復得到所有n個時刻的狀態。3、進一步地，在步驟s3中，occupancy檢測具體包括：首先將點云特征fl和可學習的全局查詢qg相加后先做自注意力；再通過deformer?attention從圖像特征fi查詢得到融合后的bev特征；隨后將上述bev特征跟歷史的bev特征合并，再經過bev編碼器得到occupancy特征qc；最后升維得到最終的occupancy狀態的預測結果sc。
4、進一步地，在步驟s3中，采用query-based的稀疏3d目標檢測范式實現3d障礙物檢測、地圖檢測和紅綠燈檢測。
5、進一步地，步驟s4具體包括：s41：將t時刻的自車特征qe和目標特征qa合并后得到查詢q；s42：將t時刻的自車狀態se和目標狀態sa合并后經過位置編碼器得到位置編碼特征qpos；s43：將紅綠燈狀態st、occupancy狀態sc、地圖狀態sm合并之后分別經過狀態編碼器和位置編碼器分別得到環境狀態特征ese和kpos；s45：將紅綠燈特征qt、occupancy特征qc、地圖特征qm合并之后跟環境狀態特征ese相加后得到特征k和v；s46：將q、qpos、k、v和kpos一起送入transformer得到下一時刻，即t+1時刻的狀態。
6、進一步地，所述自車狀態包括自車尺寸和當前位姿速度，所述地圖狀態包括矢量點坐標及類別，occupancy狀態包括每個體素是否占用及類別信息。
7、本專利技術的技術方案還提供了一種基于自回歸同步預測及規劃的端到端自動駕駛系統，其包括如下模塊：數據輸入模塊，用于輸入多模態數據和自車狀態，其中，多模態數據包括點云和多視圖圖像；特征編碼模塊，用于將點云和多視圖圖像分別通過點云編碼器和圖像編碼器獲得bev視角下的點云特征fl和多視圖圖像特征fi，并將自車狀態通過自車編碼器編碼獲得自車狀態的查詢特征qe；環境感知模塊，用于分別通過3d障礙物檢測、地圖檢測和紅綠燈檢測獲得目標狀態sa和目標特征qa、地圖狀態sm和地圖特征qm、紅綠燈狀態st和紅綠燈特征qt，并通過靜態場景的occupancy檢測獲得occupancy狀態的預測結果sc；同步預測及規劃模塊，用于通過自回歸方式將未來n個時刻的自車狀態和目標狀態拆解為利用過去及當前時刻的狀態及環境信息預測下一時刻的狀態，依次往復得到所有n個時刻的狀態。
8、進一步地，所述環境感知模塊按照如下步驟實現occupancy檢測：首先將點云特征fl和可學習的全局查詢qg相加后先做自注意力；再通過deformer?attention從圖像特征fi查詢得到融合后的bev特征；隨后將上述bev特征跟歷史的bev特征合并，再經過bev編碼器得到occupancy特征qc；最后升維得到最終的occupancy狀態的預測結果sc。
9、進一步地，所述環境感知模塊采用query-based的稀疏3d目標檢測范式實現3d障礙物檢測、地圖檢測和紅綠燈檢測。
10、進一步地，所述同步預測及規劃模塊執行如下步驟：將t時刻的自車特征qe和目標特征qa合并后得到查詢q；將t時刻的自車狀態se和目標狀態sa合并后經過位置編碼器得到位置編碼特征qpos；將紅綠燈狀態st、occupancy狀態sc、地圖狀態sm合并之后分別經過狀態編碼器和位置編碼器分別得到環境狀態特征ese和kpos；將紅綠燈特征qt、occupancy特征qc、地圖特征qm合并之后跟環境狀態特征ese相加后得到特征k和v；將q、qpos、k、v和kpos一起送入transformer得到下一時刻，即t+1時刻的狀態。
11、本專利技術的技術方案還提供了一種包含計算機程序的計算機可讀存儲介質，當所述計算機程序被一個或多個處理器執行時，執行如上所述的方法。
本文檔來自技高網...
【技術保護點】
1.一種基于自回歸同步預測及規劃的端到端自動駕駛方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于，在步驟S3中，Occupancy檢測具體包括：
3.根據權利要求2所述的方法，其特征在于，在步驟S3中，采用Query-Based的稀疏3D目標檢測范式實現3D障礙物檢測、地圖檢測和紅綠燈檢測。
4.根據權利要求3所述的方法，其特征在于，步驟S4具體包括：
5.根據權利要求4所述的方法，其特征在于，所述自車狀態包括自車尺寸和當前位姿速度，所述地圖狀態包括矢量點坐標及類別，Occupancy狀態包括每個體素是否占用及類別信息。
6.一種基于自回歸同步預測及規劃的端到端自動駕駛系統，其特征在于，包括如下模塊：
7.根據權利要求6所述的系統，其特征在于，所述環境感知模塊按照如下步驟實現Occupancy檢測：
8.根據權利要求7所述的系統，其特征在于，所述環境感知模塊采用Query-Based的稀疏3D目標檢測范式實現3D障礙物檢測、地圖檢測和紅綠燈檢測。
9.根據權利要求8所述的系統，其特征在于，所述同步預測及規劃模塊執行如下步驟：
10.一種包含計算機程序的計算機可讀存儲介質，其特征在于，當所述計算機程序被一個或多個處理器執行時，執行如權利要求1-5中任一項所述的方法。
...
【技術特征摘要】
1.一種基于自回歸同步預測及規劃的端到端自動駕駛方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于，在步驟s3中，occupancy檢測具體包括：
3.根據權利要求2所述的方法，其特征在于，在步驟s3中，采用query-based的稀疏3d目標檢測范式實現3d障礙物檢測、地圖檢測和紅綠燈檢測。
4.根據權利要求3所述的方法，其特征在于，步驟s4具體包括：
5.根據權利要求4所述的方法，其特征在于，所述自車狀態包括自車尺寸和當前位姿速度，所述地圖狀態包括矢量點坐標及類別，occupancy狀態包括每個體素是否占用及類別信息。
...
【專利技術屬性】
技術研發人員：何弢，廖文龍，李現飛，彭湃，
申請(專利權)人：酷哇科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。