本發明專利技術提供了環境感知方法和路側感知系統。該方法包括：通過編碼器，基于由位于路側的相機實時捕捉自動駕駛環境而得到的2D圖像獲得表示該自動駕駛環境的當前狀態的3D特征圖；通過多層感知器，基于該自動駕駛環境的3D參考數據獲得表征該自動駕駛環境的歷史狀態的3D參考特征圖；通過融合器，將所述3D特征圖和所述3D參考特征圖相融合，以獲得兩者特征圖的融合信息；以及通過解碼器，基于所述融合信息獲得表征該自動駕駛環境的當前狀態相對于歷史狀態的差異的差異化信息。
【技術實現步驟摘要】
本專利技術涉及一種基于深度神經網絡的環境感知方法以及一種路側感知系統。
技術介紹
1、智能交通的飛速發展對環境感知技術提出高要求。在現有技術中，通常采用前景提取(前景分割)的方式來獲得環境結果。然而，這對參考圖像具有高要求，并且存在單幅圖像可能無法可靠地描述感知環境的問題。例如，在攝像頭上出現污漬或者光照變化的情形下，單幅圖像將無法準確地表達感知環境。另外，不同的光照和天氣變化都會對單幅圖像的信息表達產生影響，從而使得該單幅圖像幾乎不適于用作參考。
技術實現思路
1、鑒于現有技術中的上述問題，本專利技術的一個方面提供了一種用于感知自動駕駛環境的方法，其包括：通過編碼器，基于由位于路側的相機實時捕捉自動駕駛環境而得到的2d圖像獲得表示該自動駕駛環境的當前狀態的3d特征圖；通過多層感知器，基于該自動駕駛環境的3d參考數據獲得表征該自動駕駛環境的歷史狀態的3d參考特征圖；通過融合器，將所述3d特征圖和所述3d參考特征圖相融合，以獲得兩者特征圖的融合信息；以及通過解碼器，基于所述融合信息獲得表征該自動駕駛環境的當前狀態相對于歷史狀態的差異的差異化信息。
2、在一個實施例中，所述3d參考數據包括以隱式表達該自動駕駛環境的3d參考數據和/或以顯式表達該自動駕駛環境的3d參考數據。
3、在一個實施例中，以隱式表達該自動駕駛環境的3d參考數據包括以下一項或多項：sdf和nerf；并且其中，以顯式表達該自動駕駛環境的3d參考數據包括以下一項或多項：3d點云和網格。
>4、在一個實施例中，所述多層感知器是預先訓練的，并且所述預先訓練包括：將所述3d參考數據作為訓練數據并根據與自動駕駛相關的環境感知任務選擇的損失函數來使得多層感知器通過自監督學習更新權重參數，并將學習到的環境信息存儲到所述多層感知器中。5、在一個實施例中，所述多層感知器是持續更新的，并且所述持續更新包括：通過bev編碼器，基于在預定時長內獲得的自動駕駛環境的新的2d圖像獲得新的3d參考數據；以及將新的3d參考數據作為訓練參數來使得多層感知器通過自監督學習更新權重參數。
6、在一個實施例中，所述的方法還包括：通過bev編碼器，基于自動駕駛環境的多視角2d圖像獲得bev空間下的所述3d參考數據。
7、在一個實施例中，所述的方法還包括：通過預處理模塊，對所述3d參考數據進行預處理，并且所述預處理包括以下一項或任意多項：基于表征自動駕駛環境的歷史狀態的多份稀疏3d參考數據，獲取表征自動駕駛環境的歷史狀態的稠密3d參考數據；基于來自于多模態傳感器的、表征自動駕駛環境的歷史狀態的多份3d參考數據，獲得表征自動駕駛環境的歷史狀態的融合3d參考數據；消除自動駕駛環境的光照變化和天氣變化對3d參考數據的影響。
8、在一個實施例中，自動駕駛環境的當前狀態相對于歷史狀態之間的所述差異包括：兩者狀態之間的前景和/或背景之間的差異。
9、本專利技術的另一個方面提供了一種路側感知系統，其包括：相機，布置于路側設施上，并構造成實時捕捉自動駕駛環境并輸出2d圖像；深度神經網絡，構成執行如上所述的方法，以獲得表征該自動駕駛環境的當前狀態相對于歷史狀態的差異的差異化信息；以及通信單元，構造成將所述差異化信息發送給車輛、邊緣云和云服務器中的一項或多項。
10、本專利技術的又一個方面提供了一種機器可讀存儲介質，其存儲有可執行指令，所述指令當被執行時使得一個或多個處理器執行如上所述環境感知方法。
11、以上給出了本專利技術主要方面的概要，以便能夠對這些方面有基本了解，并作為后文將給出的詳細描述的序言。
本文檔來自技高網...
【技術保護點】
1.一種用于感知自動駕駛環境的方法，包括：
2.如權利要求1所述的方法，其中，所述3D參考數據包括以隱式表達該自動駕駛環境的3D參考數據和/或以顯式表達該自動駕駛環境的3D參考數據。
3.如權利要求2所述的方法，其中，以隱式表達該自動駕駛環境的3D參考數據包括以下一項或多項：SDF和NeRF；并且
4.如權利要求1-3中任一項所述的方法，其中，所述多層感知器是預先訓練的，并且所述預先訓練包括：
5.如權利要求1-4中任一項所述的方法，其中，所述多層感知器是持續更新的，并且所述持續更新包括：
6.如權利要求1-5中任一項所述的方法，還包括：通過BEV編碼器，基于自動駕駛環境的多視角2D圖像獲得BEV空間下的所述3D參考數據。
7.如權利要求1-6中任一項所述的方法，還包括：通過預處理模塊，對所述3D參考數據進行預處理，并且所述預處理包括以下一項或任意多項：
8.如權利要求1-6中任一項所述的方法，其中，自動駕駛環境的當前狀態相對于歷史狀態之間的所述差異包括：兩者狀態之間的前景和/或背景之間的差異。</p>9.一種路側感知系統，包括：
10.一種機器可讀存儲介質，其存儲有可執行指令，所述指令當被執行時使得一個或多個處理器執行如權利要求1-8中任一項所述環境感知方法。
...
【技術特征摘要】
1.一種用于感知自動駕駛環境的方法，包括：
2.如權利要求1所述的方法，其中，所述3d參考數據包括以隱式表達該自動駕駛環境的3d參考數據和/或以顯式表達該自動駕駛環境的3d參考數據。
3.如權利要求2所述的方法，其中，以隱式表達該自動駕駛環境的3d參考數據包括以下一項或多項：sdf和nerf；并且
4.如權利要求1-3中任一項所述的方法，其中，所述多層感知器是預先訓練的，并且所述預先訓練包括：
5.如權利要求1-4中任一項所述的方法，其中，所述多層感知器是持續更新的，并且所述持續更新包括：
6.如權利要求1-5中任一項所述的...
【專利技術屬性】
技術研發人員：李昕潤，王磊臣，王文夫，
申請(專利權)人：羅伯特·博世有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。