【技術實現步驟摘要】
本公開涉及自動駕駛，尤其涉及地圖構建，公開了一種基于零樣本深度學習的要素提取以及地圖生成方法、裝置。
技術介紹
1、隨著自動駕駛技術的發展，道路要素不僅僅是保障行人及行車安全的標識，也是滿足自動駕駛需求的高精度地圖中不可或缺的基本元素。現有的道路要素提取技術主要分為基于圖像的檢測方法和基于點云的檢測方法。
2、基于圖像的檢測方法主要優點是圖像具有較高的分辨率和豐富的紋理信息，檢測效果較為理想。然而，基于圖像的檢測方法有以下不足：
3、環境依賴性強：圖像檢測受光照、天氣等外部條件影響較大，導致魯棒性較差；缺乏空間信息：二維圖像檢測方法無法直接獲取三維幾何信息，導致在構建高精度地圖時，無法提供精確的三維定位；人工成本高：各個國家的道路要素存在一定差異，制作不同的數據集人工成本高。
4、基于點云的檢測方法中激光雷達生成的三維點云數據包含了豐富的空間信息，可以更精確地表示道路要素的物理位置。然而，點云檢測也存在不足：
5、計算成本高：處理大量點云數據需要高計算資源，特別是在實時應用中，難以高效完成處理；數據稀疏性：由于激光雷達的工作方式，尤其在遠距離或復雜地形下，點云數據往往稀疏、不完整，影響要素提取的精度。
技術實現思路
1、本公開至少提供了一種基于零樣本深度學習的要素提取以及地圖生成方法、裝置，解決了實際生產中道路要素提取精度較低、魯棒性較差、難以投影到3d點云數據中、數據集制作人工成本高、實時性差等問題中的至少一種。
2、根
3、獲取預先訓練完成的道路要素深度學習模型以及需要進行道路要素提取的三維點云圖像；
4、將所述三維點云圖像進行強度投影，得到二維強度投影圖像；
5、將二維強度投影圖像輸入所述道路要素深度學習模型，得到所述道路要素深度學習模型輸出的道路要素的關鍵點二維坐標信息；所述道路要素深度學習模型包括依次包括yolov8-obb旋轉框模型、包含pca算法的計算模塊、多頭centernet關鍵點檢測模型；
6、根據所述道路要素深度學習模型的處理邏輯的反向邏輯，確定所述關鍵點二維坐標信息在所述二維強度投影圖像上的二維坐標信息；
7、根據所述強度投影的處理邏輯的反向邏輯以及所述關鍵點二維坐標信息在所述二維強度投影圖像上的二維坐標信息，確定所述道路要素在所述三維點云圖像上的三維坐標；
8、其中，用于訓練所述多頭centernet關鍵點檢測模型的數據集按照如下步驟得到：
9、獲取多張三維點云樣本圖像，并將各三維點云樣本圖像分別進行強度投影，得到多張二維強度樣本投影圖像；
10、利用各二維強度樣本投影圖像，確定多個道路要素標識模版以及各道路要素標識模版對應的關鍵點；
11、將各道路要素標識模版填充第一目標場景顏色，并分別按照第一預設角度范圍進行至少一次旋轉，得到多張第一道路要素模版圖像，并將第一道路要素模版圖像形成的數據集作為訓練所述多頭centernet關鍵點檢測模型的數據集；
12、其中，用于訓練所述yolov8-obb旋轉框模型的數據集按照如下步驟得到：
13、將各道路要素標識模版填充第二目標場景顏色，并分別按照第二預設角度范圍進行至少一次旋轉，得到多張第二道路要素模版圖像；將得到的第二道路要素模版圖像按照隨機確定的至少一個位置粘貼到至少一張道路背景圖像上，得到多張訓練樣本圖像；
14、將所述訓練樣本圖像形成的數據集作為訓練所述yolov8-obb旋轉框模型的數據集；
15、其中，所述道路要素深度學習模型的處理邏輯如下：
16、利用yolov8-obb旋轉框模型從二維強度投影圖像上提取道路要素的旋轉框位置信息；所述旋轉框位置信息為二維坐標信息；
17、使用pca算法對道路要素的旋轉框位置信息進行主成分分析，獲取到旋轉框主方向；
18、根據旋轉框主方向與豎直方向的夾角，將二維強度投影圖像上的道路要素對應的像素點進行旋正處理；
19、利用多頭centernet關鍵點檢測模型對旋正后的道路要素進行關鍵點提取，得到關鍵點二維坐標信息。
20、在一種可能的實施方式中，所述將所述三維點云圖像進行強度投影，得到二維強度投影圖像，包括：
21、根據所述三維點云圖像中各個點的位置信息，確定點云的寬度和高度；
22、根據點云的寬度和高度，將所述三維點云圖像中各個點映射到圖像網格中，得到各個點在二維強度投影圖像中的位置索引；
23、針對只有一個點的圖像網格，將圖像網格中點的強度填入對應的圖像網絡中；針對有多個點云的圖像網格，將最大的強度填入對應的圖像網絡中。
24、在一種可能的實施方式中，所述根據所述三維點云圖像中各個點的位置信息，確定點云的寬度和高度，包括：
25、根據所述三維點云圖像中各個點的位置信息，確定點云在x方向上的最大值和最小值；
26、根據點云在x方向上的最大值、點云在x方向上的最小值、預設分辨率，確定點云的寬度；
27、根據所述三維點云圖像中各個點的位置信息，確定點云在y方向上的最大值和最小值；
28、根據點云在y方向上的最大值、點云在y方向上的最小值、預設分辨率，確定點云的高度；
29、其中x方向和y方向互相垂直。
30、在一種可能的實施方式中，所述根據點云的寬度和高度，將所述三維點云圖像中各個點映射到圖像網格中，得到各個點在二維強度投影圖像中的位置索引，包括：
31、針對每個點，根據該點在y方向上的坐標、所述點云在y方向上的最大值以及所述預設分辨率，確定該點在y方向上的第一索引；根據該點在x方向上的坐標、所述點云在x方向上的最大值以及所述預設分辨率，確定該點在x方向上的第二索引；將所述第一索引和所述第二索引，作為該點在二維強度投影圖像中的位置索引。
32、在一種可能的實施方式中，所述使用pca算法對道路要素的旋轉框位置信息進行主成分分析，獲取到旋轉框主方向，包括：
33、根據所述道路要素的旋轉框位置信息，確定旋轉框的質心的二維坐標；
34、利用所述質心的二維坐標對所述旋轉框的各個邊界點進行去中心化處理，得到各個邊界點對應的去中心化點；
35、利用各個去中心化點的坐標，確定協方差矩陣；
36、對所述協方差矩陣進行特征值分解，并根據所述特征值分解的結果確定旋轉框主方向。
37、在一種可能的實施方式中，所述利用所述質心的二維坐標對所述旋轉框的各個邊界點進行去中心化處理，得到各個邊界點對應的去中心化點，包括：
38、針對每個邊界點，利用如下公式進行所述去中心化處理：
39、p′i＝(xi-cx,yi-cy)
40、其中，(cx，cy)表示質心的二本文檔來自技高網...
【技術保護點】
1.一種基于零樣本深度學習的要素提取方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述三維點云圖像進行強度投影，得到二維強度投影圖像，包括：
3.根據權利要求2所述的方法，其特征在于，所述根據所述三維點云圖像中各個點的位置信息，確定點云的寬度和高度，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據點云的寬度和高度，將所述三維點云圖像中各個點映射到圖像網格中，得到各個點在二維強度投影圖像中的位置索引，包括：
5.根據權利要求1所述的方法，其特征在于，所述使用PCA算法對道路要素的旋轉框位置信息進行主成分分析，獲取到旋轉框主方向，包括：
6.根據權利要求5所述的方法，其特征在于，所述利用所述質心的二維坐標對所述旋轉框的各個邊界點進行去中心化處理，得到各個邊界點對應的去中心化點，包括：
7.根據權利要求1所述的方法，其特征在于，所述第一目標場景顏色和/或第二目標場景顏色為白色。
8.一種基于零樣本深度學習的要素提取裝置，其特征在于，包括：
9.一種地圖生
10.一種地圖生成裝置，其特征在于，包括：
...【技術特征摘要】
1.一種基于零樣本深度學習的要素提取方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述三維點云圖像進行強度投影，得到二維強度投影圖像，包括：
3.根據權利要求2所述的方法，其特征在于，所述根據所述三維點云圖像中各個點的位置信息，確定點云的寬度和高度，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據點云的寬度和高度，將所述三維點云圖像中各個點映射到圖像網格中，得到各個點在二維強度投影圖像中的位置索引，包括：
5.根據權利要求1所述的方法，其特征在于，...
【專利技術屬性】
技術研發人員：何翔，高志明，潘家鑫，王爽，張少彬，朱冬波，馮宇，袁嘉銘，孫喜亮，郭彥明，
申請(專利權)人：成都綠土智途科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。