【技術實現步驟摘要】
本專利技術涉及無人自動駕駛，特別是涉及一種點云實時語義分割自動駕駛路障檢測方法及系統。
技術介紹
1、自動駕駛可以極大減少人們在交通上的時間消耗，同時為無法開車的群體提供出行便利，進一步提升了人們對自動駕駛的需求。與此同時，自動駕駛車輛的路徑規劃和車流優化能力有助于緩解交通擁堵、減少能源消耗，提升整體交通效率。對于自動駕駛技術是指通過各種傳感器、算法和控制系統，使車輛能夠在沒有人類駕駛員干預的情況下安全行駛的能力。然而，在實際生產生活中，自動駕駛技術還在探索階段，自動駕駛車輛需要實時檢測并避讓路障，如行人、其他車輛、施工障礙物、掉落物等，以保障行車安全和順暢。
2、路障檢測是自動駕駛系統確保車輛安全行駛的關鍵一步，未檢測到路障可能導致車輛發生碰撞，危及車內乘客和周圍行人的安全。自動駕駛車輛通常行駛在開放且復雜的環境中，路障類型多樣且位置不確定，準確檢測各類障礙物，幫助自動駕駛系統更靈活地應對復雜環境中的多樣性是一個挑戰。與此同時，通過準確檢測路障，系統可以實時規劃安全行駛路徑，繞過路障或采取相應的避讓措施，確保行駛的順暢性。
3、路障檢測依賴多種傳感器的協同工作，包括激光雷達（lidar）、攝像頭、毫米波雷達和超聲波傳感器等。這些傳感器能夠提供實時的環境數據，為檢測和識別路障提供了技術基礎。目前在路障檢測領域常用的有圖像檢測技術、點云檢測技術、多模態融合，而點云檢測技術在三維空間信息、距離測量準確性、環境適應性和實時性上具有明顯優勢。現有的點云檢測技術包括基于點的、基于體素的、偽圖像和混合表示，而混合表示
技術實現思路
1、本專利技術的目的是，提供一種點云實時語義分割自動駕駛路障檢測方法及系統。該方法巧妙地利用了點云嵌入過程中的局部特征提取以及三維點云和距離圖像的混合投影，從而提高了精度和效率。同時，本專利技術方法可以顯著地減少系統的運行時間，從而實現對路障的實時檢測。
2、為了實現上述的技術問題，本專利技術的技術方案是：
3、第一方面，本專利技術提供一種點云實時語義分割自動駕駛路障檢測方法，所述檢測方法包括以下內容：
4、使用激光雷達lidar獲取場景的三維點云數據，包括點的笛卡爾坐標系中的三維坐標，lidar強度值和lidar發射點到目標物體之間的歐氏距離；并為采集的點云數據每個幀標注相應的標簽，獲得數據集；所述標簽包括柵欄物類、自行車類、公共汽車類、小轎車類、拖車類、卡車類、摩托車類、人行道類、草地類、步行者類；
5、構建點云分割模型：
6、所述點云分割模型采用深度學習架構pcformer，包括點云嵌入階段、共享階段和分割頭階段；
7、對點云數據進行預處理后，得到一個點云p0∈rn1×5，其中n1是點云中的點的個數，5是每個點的特征的維數；在點云嵌入階段，p0通過一個一維卷積層將五個特征映射到128維，得到高維特征點云p1；同時在點云p0上構建k維樹，利用構建k維樹來檢索到每個點的k近鄰并構建張量pn，張量pn再由兩個二維卷積和修正線性單元激活函數處理后獲得鄰近特征點云pn∈rk×n1×5，之后，對鄰近特征點云pn進行最大池化操作，獲得輸出點云p2∈rn1×128，點云p2與p1具有相同的點數和特征尺寸；將高維特征點云p1和點云p2進行拼接得到點云p3，隨后點云p3經過一維卷積重新映射為128的特征尺寸，一維卷積映射后的點云表示為pe∈rn1×128；
8、在共享階段，以pe作為輸入，通過一系列的空間混合模塊和通道混合模塊對點云pe進行處理，獲得合并點云；共享階段空間混合模塊和通道混合模塊的組合數量為四個，每個空間混合模塊處理不同平面上的數據；
9、在分割頭階段，包括一維卷積和softmax層，共享階段輸出的合并點云經過一個一維卷積后，使用softmax層來推斷最終的標簽，輸出的標簽是對點云中每個點的分類結果；
10、深度學習架構pcformer使用python實現，并使用c++和cuda進行加速，利用數據集訓練后，獲得訓練后的點云分割模型，用于在自動駕駛場景中對路障信息進行實時檢測分類。
11、進一步地，四個空間混合模塊，將3d點云映射為不同的2d投影，每個空間混合模塊均包括批歸一化模塊、映射模塊、二維深度卷積dw?conv2d、relu激活函數、二維逐點卷積pwconv2d、重映射模塊、一維分組卷積gp?conv1d；
12、四個空間混合模塊中的四個映射模塊將輸入點云依次映射為平面xy的正交投影、平面xz的正交投影和平面yz的正交投影以及一個二維的距離圖；重映射模塊用于將2d投影映射還原為3d點云；
13、通道混合模塊包括批歸一化模塊、兩個由relu激活函數分隔的一維深度卷積和一維逐點卷積、一個一維分組卷積；
14、空間混合模塊的輸出與輸入跳躍連接后作為通道混合模塊的輸入，通道混合模塊的輸入和輸出跳躍連接后作為下一級的輸入。
15、進一步地，所述構建k維樹的過程是：對于點云?p0中的每個點，找到其?k個鄰居，然后將這些鄰居的5維特征堆疊起來構成鄰居特征集，將所有點的鄰居特征集集中在張量pn中。
16、進一步地，對點云數據進行預處理的過程是：將連續的三維點云數據轉換為離散的體素；將點云數據裁剪至激光雷達視場，只保留激光雷達能看到的點，丟棄激光雷達視野之外的點。
17、第二方面，本專利技術提供一種點云實時語義分割自動駕駛路障檢測系統，所述系統包括：
18、點云數據采集模塊，用于通過激光雷達lidar獲取場景的三維點云數據；
19、點云數據整合模塊，用于將點云數據中的點的三維坐標、lidar強度值和lidar發射點到目標物體之間的歐氏距離整合成一個點的數據格式；
20、點云分割模型，用于對輸入點云預測場景標簽，并獲得分割圖，分割圖中每個像素都有一個對應的標簽和置信度分數；
21、標簽后處理模塊，用于對點云分割模型得到結果進行沖突解決處理和邊界平滑處理，具體過程是：
22、1）沖突解決處理：遍歷點云分割模型的分割結果，檢查是否有相同物體的不同部分，定義分割結果得到的不同的分割圖為區域，在區域內識別到的標簽物體為部分，存在同一個標簽物體被相鄰的區域所分離，而在相鄰區域內有所分離的同一標簽物體的不同部分；設置距離閾值，當兩個區域中的像素標簽相同但分屬不同部分且距離小于距離閾值時，視為沖突；對于檢測到的沖突，每類標簽設置一個置信度閾值，區域內所有像素的置信度分數和求平均為區域的置信度分數，獲取每個區域的置信度分數，若當前區域的置信本文檔來自技高網...
【技術保護點】
1.一種點云實時語義分割自動駕駛路障檢測方法，其特征在于，所述檢測方法包括以下內容：
2.根據權利要求1所述的方法，其特征在于，四個空間混合模塊，將3D點云映射為不同的2D投影，每個空間混合模塊均包括批歸一化模塊、映射模塊、二維深度卷積DW?Conv2D、ReLU激活函數、二維逐點卷積PW?Conv2D、重映射模塊、一維分組卷積Gp?Conv1D；
3.根據權利要求1所述的方法，其特征在于，所述構建K維樹的過程是：對于點云?P0中的每個點，找到其?K個鄰居，然后將這些鄰居的5維特征堆疊起來構成鄰居特征集，將所有點的鄰居特征集集中在張量Pn中。
4.根據權利要求1所述的方法，其特征在于，對點云數據進行預處理的過程是：將連續的三維點云數據轉換為離散的體素；將點云數據裁剪至激光雷達視場，只保留激光雷達能看到的點，丟棄激光雷達視野之外的點。
5.一種點云實時語義分割自動駕駛路障檢測系統，其特征在于，所述系統包括：
6.根據權利要求5所述的系統，其特征在于，所述碰撞風險評估的過程是：
7.根據權利要求6所述的系統，其特
8.根據權利要求5所述的系統，其特征在于，根據計算物體的體積，
9.根據權利要求5所述的系統，其特征在于，所述輪廓提取算法采用QuickHull凸包算法，利用QuickHull凸包算法進行處理，得到多個凸包點集，通過凸包點集拼接成一個全局凸包，再一次運用QuickHull凸包算法進行凸包合并。
...【技術特征摘要】
1.一種點云實時語義分割自動駕駛路障檢測方法，其特征在于，所述檢測方法包括以下內容：
2.根據權利要求1所述的方法，其特征在于，四個空間混合模塊，將3d點云映射為不同的2d投影，每個空間混合模塊均包括批歸一化模塊、映射模塊、二維深度卷積dw?conv2d、relu激活函數、二維逐點卷積pw?conv2d、重映射模塊、一維分組卷積gp?conv1d；
3.根據權利要求1所述的方法，其特征在于，所述構建k維樹的過程是：對于點云?p0中的每個點，找到其?k個鄰居，然后將這些鄰居的5維特征堆疊起來構成鄰居特征集，將所有點的鄰居特征集集中在張量pn中。
4.根據權利要求1所述的方法，其特征在于，對點云數據進行預處理的過程是：將連續的三維點云數據轉換為...
【專利技術屬性】
技術研發人員：周童童，姜楠，王翔宇，孫浚博，趙宏宇，李子莫，
申請(專利權)人：華東交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。