一種相機與增強型4D毫米波雷達融合的3D目標檢測方法技術

技術編號：44457105 閱讀：9 留言：0更新日期：2025-02-28 19:04

本發明專利技術提出的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，設計了一種簡單有效的點云增強算法，通過增加有效的四維雷達點云來緩解點云的稀疏性問題；開發了點云特征融合增強模塊，通過構建不同尺度的稀疏體素增強目標細節特征，提高系統魯棒性。

全部詳細技術資料下載

【技術實現步驟摘要】

本專利技術屬于自動駕駛，具體是實現工業5.0下，人工智能和以人為本的自動駕駛的深度融合，是融合多模態數據繼而更好的完成檢測任務的訓練方法。

技術介紹

1、隨著自動駕駛技術的興起，基于攝像頭、毫米波雷達和激光雷達的感知系統研究取得了突破性進展，為后續的軌跡預測、運動規劃和控制提供了充足的信息。這些系統在定義明確且可預測的城市場景中取得了成功。然而，3d物體檢測作為自動駕駛感知中研究最廣泛的領域，在惡劣天氣和動態越野場景中仍面臨嚴峻挑戰。在惡劣的天氣條件下，激光雷達的衰減會顯著增加，這會影響其傳播距離，并可能導致將霧或霾誤認為障礙物。此外，由于激光雷達的低掃描頻率和狹窄的激光束，空間目標搜索變得非常困難，限制了目標搜索和捕獲的范圍。相機對光線和天氣狀況很敏感；光線不足、強光、陰影、雨雪都會影響圖像質量，降低相機的性能和可靠性。4d毫米波(mm-wave)雷達因其全天候、全天候的傳感能力以及在惡劣天氣條件和目標遮擋下的強大魯棒性而備受關注。它與相機的結合可以提供高分辨率的視覺信息，并捕獲豐富的語義特征，是當前的研究熱點。雖然相機和4d毫米波雷達的融合可以解決惡劣天氣和越野場景下的感知挑戰，但4d毫米波雷達點云的稀疏性和無序性影響了探測精度。

技術實現思路

1、有鑒于此，本專利技術提出一種相機與增強型4d毫米波雷達融合的3d目標檢測方法,通過對稀疏的4d毫米波雷達點云擴充之后，從而改善模型的訓練效果和預測精度。

2、一種相機與增強型4d毫米波雷達融合的3d目標檢測方法，包括：</p>

3、步驟1、對稀疏雷達點云數據進行點云擴充；

4、步驟2、采用大、小兩種尺寸對擴充后點云進行體素化；然后對兩種尺寸體素下的點云特征進行對應相加，得到雷達點云特征數據；

5、步驟3、將相機獲得的圖像特征數據與步驟2獲得的雷達點云特征數據進行融合；

6、步驟4、基于步驟3融合后的數據，利用檢測頭對目標進行檢測。

7、較佳的，所述步驟1中，對稀疏雷達點云數據進行點云擴充的方法包括：

8、在獲得4d毫米波雷達點后，在每個點云當前范圍內隨機生成設定點數的點；在生成點的特征確定過程中，為每個隨機生成的點找到其周圍最近的k個點云，并計算這些臨近點的特征均值，將其作為該生成點的新特征。

9、較佳的，所述步驟2中，對于每一種尺寸體素的任意一個點云點p，通過體素特征提取后，其十維信息表示為:p＝[x,y,z,rcs,xc,yc,zc,xv,yv,zv]，其中(x,y,z)表示點云點在雷達坐標系中的空間坐標；rcs為反射率；(xc,yc,zc)表示點云坐標與體素中心坐標的差值；(xv,yv,zv)表示點云坐標與體素內部點云聚類中心坐標的差值；最后兩種尺寸體素的點云點特征進行編碼，得到雷達點云特征數據。

10、較佳的，所述步驟2中，兩種尺寸的體素大小為8倍關系。

11、較佳的，所述步驟3中，利用mvxnet融合方法將相機獲得的圖像特征數據與步驟2獲得的雷達點云特征數據進行融合。

12、較佳的，所述步驟4中，基于步驟3融合后的數據，利用檢測頭對目標進行檢測的方法包括：

13、將地面真值邊界框和錨點表示為(x,y,z,w,l,h,θ)；其中，w和l分別表示邊界框的寬度和長度；h和θ分別表示高度和目標的航向角；地面真值邊界框與預測錨點之差計算如下:

14、

15、δθ＝sin(θgt-θa)

16、其中，(xa，ya，za)表示檢測頭輸出的坐標；wa和la分別表示檢測頭輸出的邊界框的寬度和長度；(xgt，ygt，zgt)表示地面真值邊界框的坐標值；wgt和hgt分別表示地面真值邊界框的寬度和高度。θgt，θa分別表示繞z軸的偏航真值和預測值；

17、da＝((wa)2+(la)2)(1/2)表示錨底對角線長度。邊界框的損耗計算如下:

18、

19、使用相同的二元交叉熵損失lcls和方向損失ldir，總損失由下式表示:

20、

21、其中，npos表示正錨點個數，β1＝2，β2＝1，β3＝0.2。

22、本專利技術具有如下有益效果：

23、本專利技術提出的一種相機與增強型4d毫米波雷達融合的3d目標檢測方法，設計了一種簡單有效的點云增強算法，通過增加有效的四維雷達點云來緩解點云的稀疏性問題；開發了點云特征融合增強模塊，通過構建不同尺度的稀疏體素增強目標細節特征，提高系統魯棒性。

本文檔來自技高網...

【技術保護點】

1.一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，包括：

2.如權利要求1所述的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，所述步驟1中，對稀疏雷達點云數據進行點云擴充的方法包括：

3.如權利要求1或2所述的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，所述步驟2中，對于每一種尺寸體素的任意一個點云點P，通過體素特征提取后，其十維信息表示為:P＝[x,y,z,RCS,xc,yc,zc,xv,yv,zv]，其中(x,y,z)表示點云點在雷達坐標系中的空間坐標；RCS為反射率；(xc,yc,zc)表示點云坐標與體素中心坐標的差值；(xv,yv,zv)表示點云坐標與體素內部點云聚類中心坐標的差值；最后兩種尺寸體素的點云點特征進行編碼，得到雷達點云特征數據。

4.如權利要求3所述的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，所述步驟2中，兩種尺寸的體素大小為8倍關系。

5.如權利要求1所述的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，所

6.如權利要求1所述的一種相機與增強型4D毫米波雷達融合的3D目標檢測方法，其特征在于，所述步驟4中，基于步驟3融合后的數據，利用檢測頭對目標進行檢測的方法包括：

...

【技術特征摘要】

1.一種相機與增強型4d毫米波雷達融合的3d目標檢測方法，其特征在于，包括：

2.如權利要求1所述的一種相機與增強型4d毫米波雷達融合的3d目標檢測方法，其特征在于，所述步驟1中，對稀疏雷達點云數據進行點云擴充的方法包括：

3.如權利要求1或2所述的一種相機與增強型4d毫米波雷達融合的3d目標檢測方法，其特征在于，所述步驟2中，對于每一種尺寸體素的任意一個點云點p，通過體素特征提取后，其十維信息表示為:p＝[x,y,z,rcs,xc,yc,zc,xv,yv,zv]，其中(x,y,z)表示點云點在雷達坐標系中的空間坐標；rcs為反射率；(xc,yc,zc)表示點云坐標與體素中心坐標的差值；(xv,yv,zv...

【專利技術屬性】
技術研發人員：范麗麗，王俊豪，鄧方，王飛躍，陳晨，曹東璞，佘紅艷，顧惠楠，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：

全部詳細技術資料下載我是這個專利的主人

相關技術

網友詢問留言已有0條評論

還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

發布您的意見

相關領域技術