用于重建道路的環境場景中的特征的方法技術

在一種用于重建道路的環境場景中的特征的方法中，生成場景的3D點云和場景的2D圖像序列。通過以下操作來識別3D點云的3D點中的候選的一部分：將3D點投影到2D圖像中的每個2D圖像，通過在圖像中的每個圖像中進行語義分割來確定3D點云的3D點中的表示特征的多個候選，將3D點的候選投影在2D圖像中的每個2D圖像中的道路的平面上，以及在2D圖像中的每個2D圖像中選擇3D點中的保持在投影范圍中的那些候選。對3D點中的所選擇的候選進行合并，以確定特征的估計位置。可以通過沿著估計位置生成擬合曲線來對特征進行建模。來對特征進行建模。來對特征進行建模。

【技術實現步驟摘要】
【國外來華專利技術】用于重建道路的環境場景中的特征的方法


[0001]各實施例涉及一種用于重建道路的環境場景中的特征(具體地，位于道路表面上方的平面中或道路附近的對象，例如，垂直特征(諸如護欄))的方法。

技術介紹

[0002]檢測和重建駕駛環境中的特征是用于生成可以用于自主或機器人輔助駕駛的精確道路數據庫的基本要求。在對駕駛環境(諸如公路)繪制地圖的任務期間，需要識別和建模道路的環境中的特征或位于道路上方的特征。具體地，必須識別垂直特征(即位于垂直地在道路上方的平面中的特征/對象，諸如護欄或其它對象)以進行重建/建模。
[0003]例如，可以通過提供深度信息的傳感器在3D空間中識別護欄。根據傳統方法，可以從激光雷達或雷達系統生成3D點云。可以通過語義分割來選擇護欄上的點。在最后一步中，可以通過所選擇的點對護欄進行建模。
[0004]垂直特征(諸如護欄)是高清3D地圖的重要組成部分。用于識別和建模這些特征的傳統方法是基于使用具有昂貴裝置(諸如上述激光雷達和雷達系統)的特殊車輛的。利用此類裝置基本上很容易獲得護欄上的許多明確定位的3D點，并且易于建模。然而，如果假設使用如在一系列客戶車輛中使用的低成本裝置(諸如單目相機)進行地圖繪制，則難以重建足夠準確的點來重建垂直特征，例如3D空間中的護欄。諸如從運動恢復結構之類的方法可以推導3D信息。然而，這些方法具有遞送的結果經常是有噪聲的缺點。

技術實現思路

[0005]本專利技術要解決的問題是提供一種用于重建道路的環境場景中的特征的方法，該方法可以由低成本裝置以高準確度來執行。
[0006]在獨立權利要求中描述了該問題的解決方案。從屬權利要求涉及本專利技術的進一步改進。
[0007]在獨立權利要求中詳述了一種用于重建/建模道路的環境場景中的特征的方法的實施例，該方法可以利用簡單的裝置來執行，但是允許以高精度對特征進行建模。
[0008]在用于重建道路的環境場景中的特征的方法的實施例中，生成場景的3D點云和該場景的2D圖像序列。在下一步中，識別3D點云的3D點中的候選的一部分。通過以下步驟來識別3D點的候選的該部分。
[0009]在第一步中，將3D點云的3D點投影到2D圖像中的每個2D圖像。在下一步中，通過在這些圖像中的每個圖像中進行語義分割來確定3D點云的3D點中的表示要重建的特征的多個候選。在下一步中，在這些2D圖像中的每個2D圖像中確定在道路的兩側的投影范圍。然后，將3D點中的所確定的候選投影到這些2D圖像中的每個2D圖像中的道路的平面上。在后續步驟中，在這些圖像中的每個圖像中選擇3D點中的保持在投影范圍內的那些候選作為3D點的候選的該部分。
[0010]在已經識別出3D點中的候選的該部分之后，對3D點中的所選擇的候選進行合并，
以確定要重建的特征的估計位置。在最后一步中，通過沿著估計位置生成擬合曲線來建模/重構特征。
[0011]在用于重建道路的環境場景中的特征的方法的實施例中，通過將點在不同視圖(例如，3D半密集點云、可以從例如前向相機捕獲的2D圖像和俯視圖表示)之間的投影來識別和建模特征(諸如護欄)。通過這種方式，可以將候選點選擇并且確認為要重建的特征(例如，護欄)的一部分，并且然后可以對其定位以進行特征的后續3D建模。
[0012]利用可以被構造為半密集點云的三維點云以及由光學傳感器(諸如前向相機)捕獲的2D圖像的語義分割，可以通過將相關3D點投影到2D相機圖像中的每個2D相機圖像并且選擇候選3D點中的位于要構建的特征/對象的區域中(例如，在護欄區域中)的那些候選3D點，從而首先選擇位于特征上的粗略候選3D點。3D點中的所選擇的候選可以潛在地是要重建的特征的一部分。
[0013]在隨后的步驟中，可以分割/識別粗略候選3D點中的真正作為要重建的特征的一部分的那些3D點。此外，可以移除任何噪聲點，因為它們將導致以錯誤深度重建特征，例如護欄。
[0014]在下文的詳細描述中闡述了額外的特征和優點。將理解，上文概括描述和下文詳細描述都僅是示例性的，并且旨在提供用于理解權利要求的性質和特點的概述或框架。
附圖說明
[0015]在下文中，將參考附圖通過舉例的方式描述本專利技術，但不將總體專利技術構思限于實施例的示例。
[0016]圖1示出了說明用于重建道路的環境場景中的特征的方法的步驟的流程圖；
[0017]圖2示出了由光學傳感器捕獲的場景的2D圖像；
[0018]圖3示出了3D點云的3D點到場景的2D圖像的投影；
[0019]圖4示出了3D點云的3D點中的表示場景中的特征的候選；
[0020]圖5示出了2D圖像中的位于道路的兩側的投影范圍；
[0021]圖6示出了道路上的3D點中的候選在場景的2D圖像中的投影；
[0022]圖7示出了對3D點的有效候選的選擇以用于進一步處理以重建道路的環境場景中的特征；以及
[0023]圖8示出了道路的環境場景中的特征的重建。
具體實施方式
[0024]圖1示出了根據本專利技術的網絡節點和通信系統。在下文中參考圖1的框圖連同其余圖一起描述了用于重建環境場景中的特征的方法，圖1示出了各種方法步驟，其余圖示出了要通過所提出的方法重建的被配置為護欄的特征的說明性示例。圖2
?
7參考場景的2D圖像說明了該方法的各個步驟。需要注意的是，需要在從場景捕獲的圖像序列的圖像中的每個圖像中執行所描述的步驟。
[0025]在所提出的方法的第一步驟S1中(圖1)，光學傳感器(例如相機，具體地為單目相機)生成場景的2D圖像序列。當將光學傳感器(諸如單目相機)移動通過場景時，光學傳感器可以捕獲圖像序列。圖2示出了由光學傳感器捕獲的道路的環境場景的2D圖像的示例。所捕
獲的圖像包括在左側通過護欄限制的道路。植被位于道路的右側。圖像的上部部分示出了在道路之上的天空。
[0026]在所提出的方法的第一步驟S1中，除了生成2D圖像序列之外，還生成場景的3D點云。3D點云可以解釋為半密集點云。具體地，可以在光學傳感器沿著道路移動期間，在捕獲環境場景的圖像的同時生成3D點云。需要注意的是，所提出的方法不限于使用相機(具體地，單目相機)來生成場景的3D點云。3D點云可以由任何其它合適的傳感器來生成。
[0027]在方法步驟S2中，識別3D點云的3D點中的候選的一部分。步驟S2包括在下文中描述的子步驟S2a、S2b、S2c、S2d和S2e。
[0028]在子步驟S2a中，如圖3中所示，將3D點云的3D點投影到2D圖像中的每個2D圖像。在圖3中所示的五角星是從在步驟S1中生成的相關3D點云(例如，半密集點云)投影的點。
[0029]在子步驟S2b中，通過在2D圖像中的每個2D圖像中進行語義分割來確定3D點云的3D點中的表示要重建的特征(例如，護欄)的多個候選。圖4示出了在圖3中所示的3D點中的多個候選，其被確定并且表示在道路的左側的護欄。在子步驟S2b中，根據在2D圖像中的每個2D圖像本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】1.一種用于重建道路的環境場景中的特征的方法，包括：
–
生成所述場景的3D點云和所述場景的2D圖像序列，
–
通過以下步驟a)至步驟e)來識別所述3D點云的3D點中的候選的一部分：a)將所述3D點投影到所述2D圖像中的每個2D圖像，b)通過在所述2D圖像中的每個2D圖像中進行語義分割來確定所述3D點云的所述3D點中的表示所述特征的多個候選，c)在所述2D圖像中的每個2D圖像中確定在所述道路的兩側的投影范圍，d)將所述3D點的所述候選投影在所述2D圖像中的每個2D圖像中的所述道路的平面上，e)在所述2D圖像中的每個2D圖像中選擇所述3D點的保持在所述投影范圍中的那些候選作為所述3D點的所述候選的所述一部分，
–
對所述3D點中的所選擇的候選進行合并，以確定所述特征的估計位置，
–
通過沿著所述估計位置生成擬合曲線來對所述特征進行建模。2.根據權利要求1所述的方法，包括：根據在所述2D圖像中的每個2D圖像中進行語義分割來確定所述道路的輪廓和所述特征的輪廓。3.根據權利要求1或2所述的方法，包括：識別所述道路的邊界線和所述特征的邊界線。4.根據權利要求3所述的方法，包括：
–
在每個2D圖像中確定在第一邊界線和第二邊界線之間的所述投影范圍，
–
其中，所述第一邊界...

【專利技術屬性】
技術研發人員：全冬兵，W，
申請(專利權)人：大陸汽車有限責任公司，
類型：發明
國別省市：