虛擬環(huán)境中的車道邊界檢測數(shù)據(jù)生成制造技術(shù)

一種與生成訓(xùn)練數(shù)據(jù)有關(guān)的方法和裝置。該方法可以包括執(zhí)行模擬過程。該模擬過程可以包括在限定多個(gè)車道標(biāo)記或虛擬對象的虛擬駕駛環(huán)境中遍歷一個(gè)或多個(gè)虛擬傳感器，多個(gè)車道標(biāo)記或虛擬對象各自可被一個(gè)或多個(gè)虛擬傳感器感測到。在遍歷期間，一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)可以如由車輛動(dòng)態(tài)模型命令的相對于虛擬駕駛環(huán)境移動(dòng)，該車輛動(dòng)態(tài)模型模擬在虛擬駕駛環(huán)境的虛擬路面上行駛同時(shí)承載一個(gè)或多個(gè)虛擬傳感器的車輛的運(yùn)動(dòng)。表征虛擬駕駛環(huán)境的虛擬傳感器數(shù)據(jù)可以被記錄。虛擬傳感器數(shù)據(jù)可以對應(yīng)于在類似于或大體上匹配虛擬駕駛環(huán)境的真實(shí)世界環(huán)境中實(shí)際傳感器將產(chǎn)生的數(shù)據(jù)。

Lane boundary detection data generation in virtual environment

Method and apparatus for generating training data. The method may include performing a simulation process. The simulation process can be included in a limited number of lane markings or virtual objects in a virtual driving environment through one or more virtual sensors, multiple lane markings or virtual objects each can be one or more virtual sensor senses. During the traversal, each can be commanded by a vehicle dynamic model with respect to the virtual driving environment moving one or more virtual sensors in the dynamic model of the vehicle driving simulation while carrying one or more virtual sensor of vehicle motion in virtual virtual driving environment on the road. Virtual sensor data representing virtual driving environment can be recorded. The virtual sensor data may correspond to the data generated by the actual sensor in a real-world environment that is similar to or substantially matches the virtual driving environment.

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)總體上涉及車輛系統(tǒng)，并且更具體地涉及用于生成適用于開發(fā)、訓(xùn)練、測試和驗(yàn)證用于檢測駕駛環(huán)境中的車道邊界的算法的訓(xùn)練數(shù)據(jù)的方法和系統(tǒng)。
技術(shù)介紹
為了提供、啟用或以其他方式支持例如駕駛員輔助、控制車輛動(dòng)力學(xué)、和/或自主駕駛的功能，用于解讀傳感器數(shù)據(jù)的已充分證實(shí)的算法是不可缺少的。特別是，用于檢測行車車道的邊界的算法是至關(guān)重要的。目前，依賴于真實(shí)世界傳感器數(shù)據(jù)進(jìn)行開發(fā)、訓(xùn)練、測試和驗(yàn)證這樣的算法。然而，獲得大量有用的真實(shí)世界數(shù)據(jù)就時(shí)間、金錢和資源而言是昂貴的。
技術(shù)實(shí)現(xiàn)思路
根據(jù)本專利技術(shù)，提供一種方法，包含：由處理器生成虛擬駕駛環(huán)境；由處理器在虛擬駕駛環(huán)境內(nèi)定位一個(gè)或多個(gè)虛擬傳感器；由處理器遍歷虛擬駕駛環(huán)境內(nèi)的一個(gè)或多個(gè)虛擬傳感器；以及由處理器記錄表征虛擬駕駛環(huán)境的數(shù)據(jù)，數(shù)據(jù)對應(yīng)于在遍歷期間由感測虛擬駕駛環(huán)境的一個(gè)或多個(gè)虛擬傳感器生成的信息。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中虛擬駕駛環(huán)境包含具有一個(gè)或多個(gè)行車車道的虛擬路面。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中虛擬路面進(jìn)一步包含對應(yīng)于一個(gè)或多個(gè)行車車道的多個(gè)車道標(biāo)記，多個(gè)車道標(biāo)記中的每一個(gè)可被一個(gè)或多個(gè)虛擬傳感器感測到。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中一個(gè)或多個(gè)虛擬傳感器包含虛擬攝像機(jī)，并且其中數(shù)據(jù)包含由虛擬攝像機(jī)感知到的虛擬駕駛環(huán)境的一個(gè)或多個(gè)虛擬圖像。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中一個(gè)或多個(gè)虛擬傳感器包含虛擬光探測和測距(LIDAR)設(shè)備，并且其中數(shù)據(jù)包含由LIDAR設(shè)備感知到的虛擬車道邊界。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中虛擬駕駛環(huán)境進(jìn)一步包含分布在其內(nèi)的多個(gè)虛擬對象，每一個(gè)虛擬對象相對于虛擬駕駛環(huán)境是靜止的或移動(dòng)的，并且每一個(gè)虛擬對象可被一個(gè)或多個(gè)虛擬傳感器感測到。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中數(shù)據(jù)包含對于推斷由感測多個(gè)虛擬對象中的一個(gè)或多個(gè)的一個(gè)或多個(gè)虛擬傳感器感知到的虛擬路面的一個(gè)或多個(gè)行車車道中的每一個(gè)的位置有用的數(shù)據(jù)。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中數(shù)據(jù)進(jìn)一步包含注釋，注釋表征根據(jù)虛擬路面上的一個(gè)或多個(gè)行車車道中的至少一個(gè)的空間定義的一個(gè)或多個(gè)行車通道中的至少一個(gè)的所述位置。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中定位包含根據(jù)車輛靜止模型來設(shè)置一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)相對于虛擬駕駛環(huán)境的空間關(guān)系，車輛靜止模型模擬承載一個(gè)或多個(gè)虛擬傳感器并且在虛擬駕駛環(huán)境的虛擬路面上行駛的虛擬車輛上的相應(yīng)的虛擬傳感器的位置。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中遍歷包含根據(jù)車輛動(dòng)態(tài)模型來相對于虛擬駕駛環(huán)境移動(dòng)一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)，車輛動(dòng)態(tài)模型模擬承載一個(gè)或多個(gè)虛擬傳感器并且在虛擬駕駛環(huán)境的虛擬路面上行駛的虛擬車輛的運(yùn)動(dòng)。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中數(shù)據(jù)包含表征由感測對應(yīng)于一個(gè)或多個(gè)行車車道的多個(gè)車道標(biāo)記中的一個(gè)或多個(gè)的一個(gè)或多個(gè)虛擬傳感器感知到的虛擬路面的一個(gè)或多個(gè)行車車道中的每一個(gè)的位置的數(shù)據(jù)。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中數(shù)據(jù)進(jìn)一步包含注釋，注釋表征根據(jù)虛擬路面上的一個(gè)或多個(gè)行車車道中的至少一個(gè)的空間定義的一個(gè)或多個(gè)行車車道中的至少一個(gè)的位置。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)與多個(gè)傳感器類型中的一個(gè)相關(guān)聯(lián)，多個(gè)傳感器類型中的每一個(gè)由相應(yīng)的傳感器模型來模擬，相應(yīng)的傳感器模型被配置為通過相應(yīng)的組的一個(gè)或多個(gè)天氣參數(shù)來偏置。根據(jù)本專利技術(shù)，提供一種傳感器數(shù)據(jù)生成系統(tǒng)，包含：一個(gè)或多個(gè)處理器；以及可操作地連接到一個(gè)或多個(gè)處理器的存儲(chǔ)器，該存儲(chǔ)器存儲(chǔ)：被編程以包括多個(gè)虛擬對象的虛擬駕駛環(huán)境；被編程以模擬傳感器的第一軟件模型；被編程以模擬承載傳感器的車輛的靜止特性的第二軟件模型；被編程以模擬承載傳感器的車輛的動(dòng)態(tài)特性的第三軟件模型；以及模擬模塊，該模擬模塊被編程以利用虛擬駕駛環(huán)境、第一軟件模型、第二軟件模型和第三軟件模型來產(chǎn)生輸出，輸出模擬傳感器被安裝在車輛上當(dāng)車輛在類似于或匹配虛擬駕駛環(huán)境的實(shí)際駕駛環(huán)境中行駛時(shí)的真實(shí)世界情況下的傳感器的輸出。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中模擬模塊包含一組偏置參數(shù)，一組偏置參數(shù)被編程以偏置輸出以至少應(yīng)對天氣條件、一天中的時(shí)間、傳感器老化和車輛老化。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中所述多個(gè)虛擬對象包含定義一個(gè)或多個(gè)行車車道的多個(gè)車道標(biāo)記。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中存儲(chǔ)器進(jìn)一步存儲(chǔ)對應(yīng)于輸出的數(shù)據(jù)。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中模擬模塊被進(jìn)一步編程以采用注釋來注釋數(shù)據(jù)，該注釋表征根據(jù)虛擬駕駛環(huán)境中的一個(gè)或多個(gè)行車車道的空間定義的一個(gè)或多個(gè)行車車道的位置。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中傳感器包含虛擬攝像機(jī)，并且其中數(shù)據(jù)包含由虛擬攝像機(jī)感知到的虛擬駕駛環(huán)境的一個(gè)或多個(gè)虛擬圖像。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，其中注釋包含根據(jù)虛擬駕駛環(huán)境中的一個(gè)或多個(gè)行車車道的空間定義的一個(gè)或多個(gè)虛擬圖像上的一個(gè)或多個(gè)行車車道的像素位置。附圖說明本專利技術(shù)的非限制性和非窮盡性實(shí)施例參照以下附圖進(jìn)行描述，其中貫穿各個(gè)附圖，相同的附圖標(biāo)記指代相同的部件，除非另有規(guī)定。圖1是描繪可以實(shí)施本專利技術(shù)的示例實(shí)施例的示例環(huán)境的視圖；圖2是根據(jù)本專利技術(shù)的實(shí)施例描繪示例裝置的框圖；圖3是根據(jù)本專利技術(shù)說明標(biāo)記有一個(gè)或多個(gè)注釋(annotation)的傳感器數(shù)據(jù)的一個(gè)實(shí)施例的視圖；圖4是根據(jù)本專利技術(shù)的實(shí)施例的示例過程的流程圖。具體實(shí)施方式在以下說明中，參考形成說明書的一部分的附圖，在附圖中通過例證示出可以實(shí)踐本專利技術(shù)的特定示例性實(shí)施例。這些實(shí)施例被足夠詳細(xì)地描述以使本領(lǐng)域技術(shù)人員能夠?qū)嵺`本文所公開的構(gòu)思，并且可以理解的是，在不脫離本專利技術(shù)的范圍的前提下，可以對各個(gè)所公開的實(shí)施例進(jìn)行修改，并且可以利用其他實(shí)施例。因此，以下具體實(shí)施方式不應(yīng)被視為具有限制意義。在檢測具有各種標(biāo)記或沒有標(biāo)記的車道邊界的車道邊界檢測算法的開發(fā)中，需要多組傳感器數(shù)據(jù)來訓(xùn)練、開發(fā)、測試和驗(yàn)證車道邊界檢測算法和與該算法相關(guān)聯(lián)的附加下游功能。然而，獲得真實(shí)世界傳感器數(shù)據(jù)通常需要大量的金錢、時(shí)間和資源。例如，為了獲得真實(shí)世界傳感器數(shù)據(jù)，傳感器需要被物理地安裝在車輛上，并且需要在各種類型的道路上和針對各種交通條件進(jìn)行實(shí)際駕駛運(yùn)行(drivingrun)以使傳感器收集每種情況下的傳感器數(shù)據(jù)。此外，環(huán)境變量，例如天氣、溫度、風(fēng)、光條件和其他天氣相關(guān)的因素，傾向于將待收集的傳感器數(shù)據(jù)組的數(shù)量增加多個(gè)數(shù)量級。一般情況下，需要數(shù)千英里的道路的傳感器數(shù)據(jù)來開發(fā)車道邊界檢測算法，并且因此需要大量的時(shí)間、金錢和資源來獲得這樣的數(shù)據(jù)。當(dāng)考慮具有裝備在車輛的不同位置處的不同種類的傳感器的不同類型的車輛(例如不同的品牌/型號(hào))時(shí)，情況被進(jìn)一步復(fù)雜化，并且待收集的傳感器數(shù)據(jù)被進(jìn)一步增加。此外，特定車輛的特性以及安裝在其上的各種傳感器的特性可能由于例如老化或里程計(jì)里程的累積以及其他因素而隨時(shí)間變化或漂移。換句話說，為具有低里程的新車開發(fā)和良好訓(xùn)練的車道邊界檢測算法在車輛被投入使用幾年之后可能不會(huì)那么有效或準(zhǔn)確。本專利技術(shù)提供了一種通過利用虛擬環(huán)境生成傳感器數(shù)據(jù)來克服困難并且降低獲得車道邊界檢測算法所需的傳感器數(shù)據(jù)的成本的解決方案。以上提到的各種情況、條件和參數(shù)在虛擬環(huán)境中可以很容易地虛擬設(shè)置，并且配備有虛擬傳感器的虛擬車輛可以穿過或行駛通過模擬的虛擬環(huán)境并且虛擬收集(即，由模擬生成)車道邊界檢測算法所需的傳感器數(shù)據(jù)。虛擬環(huán)境、虛擬車輛和虛擬傳感器被建模以接近匹配相應(yīng)的真實(shí)環(huán)境本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種方法，包含：由處理器生成虛擬駕駛環(huán)境；由所述處理器在所述虛擬駕駛環(huán)境內(nèi)定位一個(gè)或多個(gè)虛擬傳感器；由所述處理器遍歷所述虛擬駕駛環(huán)境內(nèi)的所述一個(gè)或多個(gè)虛擬傳感器；以及由所述處理器記錄表征所述虛擬駕駛環(huán)境的數(shù)據(jù)，所述數(shù)據(jù)對應(yīng)于在所述遍歷期間由感測所述虛擬駕駛環(huán)境的所述一個(gè)或多個(gè)虛擬傳感器生成的信息。

【技術(shù)特征摘要】
2015.10.16 US 14/885,0991.一種方法，包含：由處理器生成虛擬駕駛環(huán)境；由所述處理器在所述虛擬駕駛環(huán)境內(nèi)定位一個(gè)或多個(gè)虛擬傳感器；由所述處理器遍歷所述虛擬駕駛環(huán)境內(nèi)的所述一個(gè)或多個(gè)虛擬傳感器；以及由所述處理器記錄表征所述虛擬駕駛環(huán)境的數(shù)據(jù)，所述數(shù)據(jù)對應(yīng)于在所述遍歷期間由感測所述虛擬駕駛環(huán)境的所述一個(gè)或多個(gè)虛擬傳感器生成的信息。2.根據(jù)權(quán)利要求1所述的方法，其中所述虛擬駕駛環(huán)境包含具有一個(gè)或多個(gè)行車車道的虛擬路面。3.根據(jù)權(quán)利要求2所述的方法，其中所述虛擬路面進(jìn)一步包含對應(yīng)于所述一個(gè)或多個(gè)行車車道的多個(gè)車道標(biāo)記，所述多個(gè)車道標(biāo)記中的每一個(gè)可被所述一個(gè)或多個(gè)虛擬傳感器感測到。4.根據(jù)權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)虛擬傳感器包含虛擬攝像機(jī)，并且其中所述數(shù)據(jù)包含由所述虛擬攝像機(jī)感知到的所述虛擬駕駛環(huán)境的一個(gè)或多個(gè)虛擬圖像。5.根據(jù)權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)虛擬傳感器包含虛擬光探測和測距(LIDAR)設(shè)備，并且其中所述數(shù)據(jù)包含由所述LIDAR設(shè)備感知到的虛擬車道邊界。6.根據(jù)權(quán)利要求2所述的方法，其中所述虛擬駕駛環(huán)境進(jìn)一步包含分布在其內(nèi)的多個(gè)虛擬對象，每一個(gè)所述虛擬對象相對于所述虛擬駕駛環(huán)境是靜止的或移動(dòng)的，并且每一個(gè)所述虛擬對象可被所述一個(gè)或多個(gè)虛擬傳感器感測到。7.根據(jù)權(quán)利要求6所述的方法，其中所述數(shù)據(jù)包含對于推斷由感測所述多個(gè)虛擬對象中的一個(gè)或多個(gè)的一個(gè)或多個(gè)虛擬傳感器感知到的所述虛擬路面的所述一個(gè)或多個(gè)行車車道中的每一個(gè)的位置有用的數(shù)據(jù)。8.根據(jù)權(quán)利要求7所述的方法，其中所述數(shù)據(jù)進(jìn)一步包含注釋，所述注釋表征根據(jù)所述虛擬路面上的所述一個(gè)或多個(gè)行車車道中的至少一個(gè)的空間定義的所述一個(gè)或多個(gè)行車通道中的所述至少一個(gè)的所述位置。9.根據(jù)權(quán)利要求1所述的方法，其中所述定位包含根據(jù)車輛靜止模型來設(shè)置所述一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)相對于所述虛擬駕駛環(huán)境的空間關(guān)系，所述車輛靜止模型模擬承載所述一個(gè)或多個(gè)虛擬傳感器并且在所述虛擬駕駛環(huán)境的虛擬路面上行駛的虛擬車輛上的相應(yīng)的虛擬傳感器的位置。10.根據(jù)權(quán)利要求1所述的方法，其中所述遍歷包含根據(jù)車輛動(dòng)態(tài)模型來相對于所述虛擬駕駛環(huán)境移動(dòng)所述一個(gè)或多個(gè)虛擬傳感器中的每一個(gè)，所述車輛動(dòng)態(tài)模型模擬承載所述一個(gè)或多個(gè)虛擬傳感器并且在所述虛擬駕駛環(huán)境的虛擬路面上行駛的虛擬車輛的運(yùn)動(dòng)。11.根據(jù)權(quán)利要求1所述的方法，其中所...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：艾希莉·伊麗莎白·米克斯，溫卡塔帕斯·拉居·納爾帕，布里勒·賴夫，維迪亞·那利亞姆布特·穆拉里，斯內(nèi)哈·卡德托塔德，
申請(專利權(quán))人：福特全球技術(shù)公司，
類型：發(fā)明
國別省市：美國;US