【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于車輛障礙物檢測(cè)，尤其涉及基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法及系統(tǒng)。
技術(shù)介紹
1、目前，車載障礙物檢測(cè)技術(shù)面臨的挑戰(zhàn)主要體現(xiàn)在其各個(gè)組成部分和檢測(cè)主體本身的局限性上，例如：
2、超聲波雷達(dá)雖然價(jià)格低廉，但對(duì)于遠(yuǎn)距離和復(fù)雜環(huán)境中的障礙物識(shí)別能力有限，且對(duì)高速運(yùn)動(dòng)物體的反應(yīng)不夠迅速，可能導(dǎo)致滯后或錯(cuò)誤判斷。同樣超聲波雷達(dá)還受發(fā)波角度、布置位置、造型等因素的影響，在實(shí)際使用中會(huì)通過軟件手段對(duì)超聲波雷達(dá)包絡(luò)進(jìn)行裁切，使得傳感器的有效利用率未最大化利用。
3、激光雷達(dá)雖然提供高精度的三維空間信息，但其高昂的設(shè)備成本、較大的體積和對(duì)高性能計(jì)算機(jī)資源的需求使得部署和維護(hù)變得復(fù)雜，且在處理大規(guī)模數(shù)據(jù)時(shí)效率不高。
4、毫米波雷達(dá)雖然具有較強(qiáng)的穿透能力和一定的中距離探測(cè)能力，但其精度相對(duì)較低，對(duì)目標(biāo)形狀和大小的識(shí)別不如激光雷達(dá)精確，且可能存在某些方向上的盲區(qū)。
5、紅外熱像儀在夜間和低溫環(huán)境下表現(xiàn)出獨(dú)特的優(yōu)勢(shì)，但其分辨率較低，主要側(cè)重于溫度差異檢測(cè)，對(duì)于物體的細(xì)節(jié)識(shí)別和色彩信息捕捉較為有限。
6、綜合以上，現(xiàn)有技術(shù)采用上述裝置進(jìn)行車輛障礙物檢測(cè)時(shí)，均存在一些由于裝置本身的局限性帶來的不足，很難同時(shí)滿足高效識(shí)別和精準(zhǔn)識(shí)別的目的。
技術(shù)實(shí)現(xiàn)思路
1、為克服上述現(xiàn)有技術(shù)的不足，本專利技術(shù)提供了基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法及系統(tǒng)，利用安裝在車身上的深度相機(jī)獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)的一個(gè)或多個(gè)實(shí)施例提供了如下技術(shù)方案：
3、本專利技術(shù)第一方面提供了基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法。
4、基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，包括以下步驟：
5、獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息和3d坐標(biāo)信息；
6、提取rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征，對(duì)其中的障礙物進(jìn)行識(shí)別；
7、將3d坐標(biāo)信息和深度點(diǎn)云信息按照時(shí)間戳進(jìn)行對(duì)齊并整合，并結(jié)合識(shí)別到的障礙物，得到障礙物帶有時(shí)間戳的3d坐標(biāo)；
8、學(xué)習(xí)障礙物帶有時(shí)間戳的3d坐標(biāo)不同尺度的空間特征，并進(jìn)行特征提取，得到障礙物與車身的距離。
9、作為進(jìn)一步的技術(shù)方案，得到障礙物與車身的距離之后，還包括：
10、預(yù)設(shè)立多個(gè)障礙物與車身的報(bào)警距離等級(jí)；
11、判斷障礙物與車身的距離具體落入的報(bào)警距離等級(jí)，發(fā)出對(duì)應(yīng)的報(bào)警信息。
12、作為進(jìn)一步的技術(shù)方案，采用安裝于車身上的深度相機(jī)獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息和3d坐標(biāo)信息。
13、作為進(jìn)一步的技術(shù)方案，提取rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征，對(duì)其中的障礙物進(jìn)行識(shí)別，具體包括：
14、采用transposed卷積對(duì)rgb圖像進(jìn)行處理，實(shí)現(xiàn)超采樣；
15、將rgb圖像超采樣的信息輸入至圖神經(jīng)網(wǎng)絡(luò)模型中，對(duì)其中關(guān)鍵點(diǎn)的幾何特征進(jìn)行提取；其中，在圖神經(jīng)網(wǎng)絡(luò)模型中引入殘差塊，解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失和爆炸問題；
16、將提取到的rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征輸入至殘差卷積神經(jīng)網(wǎng)絡(luò)模型中，對(duì)rgb圖像信息進(jìn)行識(shí)別和分類，得到障礙物的識(shí)別結(jié)果。
17、作為進(jìn)一步的技術(shù)方案，將3d坐標(biāo)信息和深度點(diǎn)云信息按照時(shí)間戳進(jìn)行對(duì)齊并整合，并結(jié)合識(shí)別到的障礙物，得到障礙物帶有時(shí)間戳的3d坐標(biāo)，具體包括：
18、將3d坐標(biāo)信息和深度點(diǎn)云信息轉(zhuǎn)換到同一坐標(biāo)系下，使用點(diǎn)云對(duì)齊技術(shù)實(shí)現(xiàn)時(shí)間戳對(duì)齊操作；
19、使用光流融合算法將3d坐標(biāo)信息和深度點(diǎn)云信息融合在一起，并對(duì)融合后的數(shù)據(jù)進(jìn)行濾波操作；
20、基于濾波后的數(shù)據(jù)，并結(jié)合識(shí)別到的障礙物的具體位置，得到障礙物帶有時(shí)間戳的3d坐標(biāo)。
21、作為進(jìn)一步的技術(shù)方案，學(xué)習(xí)障礙物帶有時(shí)間戳的3d坐標(biāo)不同尺度的空間特征，并進(jìn)行特征提取，得到障礙物與車身的距離，具體包括：
22、將障礙物帶有時(shí)間戳的3d坐標(biāo)輸入至?xí)r序卷積網(wǎng)絡(luò)模型中，首先采用dilatedconvolutions擴(kuò)張卷積對(duì)圖像時(shí)序進(jìn)行處理，增加感受野；在網(wǎng)絡(luò)層與層之間增加殘差模塊，對(duì)rgb圖像信息進(jìn)行識(shí)別和分類，使網(wǎng)絡(luò)學(xué)習(xí)更深層次的特征；在網(wǎng)絡(luò)層中間增加雙向tcn，同時(shí)利用序列的過去和未來信息，提高模型的預(yù)測(cè)能力，得到障礙物的識(shí)別結(jié)果。
23、作為進(jìn)一步的技術(shù)方案，還包括：
24、通過世界坐標(biāo)之間的轉(zhuǎn)換，將獲得的障礙物的相機(jī)坐標(biāo)轉(zhuǎn)化成二維像素坐標(biāo)，在二維rgb圖像上顯示相應(yīng)的障礙物視覺報(bào)警信息。
25、本專利技術(shù)第二方面提供了基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)系統(tǒng)。
26、基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)系統(tǒng)，包括：
27、信息獲取模塊，被配置為：獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息和3d坐標(biāo)信息；
28、障礙物識(shí)別模塊，被配置為：提取rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征，對(duì)其中的障礙物進(jìn)行識(shí)別；
29、整合模塊，被配置為：將3d坐標(biāo)信息和深度點(diǎn)云信息按照時(shí)間戳進(jìn)行對(duì)齊并整合，并結(jié)合識(shí)別到的障礙物，得到障礙物帶有時(shí)間戳的3d坐標(biāo)；
30、特征學(xué)習(xí)模塊，被配置為：學(xué)習(xí)障礙物帶有時(shí)間戳的3d坐標(biāo)不同尺度的空間特征，并進(jìn)行特征提取，得到障礙物與車身的距離。
31、本專利技術(shù)第三方面提供了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本專利技術(shù)第一方面所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法中的步驟。
32、本專利技術(shù)第四方面提供了電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本專利技術(shù)第一方面所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法中的步驟。
33、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：
34、本專利技術(shù)提供了一種基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法及系統(tǒng)，利用安裝在車身上的深度相機(jī)獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息和3d坐標(biāo)信息，利用混合網(wǎng)絡(luò)模型對(duì)不同特征信息提取后進(jìn)行分類和回歸，能夠兼顧高效和精準(zhǔn)的對(duì)障礙物識(shí)別、障礙物與車身距離預(yù)測(cè)的效果。
35、本專利技術(shù)提出的混合網(wǎng)絡(luò)模型包括圖神經(jīng)網(wǎng)絡(luò)模型、殘差卷積神經(jīng)網(wǎng)絡(luò)模型和時(shí)序卷積網(wǎng)絡(luò)模型，利用圖神經(jīng)網(wǎng)絡(luò)模型對(duì)rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征進(jìn)行提取；將提取到的rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征輸入至殘差卷積神經(jīng)網(wǎng)絡(luò)模型中，對(duì)rgb圖像信息進(jìn)行識(shí)別和分類，得到障礙物的識(shí)別結(jié)果；將障礙物帶有時(shí)間戳的3d坐標(biāo)輸入至?xí)r序卷積網(wǎng)絡(luò)模型中，通過多個(gè)堆疊的時(shí)序卷積層對(duì)障礙物帶有時(shí)間戳的3d坐標(biāo)進(jìn)行特征提取，本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，得到障礙物與車身的距離之后，還包括：
3.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，采用安裝于車身上的深度相機(jī)獲取車輛行駛中待識(shí)別障礙物的RGB圖像信息、深度點(diǎn)云信息和3D坐標(biāo)信息。
4.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，提取RGB圖像信息中關(guān)鍵點(diǎn)的幾何特征，對(duì)其中的障礙物進(jìn)行識(shí)別，具體包括：
5.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，將3D坐標(biāo)信息和深度點(diǎn)云信息按照時(shí)間戳進(jìn)行對(duì)齊并整合，并結(jié)合識(shí)別到的障礙物，得到障礙物帶有時(shí)間戳的3D坐標(biāo)，具體包括：
6.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，學(xué)習(xí)障礙物帶有時(shí)間戳的3D坐標(biāo)不同尺度的空間特征，并進(jìn)行特征提取，得到障礙物與車身的距離，具體包括：
7.如權(quán)利
8.基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)系統(tǒng)，其特征在于，包括：
9.計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法中的步驟。
10.電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序，其特·
...【技術(shù)特征摘要】
1.基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，得到障礙物與車身的距離之后，還包括：
3.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，采用安裝于車身上的深度相機(jī)獲取車輛行駛中待識(shí)別障礙物的rgb圖像信息、深度點(diǎn)云信息和3d坐標(biāo)信息。
4.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，提取rgb圖像信息中關(guān)鍵點(diǎn)的幾何特征，對(duì)其中的障礙物進(jìn)行識(shí)別，具體包括：
5.如權(quán)利要求1所述的基于車載深度相機(jī)的車輛行駛障礙物距離檢測(cè)方法，其特征在于，將3d坐標(biāo)信息和深度點(diǎn)云信息按照時(shí)間戳進(jìn)行對(duì)齊并整合，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：汪晨燦，聶俊霞，劉紅園，宋陳，
申請(qǐng)(專利權(quán))人：奇瑞汽車股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。