【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于自動駕駛，具體涉及到一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法。
技術(shù)介紹
1、對于具備自動駕駛功能的智能車輛而言，環(huán)境理解與語義感知是其工作的基礎(chǔ)，因此提升其感知智能是其自動駕駛功能的關(guān)鍵。考慮到智能車輛上可安裝數(shù)量豐富，種類多樣的傳感器，增強(qiáng)對多傳感器信息的融合理解將必然成為行業(yè)發(fā)展趨勢。
2、然而，現(xiàn)有的多傳感器融合方法往往是特征密集型的，其計(jì)算量直接取決于圖像或雷達(dá)點(diǎn)云特征尺寸；這對需要較大感受范圍(因此雷達(dá)點(diǎn)云特征尺寸很大)或精細(xì)感知結(jié)果(因此圖像特征尺寸很大)的駕駛場景產(chǎn)生了限制。而目前乘用車行業(yè)內(nèi)新提出的稀疏類型的融合方案大多關(guān)注于單一類別的低成本傳感器(主要為多相機(jī)圖像的融合)，因此無法充分的利用目前逐漸普及的高性能激光雷達(dá)點(diǎn)云感知的尺度不變性和對空間位置的良好把控，最終可能對效率和安全性帶來影響，并不能通用的解決這一問題。
技術(shù)實(shí)現(xiàn)思路
1、針對上述問題，本專利技術(shù)的主要目的在于設(shè)計(jì)一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，該方法充分兼顧了新的高性能傳感器的特點(diǎn)，以期充分利用高性能激光雷達(dá)所采集稠密點(diǎn)云，提升感知算法對空間幾何的理解能力，增強(qiáng)交通運(yùn)轉(zhuǎn)效率和安全性，解決現(xiàn)有方法面對大感受范圍和精細(xì)感知需求時(shí)計(jì)算負(fù)擔(dān)重的問題。
2、為了實(shí)現(xiàn)上述目的本專利技術(shù)采用如下技術(shù)方案：
3、一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，所述融合方法包括用于映射點(diǎn)云特征的鳥瞰空間和映射圖像特征的像素空間，在鳥瞰空間與像素空間外設(shè)置
4、所述的感知融合方法包括如下步驟：
5、s1：獲取激光雷達(dá)采集的三維點(diǎn)云數(shù)據(jù)和相機(jī)采集的色彩圖像數(shù)據(jù)，分別進(jìn)行點(diǎn)云特征提取和圖像特征提取，并將點(diǎn)云特征映射到鳥瞰空間形成點(diǎn)云鳥瞰空間，將圖像特征映射到像素空間行程圖像像素空間；
6、s2：利用相機(jī)外參、內(nèi)參和激光雷達(dá)外參，計(jì)算得到三維點(diǎn)云坐標(biāo)系位置到圖像像素空間的位置映射關(guān)系；
7、s3：根據(jù)三維點(diǎn)云坐標(biāo)系，建立用于圖像特征融合的中間空間，得到填入中間空間的圖像特征；
8、s4：利用三維點(diǎn)云坐標(biāo)系與點(diǎn)云鳥瞰空間的對應(yīng)關(guān)系，將中間空間內(nèi)k個稀疏坐標(biāo)對應(yīng)的圖像特征轉(zhuǎn)換為圖像鳥瞰空間特征；
9、s5：將步驟s1中點(diǎn)云鳥瞰空間的特征與步驟s4中得到圖像鳥瞰空間的特征進(jìn)行融合，得到用于下游算法處理的融合鳥瞰空間特征。
10、作為本專利技術(shù)進(jìn)一步的描述，所述步驟s1中，對于三維點(diǎn)云數(shù)據(jù)，按照坐標(biāo)將其劃分為多個點(diǎn)云柱，對每個點(diǎn)云柱內(nèi)的點(diǎn)云進(jìn)行最高點(diǎn)、最低點(diǎn)、質(zhì)心點(diǎn)、點(diǎn)云個數(shù)進(jìn)行統(tǒng)計(jì)量的統(tǒng)計(jì)，將統(tǒng)計(jì)量作為每個點(diǎn)云柱的初始特征，通過將點(diǎn)云柱的初始特征輸入深度學(xué)習(xí)的主干網(wǎng)絡(luò)，得到三維點(diǎn)云數(shù)據(jù)的點(diǎn)云特征；
11、對于色彩圖像數(shù)據(jù)，通過將正則化后的色彩圖像輸入深度學(xué)習(xí)主干網(wǎng)絡(luò)，得到色彩圖像數(shù)據(jù)的圖像特征。
12、作為本專利技術(shù)進(jìn)一步的描述，所述步驟s2中，三維點(diǎn)云坐標(biāo)系位置到像素空間的位置映射，包括如下步驟：
13、s21：將圖像外參矩陣與內(nèi)參矩陣相乘，并結(jié)合激光雷達(dá)外參得到像素空間位置到三維點(diǎn)云坐標(biāo)系位置的映射矩陣，表達(dá)式為：p＝kc[rc∣tc]·pl；
14、總的相機(jī)矩陣pc為：pc＝kc[rc∣tc]；其中，kc為內(nèi)參矩陣，[rc∣tc]為外參矩陣，rc是旋轉(zhuǎn)矩陣，tc是平移向量；
15、激光雷達(dá)的外參pl為：pl＝[rl∣tl]；其中，rl是激光雷達(dá)的旋轉(zhuǎn)矩陣，tl是激光雷達(dá)的平移向量；
16、s22：將總的相機(jī)矩陣求逆，得到三維點(diǎn)云坐標(biāo)系到像素空間位置的映射矩陣，表達(dá)式為：p-1＝(kc[rc∣tc]·pl)-1；
17、s23：使用三維點(diǎn)云坐標(biāo)系坐標(biāo)的增廣與步驟s22中得到的矩陣相乘，得到一個四維向量，其中，三維點(diǎn)云坐標(biāo)系中的點(diǎn)x3d＝[x,y,z,1]t，與p-1相乘得到像素空間中的坐標(biāo)xpixel＝p-1x3d；
18、s24：通過步驟s23中四維向量的第三維，判斷是否能被映射；若xpixel的第三維zpixel<0，則此點(diǎn)不能被映射；
19、s25：對于能被映射到的點(diǎn)，使用其前兩維除以其第三維，得到圖像像素空間坐標(biāo)；
20、點(diǎn)云的坐標(biāo)向量為xpixel＝[u,v,w,1]t，則圖像像素空間坐標(biāo)(upixel,vpixel)，表達(dá)式為：upixel＝u/w，vpixel＝v/w；
21、s26：使用步驟s25中得到的圖像像素空間坐標(biāo)除以圖像分辨率，得到歸一化后的圖像像素空間坐標(biāo)(unormalized,vnormalized)，表達(dá)式為：unormalized＝upixel/w，vnormalized＝vpixel/h；其中，(w,h)為圖像的分辨率；
22、s27：對于坐標(biāo)值超過(0,1)范圍的點(diǎn)，認(rèn)為其映射超出了圖像范圍，該點(diǎn)被去除，則歸一化后的圖像像素空間坐標(biāo)為：0≤unormalized≤1,0≤vnormalized≤1；
23、針對不滿足條件，則該點(diǎn)被去除。
24、作為本專利技術(shù)進(jìn)一步的描述，所述步驟s3中的中間空間包括稀疏空間，所述稀疏空間的建立過程為：
25、s31：將bev空間的橫縱坐標(biāo)歸一化到0到1之間，并劃分成小于0.02×0.02的網(wǎng)格單位；
26、s32：將步驟s31中劃分的網(wǎng)格，按照步驟s2的過程計(jì)算，得到能被映射到圖像中的網(wǎng)格列表；
27、s33：隨機(jī)初始化k個值都在0到1之間的坐標(biāo)對，若其在步驟s32中得到的網(wǎng)格列表中，則將其保留，否則繼續(xù)重新初始化；
28、s34：得到的k個坐標(biāo)作為初始化的中間空間的錨點(diǎn)，對k個坐標(biāo)以及通過步驟s2中計(jì)算出的位置映射關(guān)系，得到圖像像素空間中的相應(yīng)圖像特征，該圖像特征構(gòu)成稀疏空間。
29、作為本專利技術(shù)進(jìn)一步的描述，所述步驟s3中的中間空間還包括稠密空間，所述稠密空間的建立過程為：
30、s35：將bev空間的橫縱坐標(biāo)歸一化到0到1之間，并劃分成小于0.02×0.02的網(wǎng)格單位；
31、s36：將步驟s35中劃分的網(wǎng)格，按照步驟s2的過程計(jì)算，得到能被映射到圖像中的網(wǎng)格列表；
32、s37：與步驟s35中的網(wǎng)格單位一一對應(yīng)初始化都在0到1之間的坐標(biāo)對，若其在步驟s35中得到的網(wǎng)格列表中，則將其保留，否則繼續(xù)重新初始化；
33、s38：得到網(wǎng)格單位一一對應(yīng)的坐標(biāo)作為初始化的中間空間的錨點(diǎn)，對網(wǎng)格單位一一對應(yīng)的坐標(biāo)，以及通過步驟s2中計(jì)算出的位置映射關(guān)系，得到圖像像素空間中的相應(yīng)圖像特征，該圖像特征構(gòu)成稠密空間。
34、作為本專利技術(shù)進(jìn)一步的描述，所述步驟s3中的中間空間還包括小尺寸的稠密空間，所述小尺寸的稠密空間建立過程為：
35、在步驟s35之前，將劃分的網(wǎng)格單位進(jìn)行下采樣，得到小尺寸稠密空間劃分的網(wǎng)格，并執(zhí)行步驟s36-s38；
<本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，所述融合方法包括用于映射點(diǎn)云特征的鳥瞰空間和映射圖像特征的像素空間，其特征在于：在鳥瞰空間與像素空間外設(shè)置一個用于圖像特征融合的中間空間；
2.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S1中，對于三維點(diǎn)云數(shù)據(jù)，按照坐標(biāo)將其劃分為多個點(diǎn)云柱，對每個點(diǎn)云柱內(nèi)的點(diǎn)云進(jìn)行最高點(diǎn)、最低點(diǎn)、質(zhì)心點(diǎn)、點(diǎn)云個數(shù)進(jìn)行統(tǒng)計(jì)量的統(tǒng)計(jì)，將統(tǒng)計(jì)量作為每個點(diǎn)云柱的初始特征，通過將點(diǎn)云柱的初始特征輸入深度學(xué)習(xí)的主干網(wǎng)絡(luò)，得到三維點(diǎn)云數(shù)據(jù)的點(diǎn)云特征；
3.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S2中，三維點(diǎn)云坐標(biāo)系位置到像素空間的位置映射，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S3中的中間空間包括稀疏空間，所述稀疏空間的建立過程為：
5.根據(jù)權(quán)利要求3所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S3中的中間空間還包括稠密空間，所述稠密空間
6.根據(jù)權(quán)利要求5所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S3中的中間空間還包括小尺寸的稠密空間，所述小尺寸的稠密空間建立過程為：在步驟S35之前，將劃分的網(wǎng)格單位進(jìn)行下采樣，得到小尺寸稠密空間劃分的網(wǎng)格，并執(zhí)行步驟S36-S38；
7.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S4中，圖像特征轉(zhuǎn)換為圖像鳥瞰空間特征，包括如下步驟：
8.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟S5中，點(diǎn)云鳥瞰空間的特征與圖像鳥瞰空間的特征融合，包括如下步驟：
...【技術(shù)特征摘要】
1.一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，所述融合方法包括用于映射點(diǎn)云特征的鳥瞰空間和映射圖像特征的像素空間，其特征在于：在鳥瞰空間與像素空間外設(shè)置一個用于圖像特征融合的中間空間；
2.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟s1中，對于三維點(diǎn)云數(shù)據(jù)，按照坐標(biāo)將其劃分為多個點(diǎn)云柱，對每個點(diǎn)云柱內(nèi)的點(diǎn)云進(jìn)行最高點(diǎn)、最低點(diǎn)、質(zhì)心點(diǎn)、點(diǎn)云個數(shù)進(jìn)行統(tǒng)計(jì)量的統(tǒng)計(jì)，將統(tǒng)計(jì)量作為每個點(diǎn)云柱的初始特征，通過將點(diǎn)云柱的初始特征輸入深度學(xué)習(xí)的主干網(wǎng)絡(luò)，得到三維點(diǎn)云數(shù)據(jù)的點(diǎn)云特征；
3.根據(jù)權(quán)利要求1所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟s2中，三維點(diǎn)云坐標(biāo)系位置到像素空間的位置映射，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的一種針對相機(jī)和激光雷達(dá)傳感器的感知融合方法，其特征在于：所述步驟s3中的中間...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：傅永健，索傳哲，吳益，尹曉川，賴杰，衡量，
申請(專利權(quán))人：上海友道智途科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。