基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)公開(kāi)了基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，包括車(chē)輛傳感器裝置、硬件模塊以及處理單元，所述車(chē)輛傳感器裝置包括高清攝像頭,所述硬件模塊包括電源電路、通信電路、數(shù)據(jù)格式轉(zhuǎn)換電路、中央處理器和存儲(chǔ)電路，高清攝像頭與中央處理器通過(guò)電性連接,所述處理單元包括圖像采集單元、特征提取單元、數(shù)據(jù)處理單元和結(jié)果輸出。該基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，圖像采集單元主要通過(guò)高清攝像頭采集圖像信息，模型訓(xùn)練單元通過(guò)引入自動(dòng)駕駛數(shù)據(jù)集對(duì)圖像識(shí)別模型進(jìn)行評(píng)估和校正，圖像處理單元根據(jù)高清攝像頭三維目標(biāo)識(shí)別算法進(jìn)行目標(biāo)識(shí)別，數(shù)據(jù)數(shù)據(jù)模塊用于將最終的得到的信息傳遞給自動(dòng)駕駛終端。

3D Target Detection System for HD Camera Based on Deep Learning

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)
本專(zhuān)利技術(shù)涉及智能汽車(chē)
，具體為基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)。
技術(shù)介紹
自動(dòng)駕駛系統(tǒng)需要傳感器對(duì)前方的前方環(huán)境進(jìn)行三維重建，對(duì)被測(cè)物體進(jìn)行識(shí)別判斷，構(gòu)建一個(gè)道路環(huán)境信息的三維立體位置關(guān)系圖，它的成功與否取決于它在其周?chē)h(huán)境中檢測(cè)和定位對(duì)象的能力，其預(yù)測(cè)、規(guī)避和路徑規(guī)劃都依賴(lài)于對(duì)場(chǎng)景中其他實(shí)體的三維位置和尺寸的檢測(cè)。這使得三維包圍盒檢測(cè)技術(shù)成為自動(dòng)駕駛系統(tǒng)中計(jì)算機(jī)視覺(jué)識(shí)別的一個(gè)重要問(wèn)題。主流的自動(dòng)駕駛系統(tǒng)構(gòu)架中多數(shù)采用了用激光雷達(dá)回波形成的激光雷達(dá)點(diǎn)云進(jìn)行三維目標(biāo)檢測(cè)的方法，但是激光雷達(dá)云圖沒(méi)有目標(biāo)位置的絕對(duì)深度信息，這種純圖像的方法性能上存在滯后性。目前的激光雷達(dá)成本很高，單個(gè)激光雷達(dá)點(diǎn)云密度稀疏其需要多傳感器冗余，這進(jìn)一步推動(dòng)了自動(dòng)駕駛方案成本增高，使其難以在市場(chǎng)上推廣普及，因需要一種更精確性?xún)r(jià)比更高的的三維目標(biāo)檢測(cè)系統(tǒng)。因此本專(zhuān)利技術(shù)提出了一種通過(guò)低成本高清攝像頭進(jìn)行目標(biāo)3D檢測(cè)的裝置。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)的目的在于提供基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，以解決傳統(tǒng)自動(dòng)駕駛系統(tǒng)因采用激光雷達(dá)導(dǎo)致的成本過(guò)高無(wú)法市場(chǎng)推廣的問(wèn)題。為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供如下技術(shù)方案：基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，包括車(chē)輛傳感器裝置、硬件模塊以及數(shù)據(jù)處理模塊；所述車(chē)輛傳感器裝置包括高清攝像頭；所述硬件模塊包括電源電路、通信電路、數(shù)據(jù)格式轉(zhuǎn)換電路、中央處理器和存儲(chǔ)電路，高清攝像頭與中央處理器通過(guò)電路連接；所述數(shù)據(jù)處理模塊包括圖像采集單元、模型訓(xùn)練單元、特征提取單元、圖像處理單元和結(jié)果輸出單元；所述圖像采集單元通過(guò)高清攝像頭采集原始輸入圖像，模型訓(xùn)練單元通過(guò)引入自動(dòng)駕駛數(shù)據(jù)集對(duì)原始輸入圖像的識(shí)別模型進(jìn)行評(píng)估和校正，特征提取單元從圖像采集單元獲取原始輸入圖像并生成多尺度二維特征映射，圖像處理單元根據(jù)高清攝像頭三維目標(biāo)識(shí)別算法進(jìn)行目標(biāo)識(shí)別，結(jié)果輸出單元用于將最終得到的信息傳遞給自動(dòng)駕駛終端；所述特征提取單元從原始輸入圖像中生成多尺度二維特征映射，用平面f(u,v)∈Rn表示，Rn代表n維空間；其中(u,v)是這個(gè)二維特征映射的平面上的特征點(diǎn)，特征映射對(duì)圖像中低層結(jié)構(gòu)的信息進(jìn)行編碼，所述低層結(jié)構(gòu)的信息構(gòu)成訓(xùn)練網(wǎng)絡(luò)用于構(gòu)建場(chǎng)景隱式三維表示的基本組件；通過(guò)正投影鳥(niǎo)瞰轉(zhuǎn)換將f(u,v)∈Rn轉(zhuǎn)換為一個(gè)三維特征圖，用s(x,y,z)∈Rn表示，其中(x,y,z)是三維空間中的點(diǎn)；所述三維特征圖定義了在一個(gè)由均勻間隔組成的三維空間里，用矩形框表示任意一個(gè)大小為r的立方體，所述矩形框的對(duì)角坐標(biāo)分別為(a1,b1)和(a2,b2)，所述矩形框表示的立方體的長(zhǎng)為W、寬為D、高為H，并且有：其中f為高清攝像頭的焦距，(ca,cb)為原點(diǎn)；將圖像f(a,b)∈Rn投影的包圍框進(jìn)行平均化，將每一個(gè)特征分配到s(x,y,z)∈Rn中適當(dāng)?shù)奈恢茫簩⑸傻娜S特征映射g(x，y，z)，將一組學(xué)習(xí)到的權(quán)值矩陣M(y)與s(x,y,z)相乘后沿垂直軸累加，得到正交特征圖：式中：B(x，z)為三維映射在地平面的投影；采用積分圖像的快速平均池化：F(u，v)＝f(a，b)F(a-1，b)+F(a，b-1)-F(a-1，b-1)圖像置信度N(x,z)：式中：N(x,z)是一個(gè)光滑函數(shù)，它表示存在一個(gè)以(x,y0,z)為中心的邊界盒的概率，其中y0是高清攝像頭到地平面的距離，δ是比例因子；相對(duì)位置偏移量ΔposΔpos(x,z)表示邊界盒中心坐標(biāo)(x,y0,z)與目標(biāo)真實(shí)位置的相對(duì)偏差,(xi,yi,zi)Δdim是物體i的中心坐標(biāo)尺寸偏移量Δdim:Δdim表示物體真實(shí)大小與平均尺寸的對(duì)數(shù)關(guān)系，(wi,hi,li)為目標(biāo)物體i的尺寸，是給定物體的平均尺寸；方向向量Δang(x，z)：Δang(x，z)＝[sinθi，cosθi]τΔang(x，z)表示物體相對(duì)于y軸的方向向量，是物體與y軸的量角；采用NMS對(duì)數(shù)據(jù)進(jìn)行濾波，得到最終可信任數(shù)據(jù)，輸出下一級(jí)處理單元。優(yōu)選的，所述高清攝像頭內(nèi)設(shè)置有感應(yīng)的傳感器，布置成查看或捕捉以及查看或捕捉車(chē)輛環(huán)境的選定部分的圖像。優(yōu)選的，所述高清攝像頭的傳感器設(shè)置成車(chē)輛何時(shí)遇到路面特征并且向中央處理器發(fā)送對(duì)應(yīng)的感應(yīng)信號(hào)。優(yōu)選的，所述通信電路與中央處理器通過(guò)電性連接，中央處理器包括CPU和GPU。優(yōu)選的，所述數(shù)據(jù)格式轉(zhuǎn)換電路與通信電路電性連接。優(yōu)選的，所述存儲(chǔ)電路為存儲(chǔ)器，其與中央處理器進(jìn)行電性連接。優(yōu)選的，所述高清攝像頭為多組，分別設(shè)置在車(chē)內(nèi)后視鏡的中軸位置、后備箱的尾部殼體上以及車(chē)身兩側(cè)。優(yōu)選的，所述高清攝像頭和中央處理器均分為能夠執(zhí)行一個(gè)或多個(gè)指令，并且啟動(dòng)至少一個(gè)高清攝像頭以查看或捕捉以及查看或捕捉車(chē)輛環(huán)境選定的一個(gè)圖像。優(yōu)選的，基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)的使用方法，包括以下步驟：(1)圖像采集：通過(guò)高清攝像頭獲得原始輸入圖像；(2)特征值提取：特征提取單元采用用殘差網(wǎng)絡(luò)特征提取方法從輸入原始圖像中提取多尺度特征映射；(3)正投影轉(zhuǎn)換：采用正交特征變化將提取的所有多尺度特征映射的特征圖轉(zhuǎn)換為正投影鳥(niǎo)瞰圖，形成殘差網(wǎng)絡(luò)單元；(4)構(gòu)建多層網(wǎng)絡(luò)：將這些處理后的殘差網(wǎng)絡(luò)單元組成一個(gè)由上之下的多層網(wǎng)絡(luò)；(5)定位和邊界估計(jì)：為多層網(wǎng)絡(luò)的每一層網(wǎng)絡(luò)的每一個(gè)對(duì)象在地平面的投影生成一個(gè)置信度分?jǐn)?shù)，同時(shí)引入位置偏移量、維度偏移量和方向向量；(6)最終定位：采用非極大值抑制算法識(shí)別置信度圖中的峰值并生成離散邊界框，提高物體位置和邊框數(shù)據(jù)的準(zhǔn)確度；(7)輸出數(shù)據(jù)到終端。與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)的有益效果是：該基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，圖像采集單元主要通過(guò)高清攝像頭采集圖像信息，模型訓(xùn)練單元通過(guò)引入自動(dòng)駕駛數(shù)據(jù)集對(duì)圖像識(shí)別模型進(jìn)行評(píng)估和校正，圖像處理單元根據(jù)高清攝像頭三維目標(biāo)識(shí)別算法進(jìn)行目標(biāo)識(shí)別，數(shù)據(jù)數(shù)據(jù)模塊用于將最終的得到的信息傳遞給自動(dòng)駕駛終端。附圖說(shuō)明圖1為本專(zhuān)利技術(shù)的目標(biāo)檢測(cè)系統(tǒng)原理圖；圖2為本專(zhuān)利技術(shù)的算法流程圖。具體實(shí)施方式下面將結(jié)合本專(zhuān)利技術(shù)實(shí)施例中的附圖，對(duì)本專(zhuān)利技術(shù)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本專(zhuān)利技術(shù)一部分實(shí)施例，而不是全部的實(shí)施例。基于本專(zhuān)利技術(shù)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本專(zhuān)利技術(shù)保護(hù)的范圍。本專(zhuān)利技術(shù)提供一種技術(shù)方案：基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，包括車(chē)輛傳感器裝置、硬件模塊以及數(shù)據(jù)處理模塊；車(chē)輛傳感器裝置包括高清攝像頭；硬件模塊包括電源電路、通信電路、數(shù)據(jù)格式轉(zhuǎn)換電路、中央處理器和存儲(chǔ)電路，高清攝像頭與中央處理器通過(guò)電路連接；在本專(zhuān)利技術(shù)的一個(gè)示例中，高清攝像頭內(nèi)設(shè)置有感應(yīng)的傳感器，布置成查看或捕捉以及查看或捕捉車(chē)輛環(huán)境的選定部分的圖像；在本專(zhuān)利技術(shù)的一個(gè)示例中，高清攝像頭的傳感器設(shè)置成車(chē)輛何時(shí)遇到路面特征并且向中央處理器發(fā)送對(duì)應(yīng)的感應(yīng)信號(hào)；在本專(zhuān)利技術(shù)的一個(gè)示例中，通信電路與中央處理CPU/GPU通過(guò)電性連接，通信電路通過(guò)GPS定位車(chē)輛當(dāng)前坐標(biāo)位置，存儲(chǔ)電路為存儲(chǔ)器，其與中央處理器進(jìn)行數(shù)據(jù)交換；在本專(zhuān)利技術(shù)的一個(gè)示例中，高清攝像頭為多組，分別設(shè)置在車(chē)內(nèi)后視鏡的中軸位置、后備箱的尾部殼體上以及車(chē)身兩側(cè)，高清攝像頭和中央處理器均分為能夠執(zhí)行一個(gè)或多個(gè)指令，并本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，包括車(chē)輛傳感器裝置、硬件模塊以及數(shù)據(jù)處理模塊，其特征在于：所述車(chē)輛傳感器裝置包括高清攝像頭；所述硬件模塊包括電源電路、通信電路、數(shù)據(jù)格式轉(zhuǎn)換電路、中央處理器和存儲(chǔ)電路，高清攝像頭與中央處理器通過(guò)電路連接；所述數(shù)據(jù)處理模塊包括圖像采集單元、模型訓(xùn)練單元、特征提取單元、圖像處理單元和結(jié)果輸出單元；所述圖像采集單元通過(guò)高清攝像頭采集原始輸入圖像，模型訓(xùn)練單元通過(guò)引入自動(dòng)駕駛數(shù)據(jù)集對(duì)原始輸入圖像的識(shí)別模型進(jìn)行評(píng)估和校正，特征提取單元從圖像采集單元獲取原始輸入圖像并生成多尺度二維特征映射，圖像處理單元根據(jù)高清攝像頭三維目標(biāo)識(shí)別算法進(jìn)行目標(biāo)識(shí)別，結(jié)果輸出單元用于將最終得到的信息傳遞給自動(dòng)駕駛終端；所述特征提取單元從原始輸入圖像中生成多尺度二維特征映射，用平面f(u,v)∈R

【技術(shù)特征摘要】
1.基于深度學(xué)習(xí)的高清攝像頭3D目標(biāo)檢測(cè)系統(tǒng)，包括車(chē)輛傳感器裝置、硬件模塊以及數(shù)據(jù)處理模塊，其特征在于：所述車(chē)輛傳感器裝置包括高清攝像頭；所述硬件模塊包括電源電路、通信電路、數(shù)據(jù)格式轉(zhuǎn)換電路、中央處理器和存儲(chǔ)電路，高清攝像頭與中央處理器通過(guò)電路連接；所述數(shù)據(jù)處理模塊包括圖像采集單元、模型訓(xùn)練單元、特征提取單元、圖像處理單元和結(jié)果輸出單元；所述圖像采集單元通過(guò)高清攝像頭采集原始輸入圖像，模型訓(xùn)練單元通過(guò)引入自動(dòng)駕駛數(shù)據(jù)集對(duì)原始輸入圖像的識(shí)別模型進(jìn)行評(píng)估和校正，特征提取單元從圖像采集單元獲取原始輸入圖像并生成多尺度二維特征映射，圖像處理單元根據(jù)高清攝像頭三維目標(biāo)識(shí)別算法進(jìn)行目標(biāo)識(shí)別，結(jié)果輸出單元用于將最終得到的信息傳遞給自動(dòng)駕駛終端；所述特征提取單元從原始輸入圖像中生成多尺度二維特征映射，用平面f(u,v)∈Rn表示，Rn代表n維空間；其中(u,v)是這個(gè)二維特征映射的平面上的特征點(diǎn)，特征映射對(duì)圖像中低層結(jié)構(gòu)的信息進(jìn)行編碼，所述低層結(jié)構(gòu)的信息構(gòu)成訓(xùn)練網(wǎng)絡(luò)用于構(gòu)建場(chǎng)景隱式三維表示的基本組件；通過(guò)正投影鳥(niǎo)瞰轉(zhuǎn)換將f(u,v)∈Rn轉(zhuǎn)換為一個(gè)三維特征圖，用s(x,y,z)∈Rn表示，其中(x,y,z)是三維空間中的點(diǎn)；所述三維特征圖定義了在一個(gè)由均勻間隔組成的三維空間里，用矩形框表示任意一個(gè)大小為r的立方體，所述矩形框的對(duì)角坐標(biāo)分別為(a1,b1)和(a2,b2)，所述矩形框表示的立方體的長(zhǎng)為W、寬為D、高為H，并且有：其中f為高清攝像頭的焦距，(ca,cb)為原點(diǎn)；將圖像f(a,b)∈Rn投影的包圍框進(jìn)行平均化，將每一個(gè)特征分配到s(x,y,z)∈Rn中適當(dāng)?shù)奈恢茫簩⑸傻娜S特征映射g(x，y，z)，將一組學(xué)習(xí)到的權(quán)值矩陣M(y)與s(x,y,z)相乘后沿垂直軸累加，得到正交特征圖：式中：B(x，z)為三維映射在地平面的投影；采用積分圖像的快速平均池化：F(u，v)＝f(a，b)+F(a-1，b)+F(a，b-1)-F(a-1，b-1)圖像置信度N(x,z)：式中：N(x,z)是一個(gè)光滑函數(shù)，它表示存在一個(gè)以(x,y0,z)為中心的邊界盒的概率，其中y0是高清攝像頭到地平面的距離，δ是比例因子；相對(duì)位置偏移量ΔposΔpos(x,z)表示邊界盒中心坐標(biāo)(x,y0,z)與目標(biāo)真實(shí)位置的相對(duì)偏差,(xi,yi,zi)Δdim是物體i的中心坐標(biāo)尺寸偏移量Δdim:Δdim表示物體真實(shí)大小與平均尺寸的對(duì)數(shù)關(guān)系，(wi,h...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：母江東，張祥，徐江，張毅，李寶林，黃承雨，曾建軍，
申請(qǐng)(專(zhuān)利權(quán))人：重慶集誠(chéng)汽車(chē)電子有限責(zé)任公司，中電科技集團(tuán)重慶聲光電有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：重慶,50