擁擠交通中基于雙目視覺和激光雷達聯合校驗的防撞方法技術

本發明專利技術公開了一種擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法，包括以下步驟：對雙目視覺系統和激光雷達系統進行參數聯合標定，得到攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系；利用左側攝像機和右側攝像機采集車輛前方環境信息，同時使用激光雷達對前方區域進行多線掃描，得到兩種不同類型傳感器的異類異步數據并進行預處理；判斷當前車輛前方是否有障礙物，如果有障礙物采用聯合魯棒校驗方法，得到當前障礙物相對于本車的距離信息并根據障礙物距離信息預警。本發明專利技術極大地提高障礙物識別效率和魯棒性。解決了擁擠交通環境中，攝像機所獲得障礙物輪廓不完整的問題，同時，能夠獲得更為準確可靠的障礙物參數信息。

【技術實現步驟摘要】
擁擠交通中基于雙目視覺和激光雷達聯合校驗的防撞方法
本專利技術屬于智能車輛
，涉及汽車安全行駛，具體涉及擁擠交通中基于雙目視覺和激光雷達的聯合校驗防撞方法。
技術介紹
隨著汽車技術的發展，交通安全問題越發突出。而車輛碰撞為交通事故的主要表現形式。智能交通系統通過改進“人-車-環境”耦合系統的智能化水平，可以有效提高在途行駛車輛的安全性。作為智能交通系統的重要組成部分，智能車輛防撞技術是其實現智能化的關鍵。基于機器視覺和激光雷達的避障方法是智能車輛常用的避障技術，其技術要點在于首先通過機器視覺方法獲得周圍環境中的障礙信息，然后使用激光雷達技術獲取所探測障礙物的景深信息，綜合得到障礙物的實時信息。該方法結構簡單，易于實現，對于車輛在未知環境中行駛時的障礙識別具有重要的意義。然而，當交通系統比較擁擠時，由于車輛間距離較近，攝像機無法獲取環境中相鄰車輛的整體輪廓信息，系統會表現出魯棒性不高，“虛警”、“漏檢”現象嚴重等問題，并可能導致交通事故。因此，在擁擠環境中，如何準確地檢測出前方車輛的相對位置和類型，并指導車輛防撞是一個亟待解決的問題。
技術實現思路
本專利技術旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種擁擠交通中基于雙目視覺和激光雷達聯合校驗的防撞方法，解決現有技術在擁擠交通環境下魯棒性不高的問題。為了實現本專利技術的上述目的，本專利技術提供了一種擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法，具體包括以下步驟：S1，對雙目視覺系統和激光雷達系統進行參數聯合標定，得到攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系；S2，利用左側攝像機和右側攝像機采集車輛前方環境信息，同時使用激光雷達對前方區域進行多線掃描，得到兩種不同類型傳感器的異類異步數據，并對所獲得的數據進行預處理；S3，對步驟S2所獲得的數據進行分析，判斷當前車輛前方障礙物的存在性，如果沒有障礙物則返回步驟S2，否則執行步驟S4；S4，采用聯合魯棒校驗方法計算，得到當前障礙物相對于本車的距離信息；S5，根據步驟S4所確定的障礙物距離信息，進行預警，提醒駕駛員前方障礙信息。相比現有技術，本專利技術具有如下有益效果：1、本專利技術采用雙層障礙物檢測方法，包括：首先使用耗時較短的“障礙物存在性聯合快速校驗方法”判斷車輛前方是否存在障礙物。當確定障礙物存在后，調用“障礙物參數聯合魯棒校驗方法”確定障礙物的具體參數。本專利技術可以極大的提高障礙物識別效率和魯棒性，系統檢測單次循環不超過38ms，檢測成功率達到93％以上。2、本專利技術采用雙目視覺系統和激光雷達作為環境感知設備，同時對車輛前方行駛環境進行探測。通過對左、右攝像機所捕獲圖像的拼接處理，解決了擁擠交通環境中，攝像機所獲得障礙物輪廓不完整的問題。同時，采用距離信息融合的方法，將雙目視覺三維環境重構，獲得的障礙物的距離信息和激光雷達獲得的障礙物距離信息相融合，獲得更為準確可靠的障礙物參數信息。附圖說明圖1為本專利技術的雙目視覺系統和激光雷達系統硬件框圖；圖2為本專利技術的擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法的流程圖；圖3為本專利技術的航位推算坐標變換示意圖；圖4為本專利技術的擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法的邏輯框圖。具體實施方式下面詳細描述本專利技術的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本專利技術，而不能理解為對本專利技術的限制。在本專利技術的描述中，除非另有規定和限定，需要說明的是，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領域的普通技術人員而言，可以根據具體情況理解上述術語的具體含義。本專利技術擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法利用的系統如圖1所示，防撞系統包括雙目視覺系統、激光雷達采集系統、電源和電子控制計算單元。其中，雙目視覺系統包括左攝像頭、左攝像頭數據采集卡、右攝像頭和右攝像頭數據采集卡，攝像頭數據采集卡將圖像信號采集后通過以太網傳輸到電子控制計算單元中；激光雷達系統用來對車輛前方障礙物進行掃描，并將數據通過以太網傳輸到電子控制計算單元中；電子控制計算單元用來處理雙目視覺系統和激光雷達系統的數據；電源系統為雙目視覺系統、激光雷達采集系統和電子控制計算單元提供電能。本專利技術還提供了一種擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法，如圖2和圖4所示，其包括以下步驟：S1，采用聯合標定方法對雙目視覺系統和激光雷達系統進行參數聯合標定，得到攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系。在本實施方式中，采用聯合標定方法建立攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系，具體方法為：S11，對左攝像機、右攝像機分別進行標定，獲得攝像機的標定參數，所述標定參數包括：左攝像機內參矩陣ML，右攝像機內參矩陣MR，左攝像機旋轉矩陣RL，右攝像機旋轉矩陣RR，左攝像機平移向量tL和右攝像機平移向量tR。S12，對激光雷達進行標定，獲得激光雷達標定參數，包括換算矩陣RML和平移矩陣tML。在本實施方式中，具體參數的定義和標定取值方法可按照現有技術中的定義和取值方法。S13，給定車輛坐標系中的一點S，該點在左攝像機坐標系、右攝像機坐標系和激光雷達坐標系中的非齊次坐標分別為XcL，XcR，XML，該點在車輛坐標系中的坐標為Xw，得到：XcL＝RLXw+tL，XcR＝RRXw+tR，XML＝RMLXw+tML。S14，將步驟S13中XcL、XML和XcR中Xw消去，得到XcL＝RLRR-1(XcR-tR)+tL，XcR＝RRRML-1(XML-tML)+tR，由此求出左攝像機、右攝像機和激光雷達之間的變換關系，分別為：從激光雷達到左攝像機坐標系的變換關系為：RML＝RLRML-1，tML＝tL-RLRML-1tML；從激光雷達到右攝像機坐標系的變換關系為：RMR＝RRRML-1，tMR＝tR-RRRML-1tML。S2，利用左側攝像機和右側攝像機采集車輛前方環境信息，同時使用激光雷達對前方區域進行多線掃描，得到兩種不同類型傳感器的異類異步數據，并對所獲得的數據進行預處理。在本實施方式中，對得到的異類異步數據預處理方法具體包括以下步驟：S21，采用數據挖掘領域的快速OPTICS聚類算法對激光雷達得到的點云數據進行聚類篩選，獲得點云聚類，對算法生成的有序對象列表進行分析，去除其中不屬于聚類群的孤立點和奇異點。具體快速OPTICS聚類算法可參照現有的方法。S22，對左攝像機、右攝像機獲得的當前圖像進行色彩空間轉換處理，由三通道RGB彩色空間轉換到單通道灰度空間，并進行直方圖均衡化處理。直方圖處理的公式如下：式中，N為樣本圖像I中Harr-like特征的數量，Am為矩形區域，R為旋轉因子，ζm為特征值，當像素灰度為黑色時ζm為0，否則為白色時ζm為1。S23，使用雙邊濾波在保證圖像中障礙物邊緣清晰的前提下去除圖像中的噪聲，濾波計算表達式為：其中，f為原輸入圖像，h為去噪后的輸出圖像，c(ξ,x)為度量了領域中心點x和領近點ξ的幾何臨近度，kd為歸本文檔來自技高網...

【技術保護點】
一種擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法，其特征在于，具體包括以下步驟：S1，對雙目視覺系統和激光雷達系統進行參數聯合標定，得到攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系；S2，利用左側攝像機和右側攝像機采集車輛前方環境信息，同時使用激光雷達對前方區域進行多線掃描，得到兩種不同類型傳感器的異類異步數據，并對所獲得的數據進行預處理；S3，對步驟S2所獲得的數據進行分析，判斷當前車輛前方障礙物的存在性，如果沒有障礙物則返回步驟S2，否則執行步驟S4；S4，采用聯合魯棒校驗方法計算，得到當前障礙物相對于本車的距離信息；S5，根據步驟S4所確定的障礙物距離信息，進行預警，提醒駕駛員前方障礙信息。

【技術特征摘要】
1.一種擁擠交通中基于雙目視覺和激光雷達的車輛防撞方法，其特征在于，具體包括以下步驟：S1，對雙目視覺系統和激光雷達系統進行參數聯合標定，得到攝像機坐標系、雷達坐標系與車輛坐標系三者之間的對應與轉換關系；S2，利用左側攝像機和右側攝像機采集車輛前方環境信息，同時使用激光雷達對前方區域進行多線掃描，得到兩種不同類型傳感器的異類異步數據，并對所獲得的數據進行預處理；S3，對步驟S2所獲得的數據進行分析，判斷當前車輛前方障礙物的存在性，如果沒有障礙物則返回步驟S2，否則執行步驟S4；在本步驟中采用快速聯合校驗方法判斷車輛前方障礙物存在性，具體包括以下步驟：S31，使用快速聚類方法將激光雷達得到的一幀點云數據分割為多個點族，這些點族包含了障礙物和非障礙物分類，聚類的判斷規則如下：式中：rmin＝{rk,rk+1},rk,k+1＝|rk-rk+1|為相鄰兩個激光雷達的距離；φ為激光雷達角分辨率，C0為調節激光雷達的縱向誤差；當相鄰兩個激光雷達數據點距離小于某個閾值的時候，視為它們在同一個聚類空間中；S32，將車輛前方行駛范圍內的點族視為障礙物可疑點；S33，對左、右攝像機所獲取的圖像分別進行障礙物特征分析，首先將兩幅單幀圖像從RGB顏色空間，轉換到對光照敏感度小的HIS顏色空間中；S34，使用特征搜索法計算路面區域的色調Ha和飽和度Sa，計算方法為：其中其中，式中，S表示臨域W內的像素個數；M和N分別為臨域W的長和寬，f(u,v)、g(u,v)分別表示此像素的色調和飽和度；S35，圖像中障礙物判定，圖像中像素點(i,j)為障礙物的計算公式為：F(i,j)＝|h(i,j)-Ha|G(i,j)＝|s(i,j)-Sa|當F(i,j)大于設定的閾值HT時，并且G(i,j)大于設定的閾值ST時，像素對應為障礙物存在可疑點；S36，將激光雷達獲得的可疑點和左、右攝像機獲得的可疑點通過坐標變換變換到車輛坐標系中來；若有兩個以上傳感器所確定的可疑點在車輛坐標系中重合，則確認當前車輛前方存在障礙物；S4，采用聯合魯棒校驗方法計算，得到當前障礙物相對于本車的距離信息，所述聯合魯棒校驗方法具體步驟如下：S41，分別構建左、右攝像機所捕獲圖像的尺度空間函數，定義尺度函數分別為LL(x,y),LR(x,y),將高斯函數作為卷積核，其中高斯函數為：δ為尺度空間因子，x和y為像素點坐標；使用高斯函數對圖像進行卷積，卷積公式為：其中為卷積計算符；S42，確定各關鍵點的尺度，剔除低對比度的關鍵點，利用關鍵點臨域像素的梯度為每個關鍵點指定方向參數；關鍵點的尺度梯度m(x,y)和方向θ(x,y)分別為：θ(x,y)＝tan-1([L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]，S43，采用關鍵點特征向量的歐式距離作為兩幅圖像中關鍵點的相似性判定準則，得到滿足準則的匹配點對；S44，以匹配點對為基礎，對兩幅圖像進行拼接處理，得到擴展后的具有障礙物全部輪廓的全景圖像；將右攝像機圖像平移(x0,y0)后，即：f2(x,y)＝f1(x-x0,y-y0)，其中f1為原圖像，f2為平移后的圖像，對右攝像機平移后圖像和左攝像機圖像進行拼接處理產生全景圖像，所述x0,y0依次為將原右攝像機圖像平移得到全景圖像時的平移橫坐標距離和平移縱坐標距離；S45，將激光雷達坐標系中的可疑障礙物位置向拼接后的圖像投影，可疑障礙物在圖像中的投影區域，即為感興趣ROI區域；S46，提取圖像ROI區域中的HAAR特征，采用RAB級聯分類方法對圖像中的ROI區域進行障礙物分類，獲得障礙物的類型信息；S47，對左、...

【專利技術屬性】
技術研發人員：王科，韓鵬，王東強，
申請(專利權)人：重慶大學，重慶市科學技術研究院，
類型：發明
國別省市：重慶;85