【技術實現(xiàn)步驟摘要】
本專利技術涉及一種多功能與多感知的智能汽車等于及其使用方法，屬于汽車智能燈光照明和自動駕駛環(huán)境感知領域。
技術介紹
0、技術背景
1、2014年，美國汽車工程師協(xié)會（sae）根據(jù)汽車智能化程度將自動駕駛劃分為l0~l5，共6個等級。當前，全球智能汽車普遍處于l2級即高級輔助駕駛階段，其中制約實現(xiàn)更高級自動駕駛的關鍵和難點在于：如何通過傳感器對360°行車環(huán)境進行高精度、高效率和高可靠的場景感知，包括障礙物類型、道路標線、行人車輛和交通標志等關鍵信息的檢測與識別。目前，自動駕駛環(huán)境感知主要采用以特斯拉tesla和小鵬汽車等為代表的“弱感知+超強智能”技術路線，以谷歌waymo和百度apollo等多數(shù)企業(yè)為代表的“強感知+強智能”技術路線。其中，“弱感知+超強智能”路線主要依賴攝像頭（單目/雙目）與深度學習算法實現(xiàn)環(huán)境感知，而“強感知+強智能”路線是在攝像頭的基礎之上增加激光雷達等傳感器提高環(huán)境感知能力，但兩種典型的技術路線都依賴于單目/雙目攝像頭的圖像感知技術。相對于視覺識別技術來說，激光雷達盡管在探測精度、探測距離和可靠性等方面明顯優(yōu)勢，但也存在著成本高、技術難、受天氣影響大以及不同車輛雷達之間易發(fā)生信號串擾等諸多缺點，對于交警手勢、行人動作、交通標識和信號燈燈等也無法識別。因此，在今后相當長的一段時間內，汽車自動駕駛必將普遍采取“純視覺”或者“視覺為主，雷達為輔”的主流技術路線。
2、無論未來發(fā)展采用何種智駕方案，以單目視覺、雙目視覺、多目視覺、全景視覺和混合視覺等為基礎的圖像感知與識別技術必將成為提高
技術實現(xiàn)思路
1、本專利技術公開了一種多功能與多感知的汽車智能燈具及其使用方法，以有效解決現(xiàn)有雙目視覺技術在深度感知距離短與精度低、無真值條件下難以自動校準視覺模組多自由度偏差等諸多制約其發(fā)展與應用的技術難點和瓶頸。
2、一種多功能與多感知的智能汽車燈具，該智能汽車大燈包括燈光照明模塊、環(huán)境感知模塊和投影顯示模塊，其中，燈光照明模塊包括安裝固定于智能汽車燈具殼體內不同位置的轉向燈及霧燈的燈泡和轉向燈及霧燈燈泡的反射鏡、遠光燈及近光燈的反射鏡和遠光燈及近光燈的燈泡、日行燈及示寬燈的反射鏡和日行燈及示寬燈的燈泡。
3、進一步地，汽車前后燈具中的四個廣角攝像頭模組分別通過四個廣角攝像頭緊固螺釘安裝固定在車燈殼體的內側，通過左右前大燈和左右后尾燈的兩組廣角攝像頭分別形成前視雙目視覺系統(tǒng)和后視雙目視覺系統(tǒng)；同時，前視/后視雙目視覺系統(tǒng)兩個廣角攝像頭模組采集獲取的圖像信息分別進行配準變換和融合重構等圖像拼接處理之后，生成兩組具有大視場角的前視和后視圖像，有效減少視覺盲區(qū)，同時直接用于汽車行車記錄、360影像、哨兵監(jiān)控、泊車/倒車輔助、偏離/碰撞預警等駕駛輔助系統(tǒng)。
4、進一步地，為了增大左右長焦/變焦攝像頭之間的橫向距離，汽車左右前大燈的兩個長焦/變焦攝像頭模組分別通過四個長焦/變焦攝像頭緊固螺釘安裝固定在車燈殼體的外側，以構建汽車前視的長焦雙目視覺系統(tǒng)，解決廣角雙目視覺系統(tǒng)遠距離目標探測識別能力不足的問題；同時，兩個長焦攝像頭能夠采集獲取汽車行駛前方較遠區(qū)域的圖像信息，完成圖像拼接處理之后可與兩個廣角攝像頭采集獲取的圖像信息進行超分辨率復原與重建處理，以進一步增強汽車駕駛輔助系統(tǒng)的功能與性能。
5、進一步地，汽車燈具的廣角攝像頭和長焦/變焦攝像頭通過識別提取周圍環(huán)境中具有標準長寬尺寸的汽車牌照（長×寬：440mm×140mm或440mm×220mm），經(jīng)過變換和矯正后分別計算標準車牌在不同廣角和長焦/變焦圖像中占據(jù)的位置形狀和像素點數(shù)，就可以迅速而準確地獲取對應汽車的方位和距離，進而實現(xiàn)不同空間范圍內汽車類目標的高效精準“單目”視覺識別；同時，以標準尺寸的汽車牌照代替?zhèn)鹘y(tǒng)的黑白棋盤格標定板，可在任意行駛狀態(tài)下隨時隨地對廣角和長焦/變焦雙目視覺識別系統(tǒng)的每個攝像頭模組進行多自由度的偏差自動校準和快速標定，有效解決雙目視覺系統(tǒng)兩個攝像頭因為行駛顛簸（使兩攝像頭之間的位置與角度發(fā)生變化）和鏡頭焦距變化而導致目標探測精確性和一致性下降的問題。
6、進一步地，汽車左右前大燈的熱紅外攝像頭模組分別通過四個熱紅外攝像頭緊固螺釘安裝固定在車燈殼體的中部，利用車輛和行人與周圍環(huán)境之間必然存在的溫度差，采集獲取行車方向一定角度范圍內熱紅外圖像信息，同時通過熱紅外與可見光雙目視覺圖像信息的像素增強與融合重構等操作解決熱紅外攝像頭模組普遍存在的低像素分辨率問題，有效探測和預警因為道路兩側綠化帶樹叢、草叢和柵欄等障礙物遮擋而難以直接用眼觀察的行人與動物等目標物，利用可見光與熱紅外融合的高清圖像還可大幅增強汽車在雨霧、夜間和逆光等各類低能見度條件下的行車安全。
7、進一步地，車燈可以根據(jù)汽車配置要求選裝激光雷達模組和毫米波/超聲波雷達模組，并且分別通過四個激光雷達緊固螺釘和四個超聲波/毫米波雷達緊固螺釘安裝固定在車燈殼體的中部上緣；通過激光雷達模組和超聲波/毫米波雷達模組采集獲取汽車周圍環(huán)境的空間位置信息，并與可見光和熱紅外雙目視覺系統(tǒng)采集獲取的空間圖像信息進行多維度的數(shù)據(jù)融合，最終實現(xiàn)汽車自動駕駛過程對其周圍自然環(huán)境和交通參與者的大范圍和高精度感知與識別，包括行人車輛、天氣光淺、車道標線、交通標志、路面障礙、坡度彎道和特殊群體等視距內和超視距的感知與識別。
8、進一步地，在汽車左右前大燈和左右后尾燈均安裝集成紅綠藍三色激光投影模組，并通過五個三色激光投影緊固螺釘安裝固定在車燈殼體的外側下緣；利用廣角與長焦/變焦雙目視覺系統(tǒng)、熱紅外雙目視覺系統(tǒng)、激光雷達和超聲波/毫米波雷達等對行車環(huán)境進行多特征、多目標和多維度的感知與識別，相關的環(huán)境感知信息經(jīng)過數(shù)據(jù)融合、重構拼接和超分辨率處理后，再通過紅綠藍三色激光投影模組將車輛狀態(tài)、環(huán)境感知和安全預警等信息根據(jù)重要程度與安全等級以不同顏色投影顯示到相應交通參與者顯著可視范圍的路面之上，有效減輕駕駛疲勞、提高行車安全和提升駕駛體驗。
9、進一步地，將可見光雙目視覺系統(tǒng)兩個攝像頭分別安裝于汽車左右前大燈和左右后尾燈之內，本文檔來自技高網(wǎng)...
【技術保護點】
1.一種多功能與多感知的智能汽車燈具，其特征在于：該智能汽車大燈包括燈光照明模塊、環(huán)境感知模塊和投影顯示模塊，其中，燈光照明模塊包括安裝固定于智能汽車燈具殼體內不同位置的轉向燈及霧燈的燈泡和轉向燈及霧燈燈泡的反射鏡、遠光燈及近光燈的反射鏡和遠光燈及近光燈的燈泡、日行燈及示寬燈的反射鏡和日行燈及示寬燈的燈泡；環(huán)境感知模塊包括廣角攝像頭模組、長焦/變焦攝像頭模組、熱紅外攝像頭模組、激光雷達模組和毫米波雷達模組；投影顯示模塊包括紅綠藍三色激光投影模組。
2.一種根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車前后燈具中的四個廣角攝像頭模組分別通過四個廣角攝像頭緊固螺釘安裝固定在車燈殼體的內側，通過左右前大燈和左右后尾燈的兩組廣角攝像頭分別形成前視雙目視覺系統(tǒng)和后視雙目視覺系統(tǒng)；同時，前視及后視雙目視覺系統(tǒng)兩個廣角攝像頭模組采集獲取的圖像信息分別進行配準變換和融合重構等圖像拼接處理之后，生成兩組具有大視場角的前視和后視圖像，同時直接用于汽車行車記錄、360影像、哨兵監(jiān)控、泊車/倒車輔助、偏離/碰撞預警駕駛輔助系統(tǒng)。
3.根據(jù)權利要求2
4.根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車燈具的廣角攝像頭和長焦/變焦攝像頭通過識別提取周圍環(huán)境中具有標準長寬尺寸的汽車牌照，汽車牌照長×寬為440mm×140mm或440mm×220mm，經(jīng)過變換和矯正后分別計算標準車牌在不同廣角和長焦/變焦圖像中占據(jù)的位置形狀和像素點數(shù)，就可以迅速而準確地獲取對應汽車的方位和距離，進而實現(xiàn)不同空間范圍內汽車類目標的高效精準“單目”視覺識別；同時，以標準尺寸的汽車牌照代替?zhèn)鹘y(tǒng)的黑白棋盤格標定板，可在任意行駛狀態(tài)下隨時隨地對廣角和長焦/變焦雙目視覺識別系統(tǒng)的每個攝像頭模組進行多自由度的偏差自動校準和快速標定，有效解決雙目視覺系統(tǒng)兩個攝像頭因為行駛顛簸和鏡頭焦距變化而導致目標探測精確性和一致性下降的問題。
5.根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車左右前大燈的熱紅外攝像頭模組分別通過四個熱紅外攝像頭緊固螺釘安裝固定在車燈殼體的中部，利用車輛和行人與周圍環(huán)境之間必然存在的溫度差，采集獲取行車方向一定角度范圍內熱紅外圖像信息，同時通過熱紅外與可見光雙目視覺圖像信息的像素增強與融合重構等操作解決熱紅外攝像頭模組普遍存在的低像素分辨率問題，有效探測和預警因為道路兩側綠化帶樹叢、草叢和柵欄等障礙物遮擋而難以直接用眼觀察的行人與動物等目標物，利用可見光與熱紅外融合的高清圖像還可大幅增強汽車在雨霧、夜間和逆光等各類低能見度條件下的行車安全。
6.根據(jù)權利要求2~5所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：車燈可以根據(jù)汽車配置要求選裝激光雷達模組和毫米波/超聲波雷達模組，并且分別通過四個激光雷達緊固螺釘和四個超聲波/毫米波雷達緊固螺釘安裝固定在車燈殼體的中部上緣；通過激光雷達模組和超聲波/毫米波雷達模組采集獲取汽車周圍環(huán)境的空間位置信息，并與可見光和熱紅外雙目視覺系統(tǒng)采集獲取的空間圖像信息進行多維度的數(shù)據(jù)融合，最終實現(xiàn)汽車自動駕駛過程對其周圍自然環(huán)境和交通參與者的大范圍和高精度感知與識別，包括行人車輛、天氣光淺、車道標線、交通標志、路面障礙、坡度彎道和特殊群體等視距內和超視距的感知與識別。
7.根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：在汽車左右前大燈和左右后尾燈均安裝集成紅綠藍三色激光投影模組，并通過五個三色激光投影緊固螺釘安裝固定在車燈殼體的外側下緣；利用廣角與長焦/變焦雙目視覺系統(tǒng)、熱紅外雙目視覺系統(tǒng)、激光雷達和超聲波/毫米波雷達等對行車環(huán)境進行多特征、多目標和多維度的感知與識別，相關的環(huán)境感知信息經(jīng)過數(shù)據(jù)融合、重構拼接和超分辨率處理后，再通過紅綠藍三色激光投影模組將車輛狀態(tài)、環(huán)境感知和安全預警等信息根據(jù)重要程度與安全等級以不同顏色投影顯示到相應交通參與者顯著可視范圍的路面之上，有效減輕駕駛疲勞、提高行車安全和提升駕駛體驗。
8.根據(jù)權利要求2~7所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：將可見光雙目視覺系統(tǒng)兩個攝像頭分別安裝于汽車左右前大燈和左右后尾燈之內，有效增加兩個攝像頭之間的橫向距離，不僅能夠雙目視覺系統(tǒng)的...
【技術特征摘要】
1.一種多功能與多感知的智能汽車燈具，其特征在于：該智能汽車大燈包括燈光照明模塊、環(huán)境感知模塊和投影顯示模塊，其中，燈光照明模塊包括安裝固定于智能汽車燈具殼體內不同位置的轉向燈及霧燈的燈泡和轉向燈及霧燈燈泡的反射鏡、遠光燈及近光燈的反射鏡和遠光燈及近光燈的燈泡、日行燈及示寬燈的反射鏡和日行燈及示寬燈的燈泡；環(huán)境感知模塊包括廣角攝像頭模組、長焦/變焦攝像頭模組、熱紅外攝像頭模組、激光雷達模組和毫米波雷達模組；投影顯示模塊包括紅綠藍三色激光投影模組。
2.一種根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車前后燈具中的四個廣角攝像頭模組分別通過四個廣角攝像頭緊固螺釘安裝固定在車燈殼體的內側，通過左右前大燈和左右后尾燈的兩組廣角攝像頭分別形成前視雙目視覺系統(tǒng)和后視雙目視覺系統(tǒng)；同時，前視及后視雙目視覺系統(tǒng)兩個廣角攝像頭模組采集獲取的圖像信息分別進行配準變換和融合重構等圖像拼接處理之后，生成兩組具有大視場角的前視和后視圖像，同時直接用于汽車行車記錄、360影像、哨兵監(jiān)控、泊車/倒車輔助、偏離/碰撞預警駕駛輔助系統(tǒng)。
3.根據(jù)權利要求2所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車左右前大燈的兩個長焦/變焦攝像頭模組分別通過四個長焦/變焦攝像頭緊固螺釘安裝固定在車燈殼體的外側；同時，兩個長焦攝像頭能夠采集獲取汽車行駛前方較遠區(qū)域的圖像信息，完成圖像拼接處理之后可與兩個廣角攝像頭采集獲取的圖像信息進行超分辨率復原與重建處理。
4.根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車燈具的廣角攝像頭和長焦/變焦攝像頭通過識別提取周圍環(huán)境中具有標準長寬尺寸的汽車牌照，汽車牌照長×寬為440mm×140mm或440mm×220mm，經(jīng)過變換和矯正后分別計算標準車牌在不同廣角和長焦/變焦圖像中占據(jù)的位置形狀和像素點數(shù)，就可以迅速而準確地獲取對應汽車的方位和距離，進而實現(xiàn)不同空間范圍內汽車類目標的高效精準“單目”視覺識別；同時，以標準尺寸的汽車牌照代替?zhèn)鹘y(tǒng)的黑白棋盤格標定板，可在任意行駛狀態(tài)下隨時隨地對廣角和長焦/變焦雙目視覺識別系統(tǒng)的每個攝像頭模組進行多自由度的偏差自動校準和快速標定，有效解決雙目視覺系統(tǒng)兩個攝像頭因為行駛顛簸和鏡頭焦距變化而導致目標探測精確性和一致性下降的問題。
5.根據(jù)權利要求1所述的一種多功能與多感知的智能汽車燈具使用方法，其特征在于：汽車左右前大燈的熱紅外攝像頭模組分別通過四個熱紅外攝像頭緊固螺釘安裝固定在車燈殼體的中部，利用車輛和行人與周圍環(huán)境之間必然存在的溫度差，采集獲取行車方向一定角度范圍內熱紅外圖像信息，同時通過熱紅外與可見光雙目視覺圖像信息的像素增強與融合重構等操作解決熱紅外攝像頭模組普遍存在的低像素分辨率問題，有效...
【專利技術屬性】
技術研發(fā)人員：王榮奇，浦杰，浦新華，徐才，范宏偉，吳海健，
申請(專利權)人：江蘇海德萊特智能科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。