基于非制冷紅外與微光融合的夜間駕駛系統技術方案

本發明專利技術公開了一種基于非制冷紅外與微光融合的夜間駕駛系統，該系統是一種可以滿足車輛駕駛人員對周圍環境動態觀察的智能視頻監控系統，可對周圍環境進行探測、跟蹤以及對象分析；該系統由五部分組成：視頻采集模塊、視頻預處理模塊、視頻控制模塊、視頻融合模塊和視頻顯示模塊。本發明專利技術采用了圖像處理技術，提升了圖像質量；采用了基于YCbCr彩色空間的自適應偽彩色融合算法，加入了融合模式切換功能，融合后的圖像色彩真實，有利于人眼的目標識別；采用隨動伺服控制系統使得車輛駕駛人員能快速對周圍環境進行不同角度的觀察，提高對環境目標的識別能力和觀察效果，為車輛的安全性能提供了有力的保障。

【技術實現步驟摘要】

本專利技術屬于駕駛輔助系統，特別是一種基于非制冷紅外與微光融合的夜間駕駛輔助系統。
技術介紹
隨著現代信息技術的發展，人們對車輛駕駛的安全性提出了更高的要求。在夜間和復雜氣象條件下，僅僅依靠駕駛人員直接目視往往無法有效的獲取車輛周圍情況，車輛行駛的安全性受到很大威脅。另一方面，隨著光電技術的發展，通過現代夜視成像和信息處理技術，可以清晰獲取車輛前方道路的畫面，并將其傳遞給駕駛人員，有效的提高夜間駕駛的安全性。目前的夜視圖像主要有紅外圖像和微光圖像。紅外成像系統探測距離遠，但對比度較低，動態范圍大，物體外觀不自然，不符合人眼視覺習慣。微光圖像對比度很低，直方圖表現灰度范圍集中，尤其強光輸入時會導致局部出現光暈，嚴重影響駕駛員視野。因此使用任一種單一圖像作為輔助駕駛系統均無法達到理想效果，鑒于紅外與微光圖像的良好互補性，將紅外和微光圖像進行融合顯示已成為夜間駕駛員視覺增強的一種有效手段，能夠為駕駛人員提供更全面的目標背景信息，增強觀察效果。針對這一問題，設計了一種有利于視覺增強的基于非制冷紅外與微光融合的夜間駕駛輔助系統。在夜間駕駛視覺增強技術和圖像融合技術這方面，國內外很多學者、科研機構做出了很多努力。其中有：四川大學，電子信息學院的宋敏，張蓉竹，孫年春發表的《基于紅外與微光融合圖像的夜視儀設計》。此文在FPGA系統上設計了幀同步、圖像分割、動目標檢測、圖像融合子模塊，實現了恒虛警檢測、目標染色、圖像融合等功能，雖然算法簡單易于在硬件實現但融合效果不好，存在較大的噪聲。華中科技大學模式識別與人工智能研究所的龔俊斌、馬佳義、田金文發表的《一種車載的紅外與微光圖像融合系統設計》。此文使用紅外熱像儀與微光相機平行光路設計，信息處理分為圖像采集、圖像融合、顏色遷移與圖像顯示五個模塊，在DSP中實現了小波彩色圖像融合算法。此算法頗為復雜，雖然融合圖像有更好的質量，但在硬件上實現無法保證處理的實時性，還需要后續的算法優化及硬件的進一步設計。以上所提到的技術存在以下缺點：算法簡單但融合效果不理想、算法復雜卻不具備實時性，而且這些系統功能單一，人機交互能力不強。這些缺點都不利于駕駛人員對車輛周圍目標背景的觀察，影響判斷和操作，降低了安全性。
技術實現思路
本專利技術的目的在于提供一種基于非制冷紅外與微光融合的夜間駕駛系統。該系統能夠很好的將周圍背景的紅外與微觀融合圖像實時地提供給駕駛人員，能夠為駕駛人員提供更全面的目標背景信息，增強觀察效果并提高車輛安全性能。實現本專利技術目的的技術解決方案為：一種基于非制冷紅外與微光融合的夜間駕駛系統，包括視頻采集模塊、視頻預處理模塊、視頻控制模塊、視頻融合模塊、視頻顯示模塊；其中：視頻采集模塊與視頻預處理模塊相連用以獲取視頻信號，將采集到的微弱的自然光圖像和熱對比度圖像轉換為模擬視頻信號，并將視頻信號傳輸至視頻預處理模塊；視頻預處理模塊與視頻控制模塊相連，視頻預處理模塊主要將采集到的視頻信號進行增強，方便后續的圖像處理計算，采用時域濾波與空域濾波相結合、分區域處理的方法對微光視頻信號降噪，對紅外圖像采取對比度拉伸增強的方法，并將預處理后的視頻數據傳輸至視頻控制模塊；視頻控制模塊模塊與視頻融合模塊相連，顯示模式切換功能用于對圖像進行實時顯示控制，可實時切換圖像融合模式、控制顯示屏顯示時間和GPS定位信息等；隨動伺服控制模塊用于控制前端攝像機與后端OLED眼鏡保持同步轉動；視頻融合模塊與視頻顯示模塊相連，用于對兩路視頻信號采用基于YCbCr彩色空間的自適應偽彩色融合算法進行偽彩色融合，并將融合后的視頻信號傳輸到視頻顯示模塊；視頻顯示模塊與視頻融合模塊相連，OLED眼鏡可以接收視頻融合模塊無線傳輸的視頻信號來實時顯示，顯示器可直接顯示有線傳輸的視頻信號。本專利技術與現有技術相比，其顯著優點：（1）在DSPTMS320C6678上實現了YCbCr彩色空間的直方圖規定化色彩自適應傳遞算法，實現對融合圖像的自動色彩傳遞，圖像色彩較真實，紋理清晰，將有利于人眼的目標識別。（2）通過設計實時控制模塊，可實時控制DSP切換圖像融合模式，顯示實時時間和GPS定位信息等。（3）設計了基于TMS320C6678的隨動伺服控制系統，使得紅外與微光鏡頭能夠與觀測人員的頭部實現同步轉動，提高對周圍環境目標的識別能力和觀察效果，為車輛的安全性能提供了有力的保障。附圖說明圖1是本專利技術基于非制冷紅外與微光圖像融合的夜間駕駛系統原理圖。圖2是FPGA實時降噪增強的原理圖。圖3是圖像顯示控制系統原理圖。圖4是隨動伺服系統原理圖。具體實施方式本專利技術基于非制冷紅外與微光融合的夜間駕駛系統由五部分組成，包括視頻采集模塊、視頻預處理模塊、視頻控制模塊、視頻融合模塊、視頻顯示模塊。所述視頻采集模塊包括微光夜視儀、紅外熱像儀以及傳輸線路。主要用于將采集到的微弱的自然光圖像和熱對比度圖像轉換為模擬視頻信號，微光夜視儀的分辨率為720×576，紅外熱像儀的分辨率為320×240，幀頻均為25幀/秒。所述視頻預處理模塊采用了微光降噪與紅外圖像增強技術。通過FPGA處理電路，采用時域濾波與空域濾波相結合、分區域處理的方法，可對微光圖像進行時空濾波和圖像降噪增強、對紅外圖像進行對比度拉伸變換并通過基于簡單的閾值分割技術等分離出運動目標。所述視頻控制模塊包括顯示模式切換模塊、隨動伺服控制模塊。顯示模式切換模塊用于實時切換圖像融合模式、控制顯示屏顯示時間和GPS定位信息，隨動伺服控制模塊用于控制前端攝像機鏡頭與后端OLED眼鏡保持同步轉動。所述視頻融合模塊包括圖像融合模塊和信號傳輸模塊。基于DSPTMS320C6678上的視頻融合模塊對兩路視頻信號采用基于YCbCr彩色空間的自適應偽彩色融合算法進行偽彩色融合，具體算法實現步驟如下：（1）環境數據的提取：對所有參考圖像用轉換公式（1）得到亮度信號Y及Cb、Cr的兩個色差信號特征值，對YCbCr彩色空間的圖像的三個通道亮度Y、色差信號Cb、Cr計算它們的灰度直方圖和累計灰度直方圖，分別建立數據表保存。（2）選取YCbCr彩色空間的圖像亮度信號Y的起始值k2，結束值k3，然后計算出k1=丨k3-k2丨，對應參考圖像數據的存儲地址(Z1，Z2)，Z1和Z2分別是灰度直方圖數據和累計灰度直方圖數據，建立如下格式的特征數據值表，以備查詢使用。M1(Z1，Z2)——M1(k1，k2)………………Mn(Z1，Z2)——Mn(k1，k2)（3）（2）上式中，YIR與YLL分別是紅外圖像和微光圖像在YCbCr色彩空間下的Y分量，按照此式同步處理上一幀圖像的灰度直方圖、累計灰度直方圖，在模型中的Y通道灰度直方圖數據中，查找主要灰度范圍值，找出最接近的M1(k1，k2),確定M1(Z1，Z2)對應的特征數據表。（4）采用灰度直方圖規定化算法由表中查出相應的Y、Cb、Cr值，對模型中的三個數值進行替換。偽彩色融合完畢后將融合后的視頻信號傳輸到視頻傳輸模塊，視頻傳輸模塊將融合后的視頻信號通過無線傳輸和有線傳輸方式傳送給視頻顯示模塊。所述視頻顯示模塊包括OLED眼鏡顯示模塊和顯示器顯示模塊。其中：OLED眼鏡顯示模塊與視頻傳輸模塊相連，可顯示融合后的視頻圖像信號，顯示器顯示模塊與視頻傳輸模塊相連，可與OLED眼鏡同步顯示融合后本文檔來自技高網...

【技術保護點】
一種基于非制冷紅外與微光融合的夜間駕駛系統，其特征在于：包括視頻采集模塊、視頻預處理模塊、視頻控制模塊、視頻融合模塊和視頻顯示模塊；其中：視頻采集模塊與視頻預處理模塊相連，用以獲取視頻信號，將采集到的微弱的自然光圖像和熱對比度圖像轉換為模擬視頻信號，并將視頻信號傳輸至視頻預處理模塊；視頻預處理模塊與視頻控制模塊相連，將采集到的視頻信號進行增強，采用時域濾波與空域濾波相結合、分區域處理的方法對微光視頻信號降噪，對紅外圖像采取對比度拉伸增強的方法，并將預處理后的視頻數據傳輸至視頻控制模塊；視頻控制模塊與視頻融合模塊相連，顯示模式切換用于對圖像進行實時顯示控制，可實時切換圖像融合模式、控制顯示屏顯示時間和GPS定位信息；隨動伺服控制用于控制前端攝像機與后端OLED眼鏡保持同步轉動；視頻融合模塊與視頻顯示模塊相連，對兩路視頻信號采用基于YCbCr彩色空間的自適應偽彩色融合算法進行偽彩色融合，并將融合后的視頻信號傳輸到視頻顯示模塊；視頻顯示模塊與視頻融合模塊相連，OLED眼鏡接收視頻融合模塊無線傳輸的視頻信號來實時顯示，顯示器可直接顯示有線傳輸的視頻信號。

【技術特征摘要】
1.一種基于非制冷紅外與微光融合的夜間駕駛系統，其特征在于：包括視頻采集模塊、視頻預處理模塊、視頻控制模塊、視頻融合模塊和視頻顯示模塊；其中：視頻采集模塊與視頻預處理模塊相連，用以獲取視頻信號，將采集到的微弱的自然光圖像和熱對比度圖像轉換為模擬視頻信號，并將視頻信號傳輸至視頻預處理模塊；視頻預處理模塊與視頻控制模塊相連，將采集到的視頻信號進行增強，采用時域濾波與空域濾波相結合、分區域處理的方法對微光視頻信號降噪，對紅外圖像采取對比度拉伸增強的方法，并將預處理后的視頻數據傳輸至視頻控制模塊；視頻控制模塊與視頻融合模塊相連，顯示模式切換用于對圖像進行實時顯示控制，可實時切換圖像融合模式、控制顯示屏顯示時間和GPS定位信息；隨動伺服控制用于控制前端攝像機與后端OLED眼鏡保持同步轉動；視頻融合模塊與視頻顯示模塊相連，對兩路視頻信號采用基于YCbCr彩色空間的自適應偽彩色融合算法進行偽彩色融合，并將融合后的視頻信號傳輸到視頻顯示模塊；視頻顯示模塊與視頻融合模塊相連，OLED眼鏡接收視頻融合模塊無線傳輸的視頻信號來實時顯示，顯示器可直接顯示有線傳輸的視頻信號。2.根據權利要求1所述的基于非制冷紅外與微光融合的夜間駕駛系統，其特征在于：所述視頻采集模塊包括微光夜視儀、紅外熱像儀以及傳輸線路；其中：前端微光夜視儀與視頻預處理模塊相連，用于采集微光模擬視頻信號，通過傳輸線路再傳輸到視頻預處理模塊，紅外熱像儀與視頻預處理模塊相連，用于采集熱對比度模擬視頻信號，通過傳輸線路再傳輸到視頻預處理模塊。3.根據權利要求1所述的基于非制冷紅外與微光融合的夜間駕駛系統，其特征在于：所述視頻預處理模塊包括存儲器、微光降噪模塊與紅外圖像增...

【專利技術屬性】
技術研發人員：容國，羅浩，王貴圓，韋一方，
申請(專利權)人：南京理工大學，
類型：發明
國別省市：江蘇;32