一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)及方法技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種基于RGB?D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)及方法。該方法利用紅外投射器投射不可見(jiàn)的近紅外靜態(tài)散斑，利用兩個(gè)紅外相機(jī)和一個(gè)RGB相機(jī)采集圖像，小型處理器對(duì)采集的圖像進(jìn)行處理，計(jì)算獲得深度圖像，并對(duì)深度圖像進(jìn)行分塊，將分塊獲得的深度信息，轉(zhuǎn)化為立體聲信號(hào)，最后利用骨傳導(dǎo)耳機(jī)傳遞給視障人士進(jìn)行輔助，可以很好地滿足視障人士障礙物預(yù)警的要求。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)及方法
本專(zhuān)利技術(shù)屬于視障人士輔助技術(shù)、雙目視覺(jué)技術(shù)、三維環(huán)境感知技術(shù)、立體聲交互
本專(zhuān)利技術(shù)包含一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警方法，涉及一種利用利用紅外投射器投射不可見(jiàn)的近紅外靜態(tài)散斑，利用兩個(gè)紅外相機(jī)和一個(gè)RGB相機(jī)采集圖像，小型處理器對(duì)采集的圖像進(jìn)行處理，獲取深度圖像，并對(duì)深度圖像進(jìn)行分塊，最后將分塊的深度信息，轉(zhuǎn)化為立體聲信號(hào)，最后利用骨傳導(dǎo)耳機(jī)傳遞給視障人士進(jìn)行輔助的障礙物預(yù)警方法。
技術(shù)介紹
根據(jù)世界健康組織統(tǒng)計(jì)，全世界有2.85億視覺(jué)障礙人士。視障人士損失了正常的視覺(jué)，對(duì)顏色、形狀、距離、運(yùn)動(dòng)的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。傳統(tǒng)的視障人士輔助工具比如盲人手杖，視障人士需要反復(fù)移動(dòng)手杖，才能獲知面前的情況，既費(fèi)時(shí)也費(fèi)力。盲人手杖的探測(cè)距離有限，只能檢測(cè)腳邊的障礙物，也無(wú)法反映遠(yuǎn)處和空中的狀況。導(dǎo)盲犬可以為視障人士提供幫助，但是導(dǎo)盲犬的訓(xùn)練和養(yǎng)護(hù)費(fèi)用是高昂的，普通家庭難以承擔(dān)。有些場(chǎng)合，導(dǎo)盲犬不能陪同盲人進(jìn)入，比如公交車(chē)和火車(chē)站，因此導(dǎo)盲犬的輔助是有局限性的。仿生眼可以幫助視障人士恢復(fù)部分視覺(jué)，但仿生眼的植入需要手術(shù)，費(fèi)用高昂。仿生眼只適用于視網(wǎng)膜色素變性或老年性黃斑變性導(dǎo)致失明的盲人。視覺(jué)神經(jīng)損壞的視障人士無(wú)法通過(guò)植入仿生眼來(lái)恢復(fù)部分視覺(jué)。電子式的視障輔助工具主要運(yùn)用超聲波技術(shù)、激光測(cè)距技術(shù)、雙目視覺(jué)技術(shù)、激光散斑編碼技術(shù)、激光雷達(dá)技術(shù)、毫米波雷達(dá)技術(shù)、熱成像技術(shù)、全球定位系統(tǒng)(GPS)。基于超聲波技術(shù)和激光測(cè)距技術(shù)的測(cè)距范圍有限，只能實(shí)現(xiàn)單點(diǎn)測(cè)距，獲取的信息量太少，且耗電多，設(shè)備笨重，只能實(shí)現(xiàn)報(bào)警功能，容易受環(huán)境干擾。基于雙目視覺(jué)技術(shù)的輔助依賴(lài)于環(huán)境中特征點(diǎn)和紋理的豐富程度，對(duì)于一些紋理單一的場(chǎng)景失效，如室內(nèi)的白墻，光滑地面等。雙目視覺(jué)技術(shù)會(huì)受鏡面反射等特殊情形的欺騙，從而造成漏判或者誤判。基于激光散斑編碼技術(shù)的輔助在室外失效，因?yàn)橹鲃?dòng)投射的結(jié)構(gòu)光被陽(yáng)光淹沒(méi)，從而無(wú)法識(shí)別編碼的散斑。激光散斑編碼技術(shù)由于受到功率限制，存在最遠(yuǎn)距離，超過(guò)最遠(yuǎn)距離的物體無(wú)法對(duì)其測(cè)距。基于激光雷達(dá)技術(shù)的輔助成本高，通常采樣率低，對(duì)灰塵、霧霾、雨水敏感，而且無(wú)法獲取顏色和紋理信息。基于毫米波雷達(dá)的輔助分辨率低，信號(hào)處理過(guò)程難。基于熱成像技術(shù)的輔助分辨率低，標(biāo)定過(guò)程復(fù)雜，且只能檢測(cè)人和動(dòng)物等發(fā)熱物體。基于GPS的輔助精度低，會(huì)有信號(hào)損失，不能在室內(nèi)使用，而且無(wú)法獲取局部動(dòng)態(tài)的障礙物信息。傳統(tǒng)視障人士輔助的交互方式主要有語(yǔ)音提示、觸覺(jué)震動(dòng)。語(yǔ)義提示通常播報(bào)障礙物的距離和方向，需要一定的時(shí)間播放，造成延遲和事故風(fēng)險(xiǎn)，而且可傳遞的信息量少。觸覺(jué)震動(dòng)通過(guò)震動(dòng)腰帶或者震動(dòng)背心為硬件，以震動(dòng)來(lái)提示障礙物的方位，震動(dòng)裝置可以解決延遲的問(wèn)題，但給視障人士帶來(lái)負(fù)擔(dān)，不同人的穿戴感受不同。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)及方法。本專(zhuān)利技術(shù)的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)，所述系統(tǒng)包含一個(gè)紅外投射器，兩個(gè)相同的紅外相機(jī)，一個(gè)彩色相機(jī)，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊，一個(gè)電池模塊。紅外投射器、兩個(gè)紅外相機(jī)、彩色相機(jī)通過(guò)USB集線器與小型處理器相連，電池模塊與小型處理器相連。彩色相機(jī)和紅外投射器位于兩個(gè)紅外相機(jī)之間。兩個(gè)紅外相機(jī)、彩色相機(jī)的光軸彼此平行。小型處理器控制紅外投射器向前方三維場(chǎng)景投射不可見(jiàn)的靜態(tài)近紅外散斑，兩個(gè)紅外相機(jī)實(shí)時(shí)地采集經(jīng)投射后的三維場(chǎng)景的兩幅紅外圖像，彩色相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像。USB集線器將兩幅紅外圖像和一幅彩色圖像傳給小型處理器。小型處理器對(duì)獲取的兩幅紅外圖像、一幅彩色圖像進(jìn)行處理，獲取三維場(chǎng)景的深度圖像。小型處理器對(duì)深度圖像進(jìn)行分塊，并將分塊后的深度信息轉(zhuǎn)化為立體聲信號(hào)，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)，傳給兩個(gè)骨傳導(dǎo)震動(dòng)模塊。兩個(gè)骨傳導(dǎo)震動(dòng)模塊，傳遞骨傳導(dǎo)震動(dòng)信號(hào)給視障用戶，實(shí)現(xiàn)障礙物預(yù)警。一種障礙物預(yù)警方法，包括以下步驟：(1)對(duì)兩個(gè)紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取兩個(gè)紅外相機(jī)的焦距fIR，左紅外相機(jī)的主點(diǎn)位置(cIR-x,cIR-y)，兩個(gè)紅外相機(jī)的基線距離BIR-IR。(2)對(duì)彩色相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取彩色相機(jī)的焦距fcolor，主點(diǎn)位置(cCOLOR-x,cCOLOR-y)。(3)對(duì)彩色相機(jī)和左側(cè)的紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取左紅外相機(jī)與彩色相機(jī)的基線距離BIR-COLOR。(4)紅外投射器實(shí)時(shí)地投射不可見(jiàn)的靜態(tài)近紅外散斑到三維場(chǎng)景中。(5)兩個(gè)紅外相機(jī)采集三維場(chǎng)景的兩張紅外圖像IRleft和IRright。(6)彩色相機(jī)三維場(chǎng)景的彩色圖像Color。(7)USB集線器將兩幅紅外圖像IRleft和IRright，一幅彩色圖像Color傳給小型處理器。(8)小型處理器對(duì)兩張紅外圖像IRleft和IRright提取Sobel邊緣，獲取兩張Sobel邊緣圖像Sobelleft和Sobelright。(9)以左Sobel邊緣圖像Sobelleft為基準(zhǔn)，對(duì)兩張Sobel邊緣圖像Sobelleft和Sobelright進(jìn)行基于圖像塊的圖像匹配，獲取一系列匹配好的有效點(diǎn)E＝{e1,e2,e3,...,eM}。在左Sobel邊緣圖像Sobelleft中，每一個(gè)有效點(diǎn)為e＝(u,v,d)T，u為橫坐標(biāo)像素值，v為縱坐標(biāo)像素值，d為視差值。(10)以匹配好的有效點(diǎn)E為基準(zhǔn)，每三個(gè)有效點(diǎn)可構(gòu)成一個(gè)視差平面，第i個(gè)視差平面的方程為d＝aiu+biv+ci，其中ai，bi，ci為第i個(gè)視差平面的系數(shù)。(11)在這些視差平面的基礎(chǔ)上，將未匹配的像素點(diǎn)(u',v',d')T轉(zhuǎn)換為匹配的有效點(diǎn)(u,v,d)T；具體為：該像素點(diǎn)(u',v',d')T到第i視差平面的距離為設(shè)能量函數(shù)為其中ε，σ為常數(shù)。對(duì)該像素點(diǎn)，遍歷視差搜索范圍所有的視差值d'＝{d'min,...,d'max}，求出使得能量函數(shù)Energy(d')最小的視差值，當(dāng)成該像素點(diǎn)的視差值d。另外，u＝u'，v＝v'。(12)遍歷所有未匹配的像素點(diǎn)，獲取每個(gè)未匹配的像素點(diǎn)的視差值，得到以左紅外相機(jī)為基準(zhǔn)的視差圖像Disparityleft。(13)根據(jù)兩個(gè)紅外相機(jī)的焦距fIR和基線距離BIR-IR，遍歷視差圖像中的每一點(diǎn)(u,v,d)，其深度值為因此深度圖像Depthleft中每一點(diǎn)對(duì)應(yīng)為(u,v,depth)，從而獲得左紅外相機(jī)為基準(zhǔn)的深度圖像Depthleft。(14)利用深度圖像Depthleft和彩色圖像Color，兩個(gè)紅外相機(jī)的焦距fIR，左紅外相機(jī)的主點(diǎn)位置(cIR-x,cIR-y)，彩色相機(jī)的焦距fcolor，主點(diǎn)位置(cCOLOR-x,cCOLOR-y)，以及左紅外相機(jī)和彩色相機(jī)的基線距離BIR-COLOR，可對(duì)深度圖像和彩色圖像進(jìn)行對(duì)齊，獲取彩色相機(jī)視場(chǎng)的深度圖像Depthcolor。(15)將彩色相機(jī)視場(chǎng)的深度圖像Depthcolor從左到右分成K塊，計(jì)算每一塊深度圖像DepthK的平均深度depthK。(K的取值一般本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于RGB?D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)，所述系統(tǒng)包含一個(gè)紅外投射器，兩個(gè)相同的紅外相機(jī)，一個(gè)彩色相機(jī)，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊，一個(gè)電池模塊。紅外投射器、兩個(gè)紅外相機(jī)、彩色相機(jī)通過(guò)USB集線器與小型處理器相連，電池模塊與小型處理器相連。彩色相機(jī)和紅外投射器位于兩個(gè)紅外相機(jī)之間。兩個(gè)紅外相機(jī)、彩色相機(jī)的光軸彼此平行。小型處理器控制紅外投射器向前方三維場(chǎng)景投射不可見(jiàn)的靜態(tài)近紅外散斑，兩個(gè)紅外相機(jī)實(shí)時(shí)地采集經(jīng)投射后的三維場(chǎng)景的兩幅紅外圖像，彩色相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像。USB集線器將兩幅紅外圖像和一幅彩色圖像傳給小型處理器。小型處理器對(duì)獲取的兩幅紅外圖像、一幅彩色圖像進(jìn)行處理，獲取三維場(chǎng)景的深度圖像。小型處理器對(duì)深度圖像進(jìn)行分塊，并將分塊后的深度信息轉(zhuǎn)化為立體聲信號(hào)，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)，傳給兩個(gè)骨傳導(dǎo)震動(dòng)模塊。兩個(gè)骨傳導(dǎo)震動(dòng)模塊，傳遞骨傳導(dǎo)震動(dòng)信號(hào)給視障用戶，實(shí)現(xiàn)障礙物預(yù)警。

【技術(shù)特征摘要】
1.一種基于RGB-D相機(jī)和立體聲的視障人士障礙物預(yù)警系統(tǒng)，所述系統(tǒng)包含一個(gè)紅外投射器，兩個(gè)相同的紅外相機(jī)，一個(gè)彩色相機(jī)，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊，一個(gè)電池模塊。紅外投射器、兩個(gè)紅外相機(jī)、彩色相機(jī)通過(guò)USB集線器與小型處理器相連，電池模塊與小型處理器相連。彩色相機(jī)和紅外投射器位于兩個(gè)紅外相機(jī)之間。兩個(gè)紅外相機(jī)、彩色相機(jī)的光軸彼此平行。小型處理器控制紅外投射器向前方三維場(chǎng)景投射不可見(jiàn)的靜態(tài)近紅外散斑，兩個(gè)紅外相機(jī)實(shí)時(shí)地采集經(jīng)投射后的三維場(chǎng)景的兩幅紅外圖像，彩色相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的彩色圖像。USB集線器將兩幅紅外圖像和一幅彩色圖像傳給小型處理器。小型處理器對(duì)獲取的兩幅紅外圖像、一幅彩色圖像進(jìn)行處理，獲取三維場(chǎng)景的深度圖像。小型處理器對(duì)深度圖像進(jìn)行分塊，并將分塊后的深度信息轉(zhuǎn)化為立體聲信號(hào)，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)，傳給兩個(gè)骨傳導(dǎo)震動(dòng)模塊。兩個(gè)骨傳導(dǎo)震動(dòng)模塊，傳遞骨傳導(dǎo)震動(dòng)信號(hào)給視障用戶，實(shí)現(xiàn)障礙物預(yù)警。2.一種權(quán)利要求1所述系統(tǒng)的障礙物預(yù)警方法，其特征在于，包括以下步驟：(1)對(duì)兩個(gè)紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取兩個(gè)紅外相機(jī)的焦距fIR，左紅外相機(jī)的主點(diǎn)位置(cIR-x,cIR-y)，兩個(gè)紅外相機(jī)的基線距離BIR-IR。(2)對(duì)彩色相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取彩色相機(jī)的焦距fcolor，主點(diǎn)位置(cCOLOR-x,cCOLOR-y)。(3)對(duì)彩色相機(jī)和左側(cè)的紅外相機(jī)進(jìn)行一次雙目相機(jī)標(biāo)定，獲取左紅外相機(jī)與彩色相機(jī)的基線距離BIR-COLOR。(4)紅外投射器實(shí)時(shí)地投射不可見(jiàn)的靜態(tài)近紅外散斑到三維場(chǎng)景中。(5)兩個(gè)紅外相機(jī)采集三維場(chǎng)景的兩張紅外圖像IRleft和IRright。(6)彩色相機(jī)三維場(chǎng)景的彩色圖像Color。(7)USB集線器將兩幅紅外圖像IRleft和IRright，一幅彩色圖像Color傳給小型處理器。(8)小型處理器對(duì)兩張紅外圖像IRleft和IRright提取Sobel邊緣，獲取兩張Sobel邊緣圖像Sobelleft和Sobelright。(9)以左Sobel邊緣圖像Sobelleft為基準(zhǔn)，對(duì)兩張Sobel邊緣圖像Sobelleft和Sobelright進(jìn)行基于圖像塊的圖像匹配，獲取一系列匹配好的有效點(diǎn)E＝{e1,e2,e3,...,e...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：于紅雷，胡偉健，孫俊偉，
申請(qǐng)(專(zhuān)利權(quán))人：杭州視氪科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：浙江,33