一種基于智能手機的移動導盲系統技術方案

本發明專利技術提供了一種基于智能手機的移動導盲系統，包括基礎導航系統、綜合圖像處理系統和語音輔助系統，基礎導航系統是通過獲取實時GPS信號，利用手機內置的導航軟件對信號進行處理得到定位數據，盲人通過語音輸入目的地信息后，系統規劃出行進路徑；綜合圖像處理系統包括盲道路面識別模塊和交通路口辨識模塊，盲道路面識別模塊是利用智能手機的攝像頭實時采集盲道信息，通過處理實現對盲道區域的定位；交通路口辨識模塊是利用智能手機獲取交通路口的信息，在接近路口時通過對斑馬線的定位實現路口信息的辨識；語音輔助系統將各系統的處理結果轉換為相應的提示語音反饋給盲人，引導盲人行進。

Mobile guiding system based on intelligent mobile phone

The present invention provides a mobile guide system based on intelligent mobile phone, including the basis of integrated navigation system, image processing system and voice assistant system based navigation system by acquiring real-time GPS signal, the signal processing of location data obtained by the mobile phone built-in navigation software, blind input destination information by voice, system planning a path; integrated image processing system including blind road identification module and traffic identification module, blind road recognition module is camera real-time blind information using intelligent mobile phone, through the realization of positioning of the blind area; traffic identification module is obtained by using intelligent mobile phone traffic information, identification information by locating the intersection the zebra in near the intersection; voice assistant system will deal with the system The fruit is converted to a corresponding cue, the voice is fed to the blind, and the blind person is guided to travel.

【技術實現步驟摘要】
一種基于智能手機的移動導盲系統
本專利技術涉及數字圖像處理領域，具體是涉及到一種基于智能手機的移動導盲系統。
技術介紹
盲人(視障人士)由于先天或后天原因，視覺器官的構造或機能發生部分或全部之障礙，對外界事物無法作準確的視覺辨識。根據世界衛生組織(WHO)2014年8月的最新調查顯示，世界范圍內視力受損的人數約為2.85億，其中3900萬人患有盲癥，全世界大約90％的視力受損者生活在低收入國家。我國的視覺障礙人數占全世界總數的20％，約有5700多萬人，是全球視覺障礙人口最多的國家。視覺障礙者在出行時，通常只能依靠市政基礎導盲項目(如盲道和盲文標志)和輔助導盲設備(如導盲手杖)來辨別位置和方向。但是，在日常生活中，經常能看到盲道被占用或破壞的情況。另外，盲道的設計也存在不合理的情況，不能正確指引視障人士行走。近20多年來，針對視障人士，科研人員提出傳感器件以“視覺替代”的方法來幫助感知環境信息，通過信息整合和再處理將感知到的環境信息以聽覺、觸覺等方式傳遞給視覺障礙患者。基于此原理，大量便攜式和可穿戴的導盲系統問世，且大多具備障礙物檢測，目標提取，路徑導航，偏移校正等功能。此外，隨著群智感知技術的高速發展，以群智感知融合大數據為主題的研究也吸引了國內外的熱切關注。針對日常行走的盲道設計盲道識別模塊，采用智能手機內置的多模傳感模塊進行盲道信息的捕獲，實時檢測盲道區域和盲道上可能出現的障礙。針對危險系數較高的交通路口，設計交通路口檢測模塊，采用智能手機內置的相機，麥克風，電子羅盤，陀螺儀和加速度計等進行分段式導航。交通路口模塊在獲取路口的大智信息之后，識別斑馬線區域并引導視障人士與斑馬線對齊后觸發偏移校正模塊，實時校正視障人士的行進方向。申請號為201010174012.8的中國專利技術專利公開了一種利用計算機視覺技術進行盲道和人行橫道實時檢測的方法，利用仿射變換模型訓練分類器來得到盲道和人行橫道的樣本集進行目標的檢測和處理。申請號為20110200597.0的中國專利技術專利公開了一種基于計算機視覺盲人戶外支援系統，利用雙目相機采集圖像，借助嵌入式平臺進行算法設計來輔助盲人進行路面場景的理解。申請號為201520044179.0的專利技術專利公開了一種多功能智能導盲系統及多功能智能導盲手杖，可以通過在導盲系統中設置GSM短信在緊急情況下通知用戶的家人，同時利用ZigBee模塊可以在路口接收紅綠燈信息，指引用戶安全通過路口。申請號為201620121367.3的專利技術專利公開了一種基于超聲波測距的智能導盲系統，能夠實時的檢測行進方向的障礙信息，指引盲人安全獨立的出行。申請號為201610272839.X的國家專利技術專利公開了一種基于GPS的視覺導航的導盲系統及其方法，該系統具有可選的工作模式和路徑搜索的功能，可以為盲人的室內外活動提供便利。申請號為201610581588.3的國家專利技術專利公開了一種智能導盲系統，該系統能夠獲取當前運動環境的視覺圖像信息和位置信息，為盲人出行提供路徑規劃和語音提示信息。上述已有的導盲系統和盲道圖像識別算法均存在一定程度的問題：(1)需要的輔助感知設備過多，開發平臺不夠智能；(2)無法協助盲人有效的理解周圍環境，如十字路口的判別和定位；(3)有關圖像識別的算法眾多，但是各種識別算法在盲道識別領域并沒有完整的識別效果比較與分析；(4)沒有一個相對完整的系統框架用于智能設備，大多停留在實驗室驗證階段。
技術實現思路
針對現有技術中的缺陷，本專利技術提供一種基于智能手機的移動導盲系統，進一步完善了導盲系統的技術框架，針對綜合圖像處理部分做了深入的研究，解決了當前導盲系統操作復雜、價格昂貴的缺點，為以后導盲系統的開發提供了一個新的方向。本專利技術所述的基于智能手機的移動導盲系統，包括基礎導航系統、綜合圖像處理系統和語音輔助系統三大部分。所述基礎導航系統是通過獲取實時GPS信號，利用手機內置的導航軟件對信號進行處理得到定位數據，盲人通過語音輸入目的地信息后，系統規劃出行進路徑。定位導航實現的原理：首先通過GPS芯片等硬件獲取實時的GPS信號，然后利用導航軟件對信號進行處理得到定位數據，最后將定位數據與地圖進行匹配，將所在位置顯示在導航電子地圖中，從而可以計算所需路徑實現導航的功能。本專利技術利用Android手機內置導航模塊，百度地圖API，百度定位API，盲道路面數據來實現基礎導航模塊的功能。Android手機一般自帶GPS，可以用來作為接受GPS信號的硬件設備；軟件方面，位置信息的獲取與處理使用百度定位API，當應用程序向定位API發起定位請求時，定位API會根據應用的定位因素(GPS、基站、Wi-Fi信號)的實際情況(如是否開啟GPS、是否連接網絡、是否有信號等)來生成相應定位依據進行定位。在實際使用中，需要開啟GPS，并處于能正常接收到GPS信號的室外場所，利用百度地圖API主要是為了方便數據的顯示和處理，地圖的拓撲數據存儲在SQLite數據庫中。綜合圖像處理系統包括盲道路面識別模塊和交通路口辨識模塊，盲道路面識別模塊是利用智能手機的攝像頭實時采集盲道信息，通過處理實現對盲道區域的定位；交通路口辨識模塊是利用智能手機獲取交通路口的信息，在接近路口時通過對斑馬線的定位實現路口信息的辨識。所述盲道路面識別模塊包括盲道圖像預處理單元、圖像形態學處理單元、盲道區域粗定位單元、盲道區域精定位單元。；盲道圖像預處理單元接收攝像頭采集的盲道圖像，獲取圖像的基本參數并保存，對盲道圖像進行色彩空間的映射變換，提取相應的色彩分量并進行圖像的灰度化和二值化處理，最后分別輸出處理后的圖像并保存。圖像形態學處理單元對盲道圖像預處理單元處理后的盲道圖像進行腐蝕操作或膨脹操作或者二者的組合操作，然后分別保存相應的處理結果。盲道區域粗定位單元是在完成上述兩個單元處理之后，首先對盲道進行色差盲道和無色差盲道的類型判斷，若是色差盲道則直接進行圖像分割操作，若是無色差盲道則先進行分析操作，然后再進行圖像分割，對分割后的圖像進行邊緣檢測；對邊緣檢測處理后的圖像進行有無拐點的判定，若存在拐點則進行角點檢測操作；對拐點判定處理之后的圖像進行連續性檢測，如果盲道圖像不連續則說明盲道區域中存在障礙，對存在障礙的圖像進行障礙檢測，所有這些處理之后基本可以確定盲道的區域，實現盲道粗定位。盲道區域精定位單元是在盲道粗定位處理之后的圖像進行歸一化處理，然后針對白色像素依次進行行和列的掃描，確定盲道部分的左右和上下邊界，同時在原始圖像中標記出邊界的輪廓，實現盲道精定位。經過上面四個單元的處理，可以得到盲道區域的實時信息，為視障人士在盲道上行走提供有利的指引。所述交通路口辨識模塊包括交通路口辨別單元、斑馬線圖像預處理單元、斑馬線區域粗定位單元和斑馬線區域精定位單元。所述交通路口辨別單元利用智能手機的多模感知器在即將接近路口時識別路口，通過手機麥克風對路口提示音進行探測同時檢測盲杖接觸地面的聲音，之后通過攝像頭對斑馬線進行拍攝，推斷出相對的位置，并利用方向傳感器、電子羅盤和加速度計對盲人的行進方向進行判定。斑馬線圖像預處理單元首先獲取拍攝的斑馬線圖像，得到圖像的基本參數，先對進行色彩空間的映射，將RGB顏色空間的圖像轉換成Lab顏色模式或者YUV模式，然后利用灰本文檔來自技高網...

【技術保護點】
一種基于智能手機的移動導盲系統，其特征在于：包括基礎導航系統、綜合圖像處理系統和語音輔助系統，其中，所述基礎導航系統是通過獲取實時GPS信號，利用手機內置的導航軟件對信號進行處理得到定位數據，盲人通過語音輸入目的地信息后，系統規劃出行進路徑；綜合圖像處理系統包括盲道路面識別模塊和交通路口辨識模塊，盲道路面識別模塊是利用智能手機的攝像頭實時采集盲道信息，通過處理實現對盲道區域的定位；交通路口辨識模塊是利用智能手機獲取交通路口的信息，在接近路口時通過對斑馬線的定位實現路口信息的辨識；語音輔助系統將各系統的處理結果轉換為相應的提示語音反饋給盲人，引導盲人行進。

【技術特征摘要】
1.一種基于智能手機的移動導盲系統，其特征在于：包括基礎導航系統、綜合圖像處理系統和語音輔助系統，其中，所述基礎導航系統是通過獲取實時GPS信號，利用手機內置的導航軟件對信號進行處理得到定位數據，盲人通過語音輸入目的地信息后，系統規劃出行進路徑；綜合圖像處理系統包括盲道路面識別模塊和交通路口辨識模塊，盲道路面識別模塊是利用智能手機的攝像頭實時采集盲道信息，通過處理實現對盲道區域的定位；交通路口辨識模塊是利用智能手機獲取交通路口的信息，在接近路口時通過對斑馬線的定位實現路口信息的辨識；語音輔助系統將各系統的處理結果轉換為相應的提示語音反饋給盲人，引導盲人行進。2.根據權利要求1所述的基于智能手機的移動導盲系統，其特征在于：所述盲道路面識別模塊包括盲道圖像預處理單元、圖像形態學處理單元、盲道區域粗定位單元、盲道區域精定位單元，盲道圖像預處理單元接收攝像頭采集的盲道圖像，對盲道圖像進行色彩空間的映射變換，提取相應的色彩分量并進行圖像的灰度化和二值化處理；圖像形態學處理單元對盲道圖像預處理單元處理后的盲道圖像進行腐蝕操作或膨脹操作或者二者的組合操作；盲道區域粗定位單元是在完成上述兩個單元處理之后，首先對盲道進行色差盲道和無色差盲道的類型判斷和處理，其次進行有無拐點的判定和處理，再對拐角判定處理之后的圖像進行連續性檢測，對存在障礙的圖像進行障礙檢測，實現盲道粗定位；盲道區域精定位單元是在盲道粗定位處理之后的圖像進行歸一化處理，然后針對白色像素依次進行行和列的掃描，確定盲道部分的左右和上下邊界，同時在原始圖像中標記出邊界的輪廓，實現盲道精定位。3.根據權利要求1或2所述的基于智能手機的移動導盲系統，其特征在于：所述交通路口辨識模塊包括交通路口辨別單元、斑馬線圖像預處理單元、斑馬線區域粗定位單元和斑馬線區域精定位單...

【專利技術屬性】
技術研發人員：段書凱，張鳳運，張金，林少波，王麗丹，王華敏，
申請(專利權)人：西南大學，
類型：發明
國別省市：重慶,50