基于視覺、激光雷達和毫米波雷達的導盲杖及其識別方法技術

本發明專利技術提供了基于視覺、激光雷達和毫米波雷達的導盲杖及其識別方法，導盲杖內設置有控制器，激光雷達組件、毫米波雷達組件和視覺組件，控制器、激光雷達組件、毫米波雷達組件設置在杖柄內，視覺組件安裝在杖柄握把前方，控制器分別和激光雷達組件、毫米波雷達組件、視覺組件電連接；本發明專利技術在融合不同盲人輔助場景識別和導航之外，因為可以實現動態目標和靜態目標的單獨識別，在進行盲人輔助識別的時候，可以在靜態目標固定標定之下，進行動態目標的動態監測，進而實現實時導航指引。本發明專利技術可以結合測距和視覺監測的動態目標和靜態目標的身份認定，從而判斷不同靜態目標和動態目標是否需要避讓，從而進行輔助識別的導航。從而進行輔助識別的導航。從而進行輔助識別的導航。

【技術實現步驟摘要】
基于視覺、激光雷達和毫米波雷達的導盲杖及其識別方法


[0001]本專利技術涉及導盲
，特別涉及一種基于視覺、激光雷達和毫米波雷達的導盲杖及其識別方法。

技術介紹

[0002]目前，在盲人的這個特殊生活群體中，傳統的導盲方式存在導盲杖；隨著技術發展，導盲杖也在不斷進步。為盲人的視力有限和觀看不便帶來改善，給盲人的生活帶來較多的困擾。
[0003]為了更好地幫助盲人，出現了智能導盲杖，但是，現有的導盲杖一般是基于視覺檢測，然后通過盲人攜帶耳機進行助力盲人的路徑導航和目標識別；
[0004]當時，現有技術中，如果只是基于視覺監測設備或者新出現的進行動態目標識別的雷達裝置，進行盲人的助力識別和導航，但是，不管是激光雷達、視覺檢測設備還是毫米波雷達等不同的設備，都存在缺陷；
[0005]激光雷達在大霧或者灰塵天氣的時候測距不準確；
[0006]毫米波雷達雖然在大霧和灰塵天氣時候可以測距但是不能進行導航，因為其測距范圍較小；
[0007]視覺檢測設備雖然可以進行場景識別，對目標物進行精確判定，但是，無法進行測距。

技術實現思路

[0008]本專利技術提供一種基于視覺、激光雷達和毫米波雷達的導盲杖及其識別方法，用以解決上述
技術介紹
中的情況。
[0009]一種基于視覺、激光雷達和毫米波雷達的導盲杖，所述導盲杖包括：控制器，激光雷達組件、毫米波雷達組件和視覺組件，控制器、激光雷達組件、毫米波雷達組件設置在杖柄內，視覺組件安裝在杖柄握把前方，控制器分別和激光雷達組件、毫米波雷達組件、視覺組件電連接；其中，
[0010]所述控制器用于接收激光雷達組件、毫米波雷達組件和視覺組件的目標識別數據，生成導航信息，并通過藍牙與用戶終端連接，向用戶發送導航信息；其中，
[0011]目標識別數據包括：動態目標識別數據、靜態目標識別數據和目標測距數據；
[0012]所述激光雷達組件用于獲取導航識別信息中的動態目標；
[0013]所述視覺組件用于對獲取導航識別信息中的靜態目標和場景識別；
[0014]所述毫米波雷達組件用于對靜態目標和動態目標測距，生成目標測距數據。
[0015]優選的，所述激光雷達組件包括地圖生成器和光感掃描器；其中，
[0016]地圖生成器用于根據場景識別，生成當前場景的基礎地圖；其中，
[0017]基礎地圖上設置有導航軌跡線路和障礙物標記；
[0018]光感掃描器用于在基礎地圖上進行動態目標的位置信息植入。
[0019]優選的，所述視覺組件包括：
[0020]場景攝像頭，包括對稱設置兩個240
°
全景攝像頭，用于生成全場景圖像；
[0021]廣角標記攝像頭，包括一個前向的廣角攝像頭，用于進行動態目標標記和靜態目標標記，生成標記圖像；
[0022]高清聚焦攝像頭，其包括第一高清捕捉攝像頭、第二高清捕捉攝像頭和第三高清捕捉攝像頭；其中，
[0023]第一高清捕捉攝像頭用于捕捉識別動態目標，生成動態捕捉圖像，第二高清捕捉攝像頭用于捕捉靜態目標，生成靜態捕捉圖像，第三高清捕捉攝像頭用于進行根據動態捕捉圖像和靜態捕捉圖像，計算聚焦信息，進行聚焦調節；
[0024]圖像處理模塊：用于進行圖像處理；其中，
[0025]圖像處理包括：基于全場景圖像生成基礎地圖，基于標記圖像在基礎地圖上進行障礙物標記，基于動態捕捉圖像和靜態捕捉圖像在基礎地圖上進行障礙物動態標記動態更新。
[0026]優選的，所述毫米波組件包括矢量檢查模塊和毫米波發射模塊；其中，
[0027]毫米波發射模塊用于發射毫米波信號，接收矢量檢測數據；
[0028]矢量檢查模塊用于根據矢量檢測數據，進行障礙物距離檢測，獲取障礙物測距數據。
[0029]一種基于視覺、激光雷達和毫米波雷達的識別方法，所述方法包括：
[0030]根據視覺組件，獲取當前場景的場景圖像，并確定場景圖像中的靜態目標；其中，
[0031]靜態目標包括障礙物目標和導航識別目標；
[0032]根據激光雷達組件，確定場景圖像中的動態目標；
[0033]根據毫米波雷達，確定導盲杖距離動態目標和靜態目標的實時距離；
[0034]將場景圖像、靜態目標、動態目標和實時距離導入控制器，通過控制器進行處理，生成場景識別信息。
[0035]優選的，所述靜態目標包括如下識別步驟：
[0036]根據視覺組件，獲取場景圖像；
[0037]根據場景圖像，進行靜態目標標記，并將標記后的靜態目標通過圖像庫中的參照圖像進行對比，確定對比信息；
[0038]根據對比信息，對實時采集的圖像進行預處理，得到處理后的實時圖像；
[0039]根據實時圖像，對處理后的實時圖像進行目標識別；
[0040]對目標識別后的實時圖像進行動態檢測；其中，
[0041]當不存在動態信息時，確定靜態目標。
[0042]優選的，所述動態目標包括如下識別步驟：
[0043]根據激光雷達組件，生成基于當前場景圖像的三維點云圖像；
[0044]基于三維點云圖像，進行動態目標標記，并生成基于動態目標標記的二維預測航跡；
[0045]從三維點云圖像中，確定與二維預測航跡關聯的三維坐標點；
[0046]從關聯的三維坐標點中確定目標坐標點；
[0047]基于目標坐標點數組中的歷史目標坐標點，確定目標坐標點處于正常運動狀態或
者異常運動狀態；
[0048]根據正常運動狀態或者異常運動狀態，確定動態目標。
[0049]優選的，所述實時距離包括如下步驟：
[0050]根據動態目標和靜態目標的當前坐標，啟動毫米波雷達進行測距；
[0051]獲取毫米波雷達模塊輸出的探測數據；其中，
[0052]探測數據中包括當前探測距離值和當前信號強度，探測數據將被暫存到一個先進先出的緩存隊列中；
[0053]根據緩存隊列中的探測距離數據項計算得到動態距離參考值；
[0054]根據動態距離參考值，進行動態目標和靜態目標的測距數據的實時更新。
[0055]優選的，所述場景識別信息包括如下識別過程；
[0056]根據場景圖像，進行當前場景的三維建模，生成基于三維場景的基礎地圖；
[0057]根據靜態目標，設置基礎地圖的第一更新通道，在基礎地圖上進行靜態目標的實時更新；
[0058]根據動態目標，設置基礎地圖的第二更新通道，在進出地圖上進行動態目標的軌跡標記和跟蹤；
[0059]根據實時距離，在基礎地圖上進行動態目標和靜態目標的碰撞預測；
[0060]根據碰撞預測，確定場景識別信息。
[0061]優選的，所述確定場景識別信息還包括：
[0062]獲取帶有場景識別信息的場景播報集合；其中，
[0063]場景播報集合中每個場景還配置有對應的語音類型和音量本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于視覺、激光雷達和毫米波雷達的導盲杖，其特征在于，所述導盲杖包括：控制器，激光雷達組件、毫米波雷達組件和視覺組件，控制器、激光雷達組件、毫米波雷達組件設置在杖柄內，視覺組件安裝在杖柄握把前方，控制器分別和激光雷達組件、毫米波雷達組件、視覺組件電連接；其中，所述控制器用于接收激光雷達組件、毫米波雷達組件和視覺組件的目標識別數據，生成導航信息，并通過藍牙與用戶終端連接，向用戶發送導航信息；其中，目標識別數據包括：動態目標識別數據、靜態目標識別數據和目標測距數據；所述激光雷達組件用于獲取導航識別信息中的動態目標；所述視覺組件用于對獲取導航識別信息中的靜態目標和場景識別；所述毫米波雷達組件用于對靜態目標和動態目標測距，生成目標測距數據。2.如權利要求1所述的基于視覺、激光雷達和毫米波雷達的導盲杖，其特征在于，所述激光雷達組件包括地圖生成器和光感掃描器；其中，地圖生成器用于根據場景識別，生成當前場景的基礎地圖；其中，基礎地圖上設置有導航軌跡線路和障礙物標記；光感掃描器用于在基礎地圖上進行動態目標的位置信息植入。3.如權利要求1所述的基于視覺、激光雷達和毫米波雷達的導盲杖，其特征在于，所述視覺組件包括：場景攝像頭，包括對稱設置兩個240
°
全景攝像頭，用于生成全場景圖像；廣角標記攝像頭，包括一個前向的廣角攝像頭，用于進行動態目標標記和靜態目標標記，生成標記圖像；高清聚焦攝像頭，其包括第一高清捕捉攝像頭、第二高清捕捉攝像頭和第三高清捕捉攝像頭；其中，第一高清捕捉攝像頭用于捕捉識別動態目標，生成動態捕捉圖像，第二高清捕捉攝像頭用于捕捉靜態目標，生成靜態捕捉圖像，第三高清捕捉攝像頭用于進行根據動態捕捉圖像和靜態捕捉圖像，計算聚焦信息，進行聚焦調節；圖像處理模塊：用于進行圖像處理；其中，圖像處理包括：基于全場景圖像生成基礎地圖，基于標記圖像在基礎地圖上進行障礙物標記，基于動態捕捉圖像和靜態捕捉圖像在基礎地圖上進行障礙物動態標記動態更新。4.如權利要求1所述的基于視覺、激光雷達和毫米波雷達的導盲杖，其特征在于，所述毫米波組件包括矢量檢查模塊和毫米波發射模塊；其中，毫米波發射模塊用于發射毫米波信號，接收矢量檢測數據；矢量檢查模塊用于根據矢量檢測數據，進行障礙物距離檢測，獲取障礙物測距數據。5.一種基于視覺、激光雷達和毫米波雷達的識別方法，適用于權利要求1～4所述的導盲杖，其特征在于，所述方法包括：根據視覺組件，獲取當前場景的場景圖像，并確定場景圖像中的靜態目標；其中，靜態目標包括障礙物目標和導航識別目標；根據激光雷達組件，確定場景圖像中的動態目標；根據毫米波雷達，確定導盲杖距離動態目標和靜態目標的實時距離；將場...

【專利技術屬性】
技術研發人員：張子奇，湯曉波，
申請(專利權)人：深圳市愛豐達盛科技有限公司，
類型：發明
國別省市：