一種手勢動作識別方法和系統技術方案

本發明專利技術涉及一種手勢動作識別方法和系統，通過紅外結構光發射單元發射結構光平面；再通過紅外結構光傳感器接收用戶反射回來的紅外光信號構成的感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信息；再通過手部目標跟蹤單元選擇并記錄所述深度信息中的最靠近所述紅外結構光發射單元的信息，即為手部運動軌跡信息；通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控制命令。本發明專利技術將用戶動態手部動作高效的從復雜背景中分離出來，和基于空間方向分割識別，完成手勢動作識別過程，不需要進行事先的手勢建模和學習過程，提升了用戶體驗。

【技術實現步驟摘要】

本專利技術涉及人機交互技術，具體地說，涉及一種手勢動作識別方法和系統。
技術介紹
人機交互技術是近年來非常熱門的研究領域，鼠標和鍵盤等是傳統的人機交互設 備，近年來出現了諸如觸控控制、聲音控制、手勢控制等各種新型的人機交互方式，在用戶 體驗的自然性和友好性方面進行改進。特別是以手勢控制為代表的非接觸式人機交互方 式，通過各類傳感器設備，實時的或在較短時間內完成對手部動作的識別過程，并轉化為計 算機等宿主設備能夠識別的命令，是目前非常流行的一種人機交互方式。手勢動作識別方法可以分為基于數據手套的技術和基于機器視覺的技術兩類，使 用數據手套的方式可以較為準確的感應和識別手部的細微動作，但是需要佩戴專門的數據 手套，目前主要用于科學研究、精細控制、機器人等特殊應用領域。這種手勢動作識別方法 使用麻煩，用戶體驗非常不好，手勢運動不靈活。而基于機器視覺進行手勢動作識別的方法，則因為要求對手部圖像進行識別，所 以要求手部距離圖像傳感器較近，以便獲取足夠識別處理的圖像畫面。對于手部的識別通 常采用以顏色分布統計的色彩直方圖為依據，因為皮膚顏色可以很容易的與其他部分分離 出來，但這種方法對于環境光照、衣服顏色等有比較高的要求。對于手部的識別還有一種方 法，就是使用特殊的顏色粘貼在手指的特定位置上，通過識別特殊色塊圖像來代替對手部 的識別，這樣可以在一定程度上減少圖像處理的工作量，但還是需要在用戶手上進行特別 標識，使用起來也不方便。傳統的手勢動作識別過程需要手勢建模、手勢分割、手勢分析等多個復雜步驟和 過程。手勢識別又可細分為靜態手勢識別和動態手勢識別兩類，靜態手勢對應手勢模型參 數空間里的一個點，而動態手勢則對應手勢模型空間里的一條軌跡，因此要涉及時間和空 間上下文關系。特別是對于動態手勢而言，不同的用戶在進行手勢動作的時候會存在速率 差異、軌跡差異、熟練程度的差異等，從而導致手勢建模軌跡在時間軸上引起非線性波動， 而這種非線性波動的消除是非常困難和復雜的，所以傳統的基于二維圖像的動態識別率普 遍不夠高。
技術實現思路
本專利技術的主要目的在于克服現有技術的不足之處，公開一種手勢動作識別方法和 系統，采用紅外深度圖像傳感器和深度圖像處理技術，大大提高動態手勢識別效率，提升用 戶體驗。本專利技術公開了一種手勢動作識別方法，包括如下步驟A，向用戶及其所在環境發射結構光平面；再通過光傳感器接收用戶及其所在環境反 射回來的結構光信號獲取感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信B,周期性地反復選擇并記錄所述深度信息中的最靠近結構光發射單元的信息，獲取 手部運動軌跡信息；C，通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作 控制命令。本專利技術公開的手勢動作識別方法，還可以包括D，將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控制命令。在所述步驟B中，開可以進一步包括根據設定的時間間隔，周期性地把原始軌跡 坐標保存在坐標數據緩存數組中，再將該原始軌跡坐標按照所述XY平面分割方向進行分 組，并將同組的相鄰緩存數據去除，得到手部運動軌跡信息；然后在所述步驟C中，再順序的按照分組標識匹配手部運動軌跡信息與手勢動作模板。本專利技術公開的手勢動作識別方法，還利用插值算法，根據需要對所述手部運動軌 跡信息中補充因為跳幀或采集設備誤差引起的分組數據不連續進行補充。本專利技術還公開了一種手勢動作識別系統，包括中央處理器單元，用于通過軟件和 外圍電路控制本系統協調工作；還包括結構光發射單元，用于向用戶所在位置發射結構光平面；結構光傳感器，用于接收用戶反射回來的結構光信號構成的感應圖像；深度圖像處理單元，用于獲取感應圖像中的深度信息；手部目標跟蹤單元，用于選擇并記錄所述深度信息中的最靠近所述結構光發射單元的 信息，即為手部運動軌跡信息；手勢動作識別單元，用于識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控 制命令。本專利技術公開的手勢動作識別系統，還可以包括控制命令轉換單元，用于將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控 制命令。在本專利技術公開的手勢動作識別系統中，還包括用于存儲坐標數據緩存數組的存儲 器；所述手部目標跟蹤單元根據設定的時間間隔，周期性地把原始軌跡坐標保存在所述存 儲器中。本專利技術公開的一種手勢動作識別方法和系統，因為采用紅外深度圖像傳感器和深 度圖像處理技術，所以可以將用戶的手部動作高效的從復雜背景中分離出來，并能夠進行 實時的手部運動跟蹤，進而通過手部運動軌跡和基于空間方向分割的手勢識別模板，完成 手勢動作識別過程，不需要進行事先的手勢建模和學習，從而大大提高動態手勢識別效率， 提升了用戶體驗。附圖說明圖1為本專利技術的手勢動作識別系統的一個實施例的電氣結構框圖。圖2為本專利技術的手勢動作識別方法中使用的XY平面分割示意圖。圖3為本專利技術的動態手勢動作識別方法的一個實施例的流程圖。圖4為本專利技術的動態手勢動作識別方法的一個實施例的手勢模板匹配流程圖。具體實施方式下面結合附圖和具體實施方式對本專利技術作進一步詳細說明。本專利技術的手勢動作識別方法基于紅外深度圖像傳感器和深度圖像處理單元，可以 將用戶動態手部動作高效的從復雜背景中分離出來，并能夠進行實時的手部運動跟蹤，進 而通過手部運動軌跡和基于空間方向分割的手勢識別模板，完成手勢動作識別過程，不需 要進行事先的手勢建模和學習，從而可以較好的避免傳統手勢動作識別中存在的問題，大 大提聞動態手勢識別效率。如圖1所示為本專利技術的手勢動作識別設備的一個實施例的電氣結構框圖，其主要 構成包括紅外結構光發射單元用于向用戶所在方向發射有編碼的結構光平面。紅外結構光傳感器單元也稱為紅外結構光感應單元，用于接收并感應經由用戶 所在環境反射回來的紅外結構光。深度圖像處理單元根據結構光編碼技術原理,通過對比三維環境對象的結構光 編碼和原始的平面結構光編碼，來獲取結構光傳感器可視范圍內的場景深度信息。手部目標跟蹤單元用于從環境背景中跟蹤用戶手部目標運動軌跡。不失一般性 地，我們假設用戶在實際使用環境中相對于其他場景部分是運動的，在本專利技術中，我們將用 戶手部動作范圍都默認限定在用戶身體前方，因此距離深度圖像傳感器距離最近的運動對 象像素位置即為用戶的手部對象。所以，我們只需跟蹤連續深度圖像數據幀中，深度最小的 運動像素目標即可達到用戶手部目標跟蹤的效果。這里，深度圖像數據幀是深度傳感器識 別和保存的深度圖像信息，每一個像素都是對應目標與傳感器之間的距離值。手勢動作識別單元用于根據手部目標跟蹤單元的用戶手部運動軌跡跟蹤結果， 與預定的基于空間方向分割的手勢動作模板進行比對，并將比對結果作為手勢動作識別結 果發送給控制命令轉換單元。控制命令轉換單元用于將特定的手勢動作指令轉換為宿主系統能夠識別的控制 命令，用于控制本專利技術的手勢動作控制設備的工作狀態。如圖2所示為本專利技術的手勢動作識別方法中使用的XY平面分割示意圖。不失一 般性，我們以垂直于地平面的與用戶站立方向平行距離用戶30公分的XY平面為例，我們把 這個XY平面，以用戶單手平伸所形成的交點為坐標系原點，垂直于地面的為Y軸，平行于地 面的為X軸；在該平面上按照經過原點的X軸、Y軸、正負斜45度分割線為準，將該平面分 成8個部分，從正上方開始按本文檔來自技高網...

【技術保護點】
一種手勢動作識別方法，其特征在于，包括如下步驟：A、向用戶及其所在環境發射結構光平面；再通過光傳感器接收用戶及其所在環境反射回來的結構光信號獲取感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信息；B、周期性地反復選擇并記錄所述深度信息中的最靠近結構光發射單元的信息，獲取手部運動軌跡信息；C、通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控制命令。

【技術特征摘要】

【專利技術屬性】
技術研發人員：忻海輝，
申請(專利權)人：康佳集團股份有限公司，
類型：發明
國別省市：