一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，包括訓(xùn)練階段和測(cè)試階段：訓(xùn)練階段中對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理，然后提取訓(xùn)練圖像的LBP特征和CSS角點(diǎn)特征，融合提取到的特征，對(duì)基于壓縮感知理論設(shè)計(jì)的分類器進(jìn)行訓(xùn)練。測(cè)試階段，對(duì)拍攝到的手勢(shì)圖像進(jìn)行預(yù)處理，再提取出測(cè)試圖像的LBP特征和CSS角點(diǎn)特征，融合這兩種特征，利用已經(jīng)訓(xùn)練好的分類器進(jìn)行分類識(shí)別。本發(fā)明專利技術(shù)通過(guò)融合兩種特征，并且采用壓縮感知理論設(shè)計(jì)分類器，能夠彌補(bǔ)單特征的不足，提高手勢(shì)的識(shí)別率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法
本專利技術(shù)涉及一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，屬于人機(jī)交互

技術(shù)介紹
隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，人機(jī)交互技術(shù)已經(jīng)成為了各國(guó)研究者研究的熱點(diǎn)。傳統(tǒng)的人機(jī)交互方式主要是基于鍵盤、鼠標(biāo)等設(shè)備，這種方式非常不方便，越來(lái)越不能滿足人們的需求。由于手勢(shì)具有生動(dòng)、形象、直觀等特點(diǎn)，使得它在人機(jī)交互領(lǐng)域有著至關(guān)重要的作用。手勢(shì)識(shí)別一般分為基于數(shù)據(jù)手套的手勢(shì)識(shí)別和基于視覺(jué)的手勢(shì)識(shí)別?；跀?shù)據(jù)手套的手勢(shì)識(shí)別一般是在人的手上佩戴一些傳感設(shè)備，對(duì)人手運(yùn)動(dòng)的速度，加速度等物理量進(jìn)行信號(hào)分析，從而獲得手勢(shì)的信息。這種方式比較有利于獲得手勢(shì)的運(yùn)動(dòng)信息，識(shí)別率比較高，實(shí)時(shí)性也比較好，但是，由于需要穿戴傳感設(shè)備，使得這種交互方式變得不方便也不自由，而且這些傳感設(shè)備也比較昂貴。相比較而言，基于視覺(jué)的手勢(shì)識(shí)別不需要價(jià)格昂貴的傳感設(shè)備，只是利用攝像頭拍攝到手勢(shì)的圖像數(shù)據(jù)，然后對(duì)圖像數(shù)據(jù)進(jìn)行處理分析。這種方式自然，方便，不需要佩戴專用設(shè)備，為人機(jī)交互提供了一種直觀的交流方式，但是它的識(shí)別率還比較低，實(shí)時(shí)性也不好，比較容易受到光照，背景等的干擾。因此對(duì)于這種方式還有待于研究者的進(jìn)一步研究。目前，基于視覺(jué)的手勢(shì)識(shí)別的過(guò)程一般是：采集手勢(shì)圖像，對(duì)圖像進(jìn)行預(yù)處理，特征提取，識(shí)別分類。其中，對(duì)識(shí)別結(jié)果影響比較大的是特征提取和分類器的設(shè)計(jì)。比較常用的特征有SIFT(Scale-InvariantFeatureTransform,尺度不變特征轉(zhuǎn)換)、HOG(HistogramofGradient,梯度方向直方圖)，LBP(LocalBinaryPattern，局部二值模式)，角點(diǎn)特征等。但是單一的特征往往不能很好地描述圖像，從而分類的結(jié)果也不盡如人意。2013年3月，張汗靈、李紅英、周敏在湖南大學(xué)學(xué)報(bào)(自然科學(xué)版)上發(fā)表的文章《融合多特征和壓縮感知的手勢(shì)識(shí)別》，該文章提出了一種融合手勢(shì)的Zernike矩和HOG特征，利用CS(CompressiveSensing,壓縮感知)算法進(jìn)行分類的手勢(shì)識(shí)別方法，但是，這兩種特征都不能很好地描述出手勢(shì)的局部紋理特征，并且在融合這兩種特征的時(shí)候賦予了它們相同的權(quán)值，從而沒(méi)有體現(xiàn)出哪種特征對(duì)識(shí)別的結(jié)果影響較大。2014年6月，楊磊發(fā)表了碩士學(xué)位論文《融合多特征和壓縮感知的手勢(shì)識(shí)別》，在該論文中首先利用基于YCbCr顏色空間的閾值自適應(yīng)方法和Hu矩手型比較算法進(jìn)行分割得到手勢(shì)區(qū)域，然后提取手勢(shì)的SURF(Speed-UpRobustFeatures,加速魯棒特征)和Hu矩特征，融合這兩種特征利用CS算法進(jìn)行分類。但是，Hu矩只用到低階矩，不能很好地描述圖像的細(xì)節(jié)。中國(guó)專利文獻(xiàn)CN104299004A公開(kāi)了一種基于多特征融合和指尖檢測(cè)的手勢(shì)識(shí)別方法。包括訓(xùn)練過(guò)程和識(shí)別過(guò)程：訓(xùn)練過(guò)程中，針對(duì)復(fù)雜的手勢(shì)，選擇合理的手勢(shì)特征，并利用多特征融合的特征提取算法，對(duì)手勢(shì)進(jìn)行支持向量機(jī)訓(xùn)練，形成訓(xùn)練模型。識(shí)別過(guò)程中，針對(duì)輸入的視頻圖像序列，首先進(jìn)行手勢(shì)檢測(cè)，再進(jìn)行多特征提取和融合并輸入到支持向量機(jī)中得到識(shí)別結(jié)果；同時(shí)，對(duì)手勢(shì)進(jìn)行基于缺陷的指尖檢測(cè)，通過(guò)缺陷篩選器，定位到手指各指尖的位置，然后，將兩次識(shí)別和檢測(cè)結(jié)果進(jìn)行綜合，得到最終的手勢(shì)識(shí)別結(jié)果。但是，該專利中存在以下缺陷：其融合的多特征包括Hu矩特征，缺陷特征和六個(gè)比例特征本質(zhì)上都屬于一種特征就是手勢(shì)的形狀特征，提取形狀特征對(duì)預(yù)處理時(shí)手勢(shì)的分割要求比較高；該專利中利用支持向量機(jī)進(jìn)行訓(xùn)練和識(shí)別，支持向量機(jī)的計(jì)算復(fù)雜度比較高。
技術(shù)實(shí)現(xiàn)思路
針對(duì)現(xiàn)有技術(shù)的不足，本專利技術(shù)提供了一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法；本專利技術(shù)融合了兩種常見(jiàn)的特征—LBP和CSS角點(diǎn)特征，并且采用CS算法設(shè)計(jì)分類器。LBP是一種圖像局部紋理特征的描述符，CSS是從圖像的全局角度檢測(cè)圖像的局部角點(diǎn)特征，通過(guò)融合這兩種特征，可以彌補(bǔ)它們各自的缺陷，提高分類效果，通過(guò)在JochenTriesh手勢(shì)數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)，證明該種手勢(shì)識(shí)別方法能夠提高手勢(shì)的識(shí)別率、準(zhǔn)確率。術(shù)語(yǔ)解釋CSS，CurvatureScaleSpace的縮寫，是指曲率尺度空間；本專利技術(shù)的技術(shù)方案為：一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，具體步驟包括：A、訓(xùn)練階段(1)采集訓(xùn)練手勢(shì)圖像樣本；(2)對(duì)步驟(1)采集到的訓(xùn)練手勢(shì)圖像進(jìn)行預(yù)處理；(3)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)灰度圖像的LBP特征；(4)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(5)融合步驟(3)得到的訓(xùn)練手勢(shì)圖像的LBP特征及步驟(4)得到的訓(xùn)練手勢(shì)圖像的CSS角點(diǎn)特征，訓(xùn)練基于壓縮感知理論的分類器；B、測(cè)試階段(6)采集測(cè)試手勢(shì)圖像樣本；(7)對(duì)步驟(6)采集到的測(cè)試手勢(shì)圖像進(jìn)行預(yù)處理；(8)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)灰度圖像的LBP特征；(9)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(10)融合步驟(8)得到的測(cè)試手勢(shì)圖像的LBP特征及步驟(9)得到的測(cè)試手勢(shì)圖像的CSS角點(diǎn)特征，利用步驟(5)訓(xùn)練好的分類器進(jìn)行分類。根據(jù)本專利技術(shù)優(yōu)選的，步驟(2)、步驟(7)所述預(yù)處理，具體包括：a、將彩色圖像變換為灰度圖像；b、利用基于閾值的二值化方法對(duì)步驟a得到的灰度圖像進(jìn)行處理，得到手勢(shì)的二值圖像；c、對(duì)步驟b得到的手勢(shì)的二值圖像進(jìn)行形態(tài)學(xué)處理，得到手勢(shì)區(qū)域平滑的二值圖像；d、采用邊緣檢測(cè)算法得到手勢(shì)的輪廓邊緣。根據(jù)本專利技術(shù)優(yōu)選的，步驟(3)、步驟(8)所述提取手勢(shì)圖像的LBP特征向量，具體包括：e、設(shè)定所述手勢(shì)圖像中的一個(gè)像素點(diǎn)為中心像素點(diǎn)，則以中心像素點(diǎn)為圓心、半徑為R的P個(gè)鄰域像素點(diǎn)上的LBP值LBPP-R的求取公式如式(Ⅰ)所示：式(Ⅰ)中，gc表示中心像素點(diǎn)的灰度值，gi表示中心像素點(diǎn)的第i個(gè)鄰域像素點(diǎn)的灰度值；s(gi-gc)表示第i個(gè)鄰域像素點(diǎn)的LBP編碼，即若gi≥gc則該第i個(gè)鄰域像素點(diǎn)的LBP編碼為1，若gi<gc則該第i個(gè)鄰域像素點(diǎn)的LBP編碼為0；R為1個(gè)或2個(gè)像素，P為8個(gè)或16個(gè)像素；步驟e中，比較常用的有LBP4-1、LBP8-1、LBP8-2、LBP16-2，隨著P和R越來(lái)越大，LBP值會(huì)急劇增大，導(dǎo)致效率低下。該計(jì)算過(guò)程就是以中心像素點(diǎn)的灰度值為閾值，將周圍相鄰的P個(gè)像素點(diǎn)的灰度值與其進(jìn)行比較，若某個(gè)像素點(diǎn)的灰度值大于或等于中心像素點(diǎn)的灰度值，則將該像素點(diǎn)的位置標(biāo)為1，否則標(biāo)為0。于是，周圍相鄰的P個(gè)像素點(diǎn)產(chǎn)生Pbit的無(wú)符號(hào)的二進(jìn)制數(shù)，這個(gè)二進(jìn)制數(shù)作為L(zhǎng)BP編碼，將其轉(zhuǎn)化為十進(jìn)制數(shù)，即得到以中心像素點(diǎn)為圓心、半徑為R的P個(gè)鄰域像素點(diǎn)上的LBP值LBPP-R。按照上述方法每個(gè)像素點(diǎn)都可以得到一個(gè)LBP編碼和LBP值，由LBP值組成了一幅LBP圖像。f、判斷步驟e獲取的LBP編碼是否為均勻的LBP編碼，將步驟e獲取的LBP編碼首尾相連，如果至多有兩次0和1之間的轉(zhuǎn)換，則該LBP編碼為均勻LBP編碼，將均勻LBP編碼圖像的統(tǒng)計(jì)直方圖作為手勢(shì)圖像的LBP特征。根據(jù)本專利技術(shù)優(yōu)選的，R為1個(gè)像素，P為8個(gè)像素。根據(jù)本專利技術(shù)優(yōu)選的，步驟(4)、步驟(9)所述提取手勢(shì)圖像的CSS角點(diǎn)特征，具體包括：g、找到步驟(2)、步驟(7)預(yù)處理后的手勢(shì)圖像的輪廓上的T形交叉點(diǎn)，標(biāo)記為T形角點(diǎn)，設(shè)定手勢(shì)圖像的輪廓函數(shù)為本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，其特征在于，具體步驟包括：A、訓(xùn)練階段(1)采集訓(xùn)練手勢(shì)圖像樣本；(2)對(duì)步驟(1)采集到的訓(xùn)練手勢(shì)圖像進(jìn)行預(yù)處理；(3)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)灰度圖像的LBP特征；(4)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(5)融合步驟(3)得到的訓(xùn)練手勢(shì)圖像的LBP特征及步驟(4)得到的訓(xùn)練手勢(shì)圖像的CSS角點(diǎn)特征，訓(xùn)練基于壓縮感知理論的分類器；B、測(cè)試階段(6)采集測(cè)試手勢(shì)圖像樣本；(7)對(duì)步驟(6)采集到的測(cè)試手勢(shì)圖像進(jìn)行預(yù)處理；(8)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)灰度圖像的LBP特征；(9)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(10)融合步驟(8)得到的測(cè)試手勢(shì)圖像的LBP特征及步驟(9)得到的測(cè)試手勢(shì)圖像的CSS角點(diǎn)特征，利用步驟(5)訓(xùn)練好的分類器進(jìn)行分類。

【技術(shù)特征摘要】
1.一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，其特征在于，具體步驟包括：A、訓(xùn)練階段(1)采集訓(xùn)練手勢(shì)圖像樣本；(2)對(duì)步驟(1)采集到的訓(xùn)練手勢(shì)圖像進(jìn)行預(yù)處理；(3)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)灰度圖像的LBP特征；(4)提取步驟(2)預(yù)處理后的訓(xùn)練手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(5)融合步驟(3)得到的訓(xùn)練手勢(shì)圖像的LBP特征及步驟(4)得到的訓(xùn)練手勢(shì)圖像的CSS角點(diǎn)特征，訓(xùn)練基于壓縮感知理論的分類器；B、測(cè)試階段(6)采集測(cè)試手勢(shì)圖像樣本；(7)對(duì)步驟(6)采集到的測(cè)試手勢(shì)圖像進(jìn)行預(yù)處理；(8)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)灰度圖像的LBP特征；(9)提取步驟(7)預(yù)處理后的測(cè)試手勢(shì)輪廓圖像的CSS角點(diǎn)特征；(10)融合步驟(8)得到的測(cè)試手勢(shì)圖像的LBP特征及步驟(9)得到的測(cè)試手勢(shì)圖像的CSS角點(diǎn)特征，利用步驟(5)訓(xùn)練好的分類器進(jìn)行分類；步驟(4)、步驟(9)提取手勢(shì)圖像的CSS角點(diǎn)特征，具體包括：g、找到步驟(2)、步驟(7)預(yù)處理后的手勢(shì)圖像的輪廓上的T形交叉點(diǎn)，標(biāo)記為T形角點(diǎn)，設(shè)定手勢(shì)圖像的輪廓函數(shù)為Г(μ)＝(x(μ),y(μ))，將輪廓上的點(diǎn)用弧長(zhǎng)參數(shù)μ表達(dá)，x(μ)是輪廓上點(diǎn)的橫坐標(biāo)，y(μ)是輪廓上點(diǎn)的縱坐標(biāo)；將Г(μ)在不同尺度的高斯函數(shù)g(μ，σ)下濾波得到不同尺度下的輪廓函數(shù)Гσ(μ)＝(X(μ,σ),Y(μ,σ))，X(μ,σ)＝x(μ)*g(μ，σ)，Y(μ,σ)＝y(tǒng)(μ)*g(μ，σ)，σ是尺度參數(shù)，*為卷積運(yùn)算符；計(jì)算在一個(gè)較低的尺度σ下的輪廓函數(shù)Гσ(μ)的曲率κ(μ，σ)，所述較低的尺度σ的取值范圍為3.0-4.0，如式(Ⅱ)所示：式(Ⅱ)中，h、將步驟g得到的局部曲率極大點(diǎn)作為候選角點(diǎn)，利用式(III)確定候選角點(diǎn)的局部自適應(yīng)閾值T(μ1)，式(III)中，μ1是候選角點(diǎn)在曲線上的位置，表示候選角點(diǎn)的鄰域區(qū)域內(nèi)的平均曲率，L1和L2是鄰域區(qū)域的大小，i表示鄰域區(qū)域內(nèi)的點(diǎn)，κ(i)表示鄰域區(qū)域內(nèi)的點(diǎn)的曲率，C為一個(gè)系數(shù)，C的取值范圍為1<C<2，將局部自適應(yīng)閾值與候選角點(diǎn)的曲率進(jìn)行比較，如果該候選角點(diǎn)的曲率小于其局部自適應(yīng)閾值，則將該候選角點(diǎn)剔除；i、利用自適應(yīng)支持區(qū)域檢測(cè)候選角點(diǎn)的角度，如果候選角點(diǎn)的角度取值范圍為170°-190°，則將其剔除。2.根據(jù)權(quán)利要求1所述的一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，其特征在于，步驟(2)、步驟(7)所述預(yù)處理，具體包括：a、將彩色圖像變換為灰度圖像；b、利用基于閾值的二值化方法對(duì)步驟a得到的灰度圖像進(jìn)行處理，得到手勢(shì)的二值圖像；c、對(duì)步驟b得到的手勢(shì)的二值圖像進(jìn)行形態(tài)學(xué)處理，得到手勢(shì)區(qū)域平滑的二值圖像；d、采用邊緣檢測(cè)算法得到手勢(shì)的輪廓邊緣。3.根據(jù)權(quán)利要求1所述的一種基于視覺(jué)的靜態(tài)手勢(shì)識(shí)別方法，其特征在于，步驟(3)、步驟(8)提取手勢(shì)圖像的LBP特征向量，具體包括：e、設(shè)定所述手勢(shì)圖像中的一個(gè)像素點(diǎn)為中心像素點(diǎn)，則以中心像素點(diǎn)為圓心、半徑為R的P個(gè)鄰域像素點(diǎn)上的LBP值LBPP-R的求取公式如式(Ⅰ)所示：式(Ⅰ)中，gc表示中心像素點(diǎn)的灰度值，gi表示中心像素點(diǎn)的第i個(gè)鄰域像素點(diǎn)的灰度值；s(gi-gc)表示第i個(gè)鄰域像素點(diǎn)的LBP編碼，即若gi≥gc則該第i個(gè)鄰域像素點(diǎn)的LBP編碼為1，若g...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊明強(qiáng)，莊會(huì)偉，賁晛燁，
申請(qǐng)(專利權(quán))人：山東大學(xué)，
類型：發(fā)明
國(guó)別省市：山東;37