基于動態紋理特征的人臉表情的分類與識別方法技術

本發明專利技術基于動態紋理特征的人臉表情的分類與識別方法，涉及圖像特征或特性的抽取，是一種利用加權多尺度ASCBP?TOP算子提取人臉表情圖像序列的動態紋理特征的人臉表情分類與識別方法，步驟是：人臉表情圖像預處理；根據不同尺度對人臉表情圖像序列進行分塊，構建多尺度空間；利用加權多尺度ASCBP?TOP算法提取人臉表情圖像序列的動態紋理特征；采用支持向量機(SVM)分類器進行人臉表情的分類與識別。本發明專利技術方法克服了現有技術方法中忽略中心像素的作用、忽略人臉表情圖像紋理的粗細程度以及局部細節的運動變化信息、穩定性較差、且噪聲敏感的缺陷。

【技術實現步驟摘要】

本專利技術的技術方案涉及圖像特征或特性的抽取，具體地說是基于動態紋理特征的人臉表情的分類與識別方法。
技術介紹
隨著人機智能交互的發展，人臉表情的分類與識別的研究越來越多的受到人們的重視，成為圖像處理和模式識別領域的一個研發熱點。常見的人臉表情的分類與識別方法分為基于全局特征和基于局部特征兩類。基于全局特征的方法有主成分分析(PCA)、線性判別分析(LDA)和獨立成分分析(ICA)等，這類方法通過映射得到人臉表情的特征空間從而進行判別與分析，因此依賴于圖像像素之間的相關性；基于局部特征的方法有尺度不變特征轉換(SIFT)和局部二值模式(LBP)等，其中SIFT在平移和旋轉方面具有較好的穩定性，且能夠提取到豐富的特征信息，但是容易存在不穩定的極值點，生成的特征向量的維數較高。Ojala等人首次提出了局部二值模式(LBP)，由于其計算簡單且有效，具有旋轉不變性和灰度不變性等優點，已廣泛地應用于紋理分類、目標檢測和圖像分析領域。傳統的LBP算子產生的特征向量維數很高，影響識別效率，同時沒有考慮中心像素對周圍像素的影響，在特定情況下丟失了一些局部結構信息，使得識別率降低；LBP算子運算后得到的二值數據對噪聲敏感，魯棒性差。為此，Tan和Triggs提出了局部三值模式(LTP)，與LBP算子的不同之處在于量化閾值的選取，以及量化函數由二值拓展為三值化函數，使得LTP的抗噪性能有所提高。局部五值模式(LQP)是在LTP的基礎上改變量化函數，對中心像素周圍的鄰域點進行五值量化，更加充分地體現出像素點之間的差異，但是計算量較大。Zhao等人于2007年提出了立體局部二值模式(VLBP)和三維正交平面局部二值模式(LBP-TOP)兩種動態特征提取方法，用于分析人臉表情圖像序列或視頻，VLBP算子將原始的LBP算子從二維空間擴展到三維空間，對三維空間中的鄰域點與中心像素點進行比較；LBP-TOP算子是在人臉表情圖像序列中的三個正交平面上分別提取LBP碼來有效地獲取人臉表情圖像序列的時空特征信息。由于Gabor小波具有很好的頻率和方向選擇性，Almaev等人提出了LGBP-TOP算子，將LBP與Gabor濾波相結合在三個正交平面上提取人臉的動態時空紋理特征。中心化二值模式(CBP)在LBP算子的基礎上加入了中心像素對周圍像素的影響，通過比較中心像素點的環形鄰域中的近鄰點對來計算人臉表情圖像的CBP碼，對于沒有落在像素點中心的近鄰點，采用雙線性插值法獲得其灰度值，從而更加全面地描述人臉表情圖像的紋理信息。Heikkila等人提出的中心對稱局部二值模式(CS-LBP)算子引入了中心對稱思想，通過比較基于中心像素對稱的近鄰點對的像素值對人臉表情圖像進行編碼。CN103971095A公開了一種基于多尺度LBP和稀疏編碼的人臉表情識別方法，該方法利用多尺度LBP提取人臉的表情特征，然后采用稀疏編碼對表情進行分類與識別，雖然有較好的魯棒性，但是增加了算法的計算量。目前的表情識別方法中CS-LBP算子運算簡單，與傳統的LBP相比產生的特征維數低，但是沒有考慮中心像素對周圍像素的影響，提取表情特征時閾值不能自動選取，對光照和姿態的變化具有較差的魯棒性，在表情識別中所取得的效果不太令人滿意。
技術實現思路
本專利技術所要解決的技術問題是：提供基于動態紋理特征的人臉表情的分類與識別方法，是一種利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態紋理特征的人臉表情分類與識別方法，用加權多尺度ASCBP-TOP算子提取不同尺度的人臉表情圖像序列的動態紋理特征，并采用支持向量機(SVM)對人臉表情序列圖像進行分類與識別，克服了現有技術方法中忽略中心像素的作用、忽略人臉表情圖像紋理的粗細程度以及局部細節的運動變化信息、穩定性較差、且噪聲敏感的缺陷。ASCBP-TOP為三維正交平面自適應對稱中心二值模式的英文縮寫。本專利技術解決該技術問題所采用的技術方案是：基于動態紋理特征的人臉表情的分類與識別方法，是一種利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態紋理特征的人臉表情分類與識別方法，具體步驟如下：第一步，人臉表情圖像預處理：將已有的人臉表情數據庫中的人臉表情圖像由RGB空間轉化到灰度空間得到灰度圖像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B (1)，其中，I的灰度值取0到255，R、G和B分別是RGB圖像的紅色、綠色和藍色分量；然后按照人臉“三庭五眼”的特征比例對灰度空間的人臉表情圖像進行裁剪，并采用雙線性插值法對裁剪后的人臉表情圖像進行尺寸歸一化，統一大小為128×128像素；第二步，根據不同尺度對人臉表情圖像序列進行分塊，構建多尺度空間：對人臉表情序列中的人臉表情圖像進行多尺度分塊，設將人臉表情圖像分為N個尺度，則在第m個尺度下，m分別為0，1，…，N-1，上述第一步預處理得到的人臉表情圖像被劃分為2m+1×2m+1個互不重疊的子塊，對上述第一步預處理得到的人臉表情圖像進行N個尺度的分塊，構建多尺度空間；第三步，利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態紋理特征：經過上述第二步對不同尺度空間的人臉表情圖像分塊處理后，利用加權多尺度ASCBP-TOP算子提取不同尺度下每個子塊的特征，并分別在XY、XT和YT平面上得到三個人臉表情圖像序列的特征直方圖，把它們串聯起來形成一個特征向量，然后將每個尺度的所有子塊的特征向量串聯起來，得到該尺度空間的特征向量，人臉表情圖像劃分的尺度數值越大，子塊數目就越多，紋理特征信息越豐富，根據提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權重，將提取的特征向量按照不同的權重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態紋理特征；第四步，采用支持向量機(SVM)分類器進行人臉表情的分類與識別：將上述第三步提取到的人臉表情圖像序列的特征直方圖作為支持向量機(SVM)分類器的輸入進行訓練和測試，采用留一法，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別，具體步驟如下：(4.1)將上述第三步提取到的人臉表情圖像序列的特征直方圖輸入SVM分類器進行訓練和測試，其中提取到的訓練集的所有人臉表情圖像序列的特征向量和測試集的所有人臉表情圖像序列的特征向量分別構成訓練集矩陣和測試集矩陣；(4.2)將輸入的訓練集矩陣和測試集矩陣的特征數據映射到高維空間，利用核函數來計算映射后的高維數據，使得原來線性不可分的情況轉化為線性可分的情況，計算時所采用的徑向基(RBF)核函數的公式(11)如下：k(x,xi)＝exp[-γ||x-xi||2] (11)，其中x為輸入的訓練集矩陣和測試集矩陣中的特征元素，xi為核函數中心，γ為核函數的寬度；(4.3)采用留一法，交叉驗證選擇SVM中最佳的懲罰因子C以及核函數的寬度γ，對上述(4.1)步中得到的訓練集進行訓練獲取支持向量機模型，利用獲取的模型進行測試與預測，在Cohn-Kanade和JAFFE這兩個表情數據庫上實驗，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別。上述人臉表情識別方法，所述第三步中，根據提取到的紋理特征信息的豐富程度給每個尺度的本文檔來自技高網...

【技術保護點】
基于動態紋理特征的人臉表情的分類與識別方法，其特征在于：是一種利用加權多尺度ASCBP?TOP算子提取人臉表情圖像序列的動態紋理特征的人臉表情分類與識別方法，具體步驟如下：第一步，人臉表情圖像預處理：將已有的人臉表情數據庫中的人臉表情圖像由RGB空間轉化到灰度空間得到灰度圖像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B??(1)，其中，I的灰度值取0到255，R、G和B分別是RGB圖像的紅色、綠色和藍色分量；然后按照人臉“三庭五眼”的特征比例對灰度空間的人臉表情圖像進行裁剪，并采用雙線性插值法對裁剪后的人臉表情圖像進行尺寸歸一化，統一大小為128×128像素；第二步，根據不同尺度對人臉表情圖像序列進行分塊，構建多尺度空間：對人臉表情序列中的人臉表情圖像進行多尺度分塊，設將人臉表情圖像分為N個尺度，則在第m個尺度下，m分別為0，1，…，N?1，上述第一步預處理得到的人臉表情圖像被劃分為2m+1×2m+1個互不重疊的子塊，對上述第一步預處理得到的人臉表情圖像進行N個尺度的分塊，構建多尺度空間；第三步，利用加權多尺度ASCBP?TOP算子提取人臉表情圖像序列的動態紋理特征：經過上述第二步對不同尺度空間的人臉表情圖像分塊處理后，利用加權多尺度ASCBP?TOP算子提取不同尺度下每個子塊的特征，并分別在XY、XT和YT平面上得到三個人臉表情圖像序列的特征直方圖，把它們串聯起來形成一個特征向量，然后將每個尺度的所有子塊的特征向量串聯起來，得到該尺度空間的特征向量，人臉表情圖像劃分的尺度數值越大，子塊數目就越多，紋理特征信息越豐富，根據提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權重，將提取的特征向量按照不同的權重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態紋理特征；第四步，采用支持向量機(SVM)分類器進行人臉表情的分類與識別：將上述第三步提取到的人臉表情圖像序列的特征直方圖作為支持向量機(SVM)分類器的輸入進行訓練和測試，采用留一法，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別，具體步驟如下：(4.1)將上述第三步提取到的人臉表情圖像序列的特征直方圖輸入SVM分類器進行訓練和測試，其中提取到的訓練集的所有人臉表情圖像序列的特征向量和測試集的所有人臉表情圖像序列的特征向量分別構成訓練集矩陣和測試集矩陣；(4.2)將輸入的訓練集矩陣和測試集矩陣的特征數據映射到高維空間，利用核函數來計算映射后的高維數據，使得原來線性不可分的情況轉化為線性可分的情況，計算時所采用的徑向基(RBF)核函數的公式(11)如下：k(x,xi)＝exp[?γ||x?xi||2]??(11)，其中x為輸入的訓練集矩陣和測試集矩陣中的特征元素，xi為核函數中心，γ為核函數的寬度；(4.3)采用留一法，交叉驗證選擇SVM中最佳的懲罰因子C以及核函數的寬度γ，對上述(4.1)步中得到的訓練集進行訓練獲取支持向量機模型，利用獲取的模型進行測試與預測，在Cohn?Kanade和JAFFE這兩個表情數據庫上實驗，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別。...

【技術特征摘要】
1.基于動態紋理特征的人臉表情的分類與識別方法，其特征在于：是一種利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態紋理特征的人臉表情分類與識別方法，具體步驟如下：第一步，人臉表情圖像預處理：將已有的人臉表情數據庫中的人臉表情圖像由RGB空間轉化到灰度空間得到灰度圖像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B (1)，其中，I的灰度值取0到255，R、G和B分別是RGB圖像的紅色、綠色和藍色分量；然后按照人臉“三庭五眼”的特征比例對灰度空間的人臉表情圖像進行裁剪，并采用雙線性插值法對裁剪后的人臉表情圖像進行尺寸歸一化，統一大小為128×128像素；第二步，根據不同尺度對人臉表情圖像序列進行分塊，構建多尺度空間：對人臉表情序列中的人臉表情圖像進行多尺度分塊，設將人臉表情圖像分為N個尺度，則在第m個尺度下，m分別為0，1，…，N-1，上述第一步預處理得到的人臉表情圖像被劃分為2m+1×2m+1個互不重疊的子塊，對上述第一步預處理得到的人臉表情圖像進行N個尺度的分塊，構建多尺度空間；第三步，利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列的動態紋理特征：經過上述第二步對不同尺度空間的人臉表情圖像分塊處理后，利用加權多尺度ASCBP-TOP算子提取不同尺度下每個子塊的特征，并分別在XY、XT和YT平面上得到三個人臉表情圖像序列的特征直方圖，把它們串聯起來形成一個特征向量，然后將每個尺度的所有子塊的特征向量串聯起來，得到該尺度空間的特征向量，人臉表情圖像劃分的尺度數值越大，子塊數目就越多，紋理特征信息越豐富，根據提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權重，將提取的特征向量按照不同的權重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態紋理特征；第四步，采用支持向量機(SVM)分類器進行人臉表情的分類與識別：將上述第三步提取到的人臉表情圖像序列的特征直方圖作為支持向量機(SVM)分類器的輸入進行訓練和測試，采用留一法，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別，具體步驟如下：(4.1)將上述第三步提取到的人臉表情圖像序列的特征直方圖輸入SVM分類器進行訓練和測試，其中提取到的訓練集的所有人臉表情圖像序列的特征向量和測試集的所有人臉表情圖像序列的特征向量分別構成訓練集矩陣和測試集矩陣；(4.2)將輸入的訓練集矩陣和測試集矩陣的特征數據映射到高維空間，利用核函數來計算映射后的高維數據，使得原來線性不可分的情況轉化為線性可分的情況，計算時所采用的徑向基(RBF)核函數的公式(11)如下：k(x,xi)＝exp[-γ||x-xi||2] (11)，其中x為輸入的訓練集矩陣和測試集矩陣中的特征元素，xi為核函數中心，γ為核函數的寬度；(4.3)采用留一法，交叉驗證選擇SVM中最佳的懲罰因子C以及核函數的寬度γ，對上述(4.1)步中得到的訓練集進行訓練獲取支持向量機模型，利用獲取的模型進行測試與預測，在Cohn-Kanade和JAFFE這兩個表情數據庫上實驗，取實驗結果的平均值作為表情識別率，從而完成人臉表情的分類與識別。2.根據權利要求1所述人臉表情識別方法，其特征在于：所述第三步中，根據提取到的紋理特征信息的豐富程度給每個尺度的特征向量分配不同的權重，將提取的特征向量按照不同的權重串接起來，得到一個完整的人臉表情圖像序列的特征直方圖來描述人臉表情圖像序列的動態紋理特征，具體方法如下：(3.1)利用加權多尺度ASCBP-TOP算子提取人臉表情圖像序列子塊區域的特征：設人臉表情圖像序列幀數為F幀，以人臉表情圖像序列中處于中間幀的人臉表情圖像作為基準，對上述第二步中得到的每個尺度中每個子塊，以該子塊中的每個像素點為中心，以R為半徑的環形鄰域中的近鄰像素點構成鄰域，分別在XY、XT和YT三個正交平面上利用加權多尺度ASCBP-TOP算子計算特征值，并對該子塊的特征值進行直方圖統計，得到XY、XT和YT三個平面的人臉表情圖像序列的特征直方圖向量，把這三個人臉表情圖像序列的特征直方圖向量串聯即為該尺度下該子塊的ASCBP-TOP特征向量，下面對加權多尺度ASCBP-TOP算子進行詳述：加權多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基礎上考慮了中心像素對周圍像素的影響作用，并分配給它最大的權重，其中CBP算子通過比較以gc為中心像素點、以R為半徑的環形鄰域中的近鄰點對來計算人臉表情圖像的特征值，如下公式(2)所示： C B P ( P , R ) = Σ i = 0 ( P / 2 ) - 1 s ( g i - g i + ( P / 2 ) ) 2 i + s ( g c - ( g c + Σ p = 0 P - 1 g p ) / ( P + 1 ) ) 2 P / 2 s ( · ) = 1 , | · | ≥ T 0 , | · | < T - - - ( 2 ) , ]]>其中，P表示近鄰像素點的個數，gi與gi+(P/2)為以中心像素gc對稱的近鄰像素點對，s(·)是符號函數，T為閾值；加權多尺度ASCBP-TOP算子在與中心像素進行比較時，根據傅里葉算子奇和偶分解的思想，將鄰域點分成兩部分，使得中心像素點gc分別與奇數位置對應的所有像素點和的均值以及偶數位置對應的所有像素點和的均值進行比較，ASCBP的奇算子ASCBPo和偶算子ASCBPe的計算過程如下公式(3)所示： ASCBP o ( g c ) = Σ i = 0 ( P / 2 ) - 1 s ( g i - g i + ( P / 2 ) ) 2 i + s ( g c - ( Σ i = 0 ( P / 2 ) - 1 g 2 i + 1 ) / ( P / 2 ) ) 2 P / 2 ]]> ASCBP e ( g c ) = Σ i = 0 ( P / 2 ) - 1 s ( g i - g i + ( P / 2 ) ) 2 i + s ( g c - ( Σ i = 0 ( P / 2 ) - 1 g 2 i ) / ( P / 2 ) ) 2 P / 2 - - - ( 3 ) , ]]> s ( · ) = 1 , | · | ≥ T 0 , | · | < T ]]>其中符號函數s(·)中的閾值T是根據周圍像素情況自適應選取，閾值T的選取方法為計算鄰域內所有以中心像素對稱的近鄰點對差值的均值，如下公式(4)所示： T = [ Σ i = 0 ( P / 2 ) - 1 | ( g i - g i + ( P / 2 ) ) | ] / ( P / 2 ) - - - ( 4 ) , ]]>在XY、XT和YT三個正交平面上采用下式(5)對上述第二步中選取的第m個尺度下的人臉表情圖像序列中任一子塊區域b內所有像素點利用ASCBPo(m,b,j)和ASCBPe(m,b,j)算子進行特征統計： H ASCBP o ( m , b , j ) = [ Σ ...

【專利技術屬性】
技術研發人員：閻剛，師碩，郭迎春，于洋，劉依，尹明月，
申請(專利權)人：河北工業大學，
類型：發明
國別省市：天津;12