基于多特征融合的人臉表情自動識別方法技術

本發明專利技術基于多特征融合的人臉表情自動識別方法，涉及識別圖形的方法，是一種融合人臉表情圖像和人臉表情重要區域圖像的Gabor特征以及多尺度ACILBP特征直方圖的方法，步驟是：人臉表情圖像及人臉表情重要區域圖像預處理；對人臉表情圖像和人臉表情重要區域圖像分別提取Gabor特征，并賦予不同權值，融合得到兩層人臉表情圖像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方圖；特征融合得到人臉表情特征數據；采用SVM分類器進行人臉表情的訓練和預測，實現人臉表情自動識別。本發明專利技術克服了現有技術普遍存在對光照和噪聲的魯棒性差，沒有考慮局部信息與整體信息的充分利用因而識別率低下的缺陷。

【技術實現步驟摘要】

本專利技術的技術方案涉及識別圖形的方法，具體地說是基于多特征融合的人臉表情自動識別方法。
技術介紹
人類的語言分為自然語言和形體語言兩類，面部表情是形體語言的一部分。心理學家研究發現在人類進行會話交流時：語言內容占7％；說話時的語調占38％；而說話人的表情占55％。所以人臉表情在人類交往活動中起到了重要的作用。與之相對應的表情識別一直是模式識別與計算機視覺領域中十分活躍的熱點。隨著人工智能和模式識別的發展，人臉表情識別受到的關注日益提高，在人機交互中的地位越發重要?，F今，國內外有很多團隊對人臉表情識別進行研究，國內有清華大學、中國科技大學和中科院自動化研究所等，國外有麻省理工學院(MIT)、東京大學、卡耐基梅隆大學(CMU)機器人研究所和日本國際電信技術研究所(ATR)等。人臉表情識別的過程主要包括：圖像預處理、特征提取和分類識別，其中特征提取是人臉表情分類的難點與重點。常用特征提取方法分為基于統計特征提取方法和基于頻域特征提取方法。基于統計特征提取方法有：線性判別分析方法、主成分分析方法和獨立成分分析方法；基于頻域特征提取方法有：Gabor特征方法和局部二值模式(以下簡稱LBP)方法，其中Gabor特征方法可有效提取多尺度多方向人臉表情特征，且其對光照變化和噪聲魯棒性較強，缺點是計算量較大；LBP方法能描述圖像局部信息，且具有灰度不變性優點，但仍然存在不足之處：(1)LBP方法過于依賴中心像素點的閾值作用，忽略周圍鄰近像素點間關系，從而使得LBP對于噪聲和光照的魯棒性有待加強；(2)局部信息和整體信息的平衡性有待加強，在統計LBP特征直方圖時，若對圖像分塊過少，則會忽略局部信息，若對圖像分塊過多，則忽略整體信息。針對LBP方法的不足，Liao等在“Dominantlocalbinarypatternsfortextureclassification”一文中提出了顯性二值局部模式(簡稱DLBP)方法，該方法對于圖像的旋轉以及噪聲、光照有良好的適應性,但數據維度較大，計算復雜度高，不能很好地兼顧局部信息和整體信息關系。CN103971095A公開了一種基于多尺度LBP和稀疏編碼的大規模人臉表情識別方法，該方法首先建立人臉表情數據庫，使用隨機抽樣技術生成訓練數據庫與測試數據庫，之后使用多尺度的LBP特征表示人臉表情特征，進而生成稀疏編碼方法所需要的字典，通過對新的人臉表情樣本求解最優稀疏系數，并累加不同人臉表情的稀疏系數來識別人臉表情樣本。但該方法并沒有解決LBP過于依賴中心像素點的閾值作用，忽略周圍鄰近像素點間關系和局部信息、整體信息的平衡性有待加強的不足,識別率不高。CN105005765A公開了一種基于Gabor小波和灰度共生矩陣的人臉表情識別方法，該方法首先通過手工分割的方法提取出表情圖像中的“純臉”區域，并進行預處理；然后通過分塊提取Gabor特征統計量，并融合灰度共生矩陣進行表情識別，該方法不能克服光照以及噪聲的影響，且沒有充分利用面部重要區域紋理信息?？傊F有的人臉表情識別方法普遍存在對光照和噪聲的魯棒性差，沒有考慮局部信息與整體信息的充分利用因而識別率低下的缺陷。
技術實現思路
本專利技術所要解決的技術問題是：提供基于多特征融合的人臉表情自動識別方法，是一種融合人臉表情圖像和人臉表情重要區域圖像的Gabor特征以及多尺度ACILBP特征直方圖的方法，克服了現有的人臉表情識別方法普遍存在對光照和噪聲的魯棒性差，沒有考慮局部信息與整體信息的充分利用因而識別率低下的缺陷。上述ACILBP是AroundCenterInstableLocalBinaryPattern的縮寫，中文含義是中心穩定局部二值模式。本專利技術解決該技術問題所采用的技術方案是：基于多特征融合的人臉表情自動識別方法，是一種融合人臉表情圖像和人臉表情重要區域圖像的Gabor特征以及多尺度ACILBP特征直方圖的方法，具體步驟如下：第一步，人臉表情圖像及人臉表情重要區域圖像預處理：(1.1)人臉表情圖像幾何歸一化：通過USB接口輸入人臉的RGB圖像到計算機中，利用公式(1)將其轉換為灰度圖像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(1)，其中R、G和B分別為紅色、綠色和藍色三個通道，(x,y)是圖像的像素點坐標，對得到的灰度圖像O采用DMF_Meanshift算法進行人臉關鍵點檢測，定位眼睛、鼻子和嘴巴的中心點，并根據面部特征點和幾何模型裁剪出人臉表情圖像I，將人臉表情圖像I幾何歸一化到M×M’個像素，并將該人臉的雙眼矩形區域歸一化為U×U’個像素，該人臉的鼻子歸一化為V×V’個像素，該人臉的嘴部歸一化為W×W’個像素，雙眼、鼻子和嘴這三部分構成該人臉表情重要區域圖像F，由此完成人臉表情圖像幾何歸一化；(1.2)人臉表情圖像直方圖的均衡化和人臉表情重要區域圖像直方圖的均衡化：計算上述(1.1)步人臉表情圖像I的直方圖，然后根據直方圖計算累計分布函數，對人臉表情圖像I的概率密度函數做映射變換，得到直方圖均衡化的人臉表情圖像I’，即完成對人臉表情圖像直方圖的均衡化；計算上述(1.1)步人臉表情重要區域圖像F的直方圖，然后根據直方圖計算累計分布函數，對人臉表情重要區域圖像F的概率密度函數做映射變換，得到直方圖均衡化的人臉表情重要區域圖像F’，即完成對人臉表情重要區域圖像直方圖的均衡化；(1.3)直方圖均衡化的人臉表情圖像的歸一化和直方圖均衡化的人臉表情重要區域圖像灰度的歸一化：對上述(1.2)步直方圖均衡化的人臉表情圖像I’進行灰度歸一化，利用公式(2)將直方圖均衡化的人臉表情圖像I’轉換為灰度歸一化的人臉表情圖像J，J(x,y)＝I'(x,y)/I'av*I(x,y)(2)，式(2)中，I’av是灰度歸一化的人臉表情圖像J的像素平均值；對上述(1.2)步直方圖均衡化的人臉表情重要區域圖像F’進行灰度歸一化，利用公式(3)將直方圖均衡化的人臉表情重要區域圖像F’轉換為灰度歸一化的人臉表情重要區域圖像K，K(x,y)＝F'(x,y)/Fa'v*F(x,y)(3)，式(3)中，F′av是灰度歸一化的人臉表情重要區域圖像K的像素平均值；至此完成預處理，得到預處理后的人臉表情圖像J及人臉表情重要區域圖像K，以下簡稱為人臉表情圖像J及人臉表情重要區域圖像K；第二步，對人臉表情圖像和人臉表情重要區域圖像分別提取Gabor特征，并賦予不同權值，融合得到兩層人臉表情圖像的Gabor特征：將上述第一步得到的人臉表情重要區域圖像K作為第一層人臉表情圖像，將人臉表情圖像J作為第二層人臉表情圖像，分別提取Gabor特征，選用5尺度8方向的Gabor濾波器，所用的Gabor濾波器的表達形式如下：其中(x0,y0)為Gabor濾波后的坐標，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor濾波器的方向，ω0是中心頻率，σ為沿X軸和Y軸方向的標準偏差，σ＝π/ω0，其中，ω0分別為對于每一個ω0，θ相應取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人臉表情重要區域圖像K的Gabor特征矩陣記為Gb1，提取出的人臉表情圖像J的Gabor本文檔來自技高網...

【技術保護點】
基于多特征融合的人臉表情自動識別方法，其特征在于：是一種融合人臉表情圖像和人臉表情重要區域圖像的Gabor特征以及多尺度ACILBP特征直方圖的方法，具體步驟如下：第一步，人臉表情圖像及人臉表情重要區域圖像預處理：(1.1)人臉表情圖像幾何歸一化：通過USB接口輸入人臉的RGB圖像到計算機中，利用公式(1)將其轉換為灰度圖像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)?????(1)，其中R、G和B分別為紅色、綠色和藍色三個通道，(x,y)是圖像的像素點坐標，對得到的灰度圖像O采用DMF_Meanshift算法進行人臉關鍵點檢測，定位眼睛、鼻子和嘴巴的中心點，并根據面部特征點和幾何模型裁剪出人臉表情圖像I，將人臉表情圖像I幾何歸一化到M×M’個像素，并將該人臉的雙眼矩形區域歸一化為U×U’個像素，該人臉的鼻子歸一化為V×V’個像素，該人臉的嘴部歸一化為W×W’個像素，雙眼、鼻子和嘴這三部分構成該人臉表情重要區域圖像F，由此完成人臉表情圖像幾何歸一化；(1.2)人臉表情圖像直方圖的均衡化和人臉表情重要區域圖像直方圖的均衡化：計算上述(1.1)步人臉表情圖像I的直方圖，然后根據直方圖計算累計分布函數，對人臉表情圖像I的概率密度函數做映射變換，得到直方圖均衡化的人臉表情圖像I’，即完成對人臉表情圖像直方圖的均衡化；計算上述(1.1)步人臉表情重要區域圖像F的直方圖，然后根據直方圖計算累計分布函數，對人臉表情重要區域圖像F的概率密度函數做映射變換，得到直方圖均衡化的人臉表情重要區域圖像F’，即完成對人臉表情重要區域圖像直方圖的均衡化；(1.3)直方圖均衡化的人臉表情圖像的歸一化和直方圖均衡化的人臉表情重要區域圖像灰度的歸一化：對上述(1.2)步直方圖均衡化的人臉表情圖像I’進行灰度歸一化，利用公式(2)將直方圖均衡化的人臉表情圖像I’轉換為灰度歸一化的人臉表情圖像J，J(x,y)＝I'(x,y)/I'av*I(x,y)???????(2)，式(2)中，I’av是灰度歸一化的人臉表情圖像J的像素平均值；對上述(1.2)步直方圖均衡化的人臉表情重要區域圖像F’進行灰度歸一化，利用公式(3)將直方圖均衡化的人臉表情重要區域圖像F’轉換為灰度歸一化的人臉表情重要區域圖像K，K(x,y)＝F'(x,y)/F′av*F(x,y)?????????(3)，式(3)中，F′av是灰度歸一化的人臉表情重要區域圖像K的像素平均值；至此完成預處理，得到預處理后的人臉表情圖像J及人臉表情重要區域圖像K，以下簡稱為人臉表情圖像J及人臉表情重要區域圖像K；第二步，對人臉表情圖像和人臉表情重要區域圖像分別提取Gabor特征，并賦予不同權值，融合得到兩層人臉表情圖像的Gabor特征：將上述第一步得到的人臉表情重要區域圖像K作為第一層人臉表情圖像，將人臉表情圖像J作為第二層人臉表情圖像，分別提取Gabor特征，選用5尺度8方向的Gabor濾波器，所用的Gabor濾波器的表達形式如下：Gb(x0,y0,θ,ω0)=12πσ2exp[-(x02+y02)/(2σ2)]×[exp(jω0x0)-exp(-ω20σ2/2)]---(3),]]>其中(x0,y0)為Gabor濾波后的坐標，x0＝xcosθ+ysinθ,y0＝?xsinθ+ycosθ，θ是Gabor濾波器的方向，ω0是中心頻率，σ為沿X軸和Y軸方向的標準偏差，σ＝π/ω0，其中，ω0分別為對于每一個ω0，θ相應取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人臉表情重要區域圖像K的Gabor特征矩陣記為Gb1，提取出的人臉表情圖像J的Gabor特征矩陣記為Gb2，Gb1和Gb2分別乘以不同權重w1和w2得到總的Gabor特征矩陣記為Gt，w1和w2是經驗值，具體公式如下，Gt＝[w1?Gb1?w2?Gb2]?????????????????????(4)，由此融合人臉表情圖像的Gabor特征和人臉表情重要區域圖像的Gabor特征，得到兩層人臉表情圖像的Gabor特征；第三步，利用ACILBP算子提取多尺度ACILBP特征直方圖：對上述第一步得到的人臉表情圖像J利用ACILBP算子提取多尺度ACILBP特征直方圖，過程是：首先，對第一步得到的人臉表情圖像J細化為N個尺度，即在第i個尺度將人臉表情圖像劃分為Li×Li個子區域，i＝1,…,N，其次，在人臉表情圖像J的每一個尺度的每個子區域上統計ACILBP特征直方圖的分布序列，將每一尺度的每個子區域ACILBP特征直方圖串聯作為當前尺度的ACILB...

【技術特征摘要】
1.基于多特征融合的人臉表情自動識別方法，其特征在于：是一種融合人臉表情圖像和人臉表情重要區域圖像的Gabor特征以及多尺度ACILBP特征直方圖的方法，具體步驟如下：第一步，人臉表情圖像及人臉表情重要區域圖像預處理：(1.1)人臉表情圖像幾何歸一化：通過USB接口輸入人臉的RGB圖像到計算機中，利用公式(1)將其轉換為灰度圖像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(1)，其中R、G和B分別為紅色、綠色和藍色三個通道，(x,y)是圖像的像素點坐標，對得到的灰度圖像O采用DMF_Meanshift算法進行人臉關鍵點檢測，定位眼睛、鼻子和嘴巴的中心點，并根據面部特征點和幾何模型裁剪出人臉表情圖像I，將人臉表情圖像I幾何歸一化到M×M’個像素，并將該人臉的雙眼矩形區域歸一化為U×U’個像素，該人臉的鼻子歸一化為V×V’個像素，該人臉的嘴部歸一化為W×W’個像素，雙眼、鼻子和嘴這三部分構成該人臉表情重要區域圖像F，由此完成人臉表情圖像幾何歸一化；(1.2)人臉表情圖像直方圖的均衡化和人臉表情重要區域圖像直方圖的均衡化：計算上述(1.1)步人臉表情圖像I的直方圖，然后根據直方圖計算累計分布函數，對人臉表情圖像I的概率密度函數做映射變換，得到直方圖均衡化的人臉表情圖像I’，即完成對人臉表情圖像直方圖的均衡化；計算上述(1.1)步人臉表情重要區域圖像F的直方圖，然后根據直方圖計算累計分布函數，對人臉表情重要區域圖像F的概率密度函數做映射變換，得到直方圖均衡化的人臉表情重要區域圖像F’，即完成對人臉表情重要區域圖像直方圖的均衡化；(1.3)直方圖均衡化的人臉表情圖像的歸一化和直方圖均衡化的人臉表情重要區域圖像灰度的歸一化：對上述(1.2)步直方圖均衡化的人臉表情圖像I’進行灰度歸一化，利用公式(2)將直方圖均衡化的人臉表情圖像I’轉換為灰度歸一化的人臉表情圖像J，J(x,y)＝I'(x,y)/I'av*I(x,y)(2)，式(2)中，I’av是灰度歸一化的人臉表情圖像J的像素平均值；對上述(1.2)步直方圖均衡化的人臉表情重要區域圖像F’進行灰度歸一化，利用公式(3)將直方圖均衡化的人臉表情重要區域圖像F’轉換為灰度歸一化的人臉表情重要區域圖像K，K(x,y)＝F'(x,y)/F′av*F(x,y)(3)，式(3)中，F′av是灰度歸一化的人臉表情重要區域圖像K的像素平均值；至此完成預處理，得到預處理后的人臉表情圖像J及人臉表情重要區域圖像K，以下簡稱為人臉表情圖像J及人臉表情重要區域圖像K；第二步，對人臉表情圖像和人臉表情重要區域圖像分別提取Gabor特征，并賦予不同權值，融合得到兩層人臉表情圖像的Gabor特征：將上述第一步得到的人臉表情重要區域圖像K作為第一層人臉表情圖像，將人臉表情圖像J作為第二層人臉表情圖像，分別提取Gabor特征，選用5尺度8方向的Gabor濾波器，所用的Gabor濾波器的表達形式如下：Gb(x0,y0,θ,ω0)=12πσ2exp[-(x02+y02)/(2σ2)]×[exp(jω0x0)-exp(-ω20σ2/2)]---(3),]]>其中(x0,y0)為Gabor濾波后的坐標，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor濾波器的方向，ω0是中心頻率，σ為沿X軸和Y軸方向的標準偏差，σ＝π/ω0，其中，ω0分別為對于每一個ω0，θ相應取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人臉表情重要區域圖像K的Gabor特征矩陣記為Gb1，提取出的人臉表情圖像J的Gabor特征矩陣記為Gb2，Gb1和Gb2分別乘以不同權重w1和w2得到總的Gabor特征矩陣記為Gt，w1和w2是經驗值，具體公式如下，Gt＝[w1Gb1w2Gb2](4)，由此融合人臉表情圖像的Gabor特征和人臉表情重要區域圖像的Gabor特征，得到兩層人臉表情圖像的Gabor特征；第三步，利用ACILBP算子提取多尺度ACILBP特征直方圖：對上述第一步得到的人臉表情圖像J利用...

【專利技術屬性】
技術研發人員：劉教民，司浩強，師碩，劉依，于洋，閻剛，郭迎春，
申請(專利權)人：河北工業大學，
類型：發明
國別省市：天津;12