一種基于區域圖像的人臉表情識別方法技術

本發明專利技術屬于數字圖像處理技術領域，特別涉及一種基于區域圖像的人臉表情識別方法。本發明專利技術通過改進LDP的原始編碼模式，首先利用最大兩位和最小兩位響應值做差，與一個參考門限值作對比，將差值作為編碼值進行編碼；其次利用最大響應值所在方向來確定一個目標像素，利用周圍像素的明暗信息所代表的方向性進行編碼以排除部分偶然重合的情況；最后，所得的編碼為最大響應值所在方向的三位編碼和兩組差值的四位編碼。本發明專利技術改進了LDP的方法，相較于常用的LDP和PCA方法，提高了精確度；利用區域分割之后進行直方圖均衡化的方法，并在PLDP中加入門限，提高了對噪聲的干擾能力。

【技術實現步驟摘要】

本專利技術屬于數字圖像處理
，特別涉及人工智能、機器學習、計算機視覺等相關理論知識。
技術介紹
表情是人類用來表達情緒的一種基本方式，是非語言交流中的一種有效手段。人們可通過表情準確而微妙地表達自己的思想感情，也可通過表情辨認對方的態度和內心世界。人臉表情識別所要研究的就是如何自動、可靠、高效地利用人臉表情所傳達的信息。人臉表情可以分為6種基本情感類別：驚奇、恐懼、厭惡、憤怒、高興、悲傷，和一種最為普遍的表情類別：中性。其中中性是人臉表情進行轉換的中間過程和所有人一般狀態下所表現出來的最為普遍的表情類別。一個人臉表情識別系統(FER)一般包括3個環節,即人臉檢測、特征提取、表情分類。其中人臉檢測目前已經成為了一個單獨的研究方向，現有的研究已經在該方面上研究出了一些成果。表情特征提取是FER系統中最重要的部分，有效的表情特征提取工作將使識別的性能大大提高。在近年來，人機交互(Human to Computer Interface，HCI)技術日益成為人工智能領域中研究的熱點，人與計算機之間感情交流問題開始受到廣泛的關注。如果計算機和機器人能夠像人類那樣具有理解和表達情感的能力，來幫助人完成各項任務，那將使計算機能夠更好地為人類服務。目前的各種面部表情識別算法中，常在單一數據庫中進行驗證，并不具有普遍性和說服力。由于不同人種和各國文化背景的差異，不同民族不同國家的人其面部表情的表現形式并不相同。目前常用的人臉面部表情識別算法有：(1)基于人臉動作編碼系統FACS和運動單元AU的算法。J.Hamm,C.G.Kohler,R.C.Gur,and R.Verma,“Automated facial action coding system for dynamic analysis of facialexpressions in neuropsychiatric disorders,”Journal of Neuroscience Methods,vol.200,no.2,pp.237-256,2011.(2)基于主成分分析PCA的算法。Yong C Y,Sudirman R,Chew K M.Facial ExpressionMonitoring System UsingPCA-Bayes Classifier[C].Future Computer Sciences and Application(ICFCSA),2011International Conference on.IEEE,2011:187-191.(3)基于LDP的算法。T.Jabid,M.H.Kabir,and O.Chae,“Robust facial expressionrecognition based on local directional pattern,”ETRI Journal,vol.32,no.5,pp.784-794,2010.上述人臉面部表情提取方法都在一定程度上存在問題。方法1需要準確的五官定位及面部追蹤才可以獲得較好的效果，且對于噪聲光照敏感，易受到干擾。方法2雖然擁有較小的計算量和特征維度，但是會忽略局部特征，局部特征在識別過程中也是非常重要的部分，因此對于識別精度有一定的影響。方法3雖然較方法1,2有所改進，但是隨著所取最大值個數的提升，其編碼組合數目會大幅增加，用于區域圖像分塊處理之后，其整幅圖像的特征維度會急劇增加；且LDP也僅是用周圍像素與中心像素進行比較，直接取周圍像素的最大運算值進行編碼，非理想條件下，對噪聲也不具有一定的抗力。LDP編碼由如下公式計算而得：LDPk=Σi=07bi(mi-mk)*2i]]>bi(x)=1,x≥00,x<0]]>其中mi，i＝0，……，7表示經過Kirsch算子運算后的八方向的響應值的絕對值，k表示取最大值的個數，mk表示mi最大的第k個值。隨著K的增大其特征維度會急劇增大，且抗干擾的能力不高。該方法還可能會出現完全不同像素成為了同一種編碼的情況。
技術實現思路
針對上述存在問題或不足，本專利技術提供了一種基于區域圖像的人臉表情識別方法，能夠有效的提取有用信息并減少計算量，提高抗干擾能力。該基于區域圖像的人臉表情識別方法，流程示意如圖1所示，包含下述步驟：步驟1、人臉檢測及圖像預處理步驟1.1人臉檢測對待檢測圖像進行人臉檢測與定位，采用Adaboost方法。利用含有人臉和不含有人臉的圖像對分類器進行訓練，其中含有人臉的圖像為正樣本，不含有人臉的圖像為負樣本。步驟1.2圖像預處理通過步驟1.1得到人臉圖像后，進行尺度歸一化，擴大或縮小到256*256的尺寸大小，若是彩色圖像則需要先進行圖像二值化獲得灰度圖像；得到統一大小的灰度圖像之后，進行區
域分割，分為3*3的等大小圖像區域，得到每一塊區域圖像，并計算每一個小區域的直方圖，按順序進行首尾相連，之后進行直方圖均衡，得到最終的待檢測圖像，直方圖均衡的計算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是圖像中灰度值總數，rk為原始直方圖分布中的第k種灰度值，nj是灰度為rk的像素數目，n為總像素個數，Pr(rk)為rk的概率密度函數，Sk是rk經過變化后的灰度值。步驟2、表情特征提取對圖像進行PLDP編碼，其計算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<D<301,D≤-302,D≥30]]>其中，Max表示經過Kirsch算子運算后得到的八個方向的響應值中，最大的響應值所在位置的二進制編碼即從000到111，D表示兩組響應值的差值，C1表示最大兩位響應值差值對照門限的編碼，C2表示最小兩位響應值做差值對照門限的編碼。用Max作為高位，C1C2順次連接做低位組成七位的編碼值，最后取編碼的十進制值作為中心像素最終的結果值。其編碼的示意圖如圖2所示。步驟3表情分類首先，將步驟2中獲得的特征信息隨機分為10份，其中9份作為訓練圖像，1份作為檢測圖像。然后將9份訓練圖像輸入SVM進行訓練，得到一個SVM分類器，之后采用十折交叉驗證法，對樣本進行其他9次訓練，將所獲得的10個SVM分類器級聯成為一個強分類器；最后用已經訓練好的SVM支持向量機對特征進行分類。即用強分類器對其他所有人臉表情圖像進行識別分類。所述步驟1.1中分類器進行訓練具體為：首先求取訓練樣本的四種Harr-Like特征，形成特征集；然后訓練弱分類器，訓練弱分類器的目的是為了確定閾值，使得對所有訓練樣本的分類誤差最低；最后級聯弱分類器形成強分類器。本專利技術通過改進LDP的原始編碼模式，首先，不直接使用所計算出來的響應值進行編碼，而是利用最大兩位和最小兩位響應值做差，與一個參考門限值作對比，將差值作為編碼值進行編碼，排除了部分噪聲對于系統性能的影響，提高了提取方法的抗干擾能力；其次因為對
于中心像素而言，其八方向的響應值并不具有同等的地位，從而才會產生各個方向不同的響應值，最大響應值具有最大的能量，因此可以利用最大響應值所在方本文檔來自技高網...

【技術保護點】
一種基于區域圖像的人臉表情識別方法，包含下述步驟：步驟1、人臉檢測及圖像預處理步驟1.1人臉檢測對待檢測圖像進行人臉檢測與定位，采用Adaboost方法；利用含有人臉和不含有人臉的圖像對分類器進行訓練，其中含有人臉的圖像為正樣本，不含有人臉的圖像為負樣本；步驟1.2圖像預處理通過步驟1.1得到人臉圖像后，進行尺度歸一化，擴大或縮小到256*256的尺寸大小，若是彩色圖像則需要先進行圖像二值化獲得灰度圖像；得到統一大小的灰度圖像之后，進行區域分割，分為3*3的等大小圖像區域，得到每一塊區域圖像，并計算每一個小區域的直方圖，按順序進行首尾相連，之后進行直方圖均衡，得到最終的待檢測圖像，直方圖均衡的計算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是圖像中灰度值總數，rk為原始直方圖分布中的第k種灰度值，nj是灰度為rk的像素數目，n為總像素個數，Pr(rk)為rk的概率密度函數，Sk是rk經過變化后的灰度值。步驟2、表情特征提取對圖像進行PLDP編碼，其計算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<D<301,D≤-302,D≥30]]>其中，Max表示經過Kirsch算子運算后得到的八個方向的響應值中，最大的響應值所在位置的二進制編碼即從000到111，D表示兩組響應值的差值，C1表示最大兩位響應值差值對照門限的編碼，C2表示最小兩位響應值做差值對照門限的編碼；用Max作為高位，C1C2順次連接做低位組成七位的編碼值，最后取編碼的十進制值作為中心像素最終的結果值；步驟3表情分類首先，將步驟2中獲得的特征信息隨機分為10份，其中9份作為訓練圖像，1份作為檢測圖像；然后將9份訓練圖像輸入SVM進行訓練，得到一個SVM分類器，之后采用十折交叉驗證法，對樣本進行其他9次訓練，將所獲得的10個SVM分類器級聯成為一個強分類器；最后用已經訓練好的SVM支持向量機對特征進行分類，即用強分類器對其他所有人臉表情圖像進行識別分類。...

【技術特征摘要】
1.一種基于區域圖像的人臉表情識別方法，包含下述步驟：步驟1、人臉檢測及圖像預處理步驟1.1人臉檢測對待檢測圖像進行人臉檢測與定位，采用Adaboost方法；利用含有人臉和不含有人臉的圖像對分類器進行訓練，其中含有人臉的圖像為正樣本，不含有人臉的圖像為負樣本；步驟1.2圖像預處理通過步驟1.1得到人臉圖像后，進行尺度歸一化，擴大或縮小到256*256的尺寸大小，若是彩色圖像則需要先進行圖像二值化獲得灰度圖像；得到統一大小的灰度圖像之后，進行區域分割，分為3*3的等大小圖像區域，得到每一塊區域圖像，并計算每一個小區域的直方圖，按順序進行首尾相連，之后進行直方圖均衡，得到最終的待檢測圖像，直方圖均衡的計算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是圖像中灰度值總數，rk為原始直方圖分布中的第k種灰度值，nj是灰度為rk的像素數目，n為總像素個數，Pr(rk)為rk的概率密度函數，Sk是rk經過變化后的灰度值。步驟2、表情特征提取對圖像進行PLDP編碼，其計算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<...

【專利技術屬性】
技術研發人員：解梅，張銳，朱倩，周揚，
申請(專利權)人：電子科技大學，
類型：發明
國別省市：四川;51