監控視頻序列中人臉微表情圖像序列的識別方法技術

本發明專利技術監控視頻序列中人臉微表情圖像序列的識別方法，涉及應用電子設備進行識別圖形的方法，步驟是：監控視頻人臉微表情圖像序列歐拉放大；監控視頻人臉微表情圖像預處理；利用SMTCTP?WTOP算子提取人臉微表情圖像序列的動態時空紋理特征；使用SVM分類器進行訓練和預測，完成監控視頻序列中人臉微表情圖像序列的識別。本發明專利技術克服了現有技術中人臉微表情圖像的識別受到光照、遮擋物和噪聲的影響，導致識別率較低的缺陷。

【技術實現步驟摘要】

本專利技術的技術方案涉及應用電子設備進行識別圖形的方法，具體地說是監控視頻序列中人臉微表情圖像序列的識別方法。
技術介紹
人臉微表情不同于普通表情，是一種持續時間很短并且非常快速的表情，持續約1/25秒至1/5秒，是人類試圖壓抑或者隱藏真實情感時泄露的不能自主控制，不易被察覺的面部表情。通過分析人臉微表情，可以發現人試圖隱藏的真實情感，在臨床、司法、國家安全和審訊等中都有很多潛在的應用價值。在日常生活中，了解人臉微表情，也是識別謊言的有效的途徑之一。1966年,Haggard和Isaaes首先發現了一種快速且不易被察覺的面部表情(micromomentaryfacialexpressions),認為其與自我防御機制有關，且表達了被壓抑的情緒。1969年,Ekman和Friesen也在抑郁癥患者的訪談錄像中發現了這種面部表情,并將其命名為人臉微表情。Ekman等將跨越不同民族和文化群體的面部表情分成6個主要類別:快樂、悲傷、驚訝、恐懼、憤怒和厭惡。人臉微表情的識別分為兩個階段，一是人工識別人臉微表情階段，二是人臉微表情自動識別階段。在人臉微表情早期研究中，即人工識別人臉微表情階段，研究者的主要任務是編制各種人臉微表情訓練工具以達到訓練或者提高人臉微表情的識別能力。自Ekman于2002年首先研制出人臉微表情自動識別能力的工具即METT(人臉微表情訓練工具)后,人臉微表情自動識別的應用研究在近年來不斷涌現，并引起社會媒體和科學界的廣泛關注。一些早期的人臉微表情自動識別的應用研究主要集中在一些合成的面部人臉微表情，后來的研究發現，相比于合成的人臉微表情，自發的人臉微表情可以揭示人們內心的真實情感，但更具挑戰性，因而更加引起研究人員的關注。目前，自發的人臉微表情識別率很低。美國的Ekman團隊、Matsumoto團隊和Shreve團隊，日本的Polikovsky團隊,芬蘭的趙國英團隊,中國的傅小蘭團隊等在開展人臉微表情研究。在目前的研究進展中，芬蘭奧盧大學的趙國英團隊用時間差值模型和LBP-TOP(LocalBinaryPatternfromThreeOrthogonalPlanes)算法對于人臉微表情識別是最簡單有效的，是公認的人臉微表情識別方法。由于LBP-TOP對噪聲、光照等魯棒性較差，故Nanni等提出了LTP-TOP(基于三維正交平面的局部三值模式)算法，該算法把LBP算子的二值模式擴展為三值模式LTP算子，但該方法對有遮擋物的人臉微表情難以識別。馬來西亞的Wang等人使用六個交叉點的局部二值模式(LBP-SIP，LocalBinaryPatternwithSixIntersectionPoints)，減少了LBP-TOP的冗余信息，識別率提高為65.99％，但其提取的特征數較少，丟失了較多人臉微表情紋理特征信息。芬蘭學者Huang等人在LBP-TOP基礎上提出STCLQP(SpatioTemporalCompletedLocalQuantizationPatterns)算法，利用3個組件，即符號、大小和方向，形成一個高效的矢量量化和編碼來識別人臉微表情，在CASME數據庫上識別率達到為68.93％，但識別率并沒有達到理想的結果。中國專利CN103440509A提出了一種基于張量空間采用張量表達的判別分析方法，最小化同一種人臉微表情的類內距離，最大化不同類人臉微表情的類間距離，實現對數據降維，并且將特征數據按照類判別能力降低的順序進行向量化排序，但該方法計算復雜，易受到噪聲的影響，并且識別率也不高。CN103617436A提出了一種基于差分切片能量圖和Gabor變換的人臉微表情識別方法，該方法主要是將差分切片能量圖進行Gabor變換的特征提取，提取后的特征再下采樣，再使用線性判別分析作進一步特征提取，但該方法時間復雜度高，且Gabor表征全局的能力較弱，而識別性能低于人們的期望。
技術實現思路
本專利技術所要解決的技術問題是：提供監控視頻序列中人臉微表情圖像序列的識別方法，是一種利用SMTCTP-WTOP算子提取監控視頻微表情序列的動態時空紋理特征的人臉微表情的識別方法，本專利技術克服了現有技術中人臉微表情圖像的識別受到光照、遮擋物和噪聲的影響，導致識別率較低的缺陷。上述SMTCTP-WTOP是SymmetryMagnitudeTwiceCenteredTernaryPatternsWeightedThreeOrthogonalPlanes的縮寫。本專利技術解決該技術問題所采用的技術方案是：監控視頻序列中人臉微表情圖像序列的識別方法，是一種利用SMTCTP-WTOP算子提取監控視頻微表情序列的動態時空紋理特征的人臉微表情的識別方法，具體步驟如下：第一步，監控視頻人臉微表情圖像序列歐拉放大：利用計算機USB口輸入監控視頻中包含人臉微表情的圖像序列為L幀，采用歐拉影像放大算法對人臉圖像序列進行放大；第二步，監控視頻人臉微表情圖像序列預處理：利用中值濾波算法對上述第一步中得到的放大的監控視頻人臉微表情圖像序列去噪，然后用Adaboost算法檢測該去噪后的圖像序列中的人臉，并進行裁剪，采用雙線性插值算法實現圖像的尺寸歸一化，完成監控視頻人臉微表情圖像預處理，得到預處理后的監控視頻人臉微表情圖像的大小為N×N個像素；第三步，利用SMTCTP-WTOP算子提取人臉微表情圖像序列的動態時空紋理特征：(3.1)計算XY、XT、YT平面上每個像素點的CTP和SMTP特征：對上述第二步預處理后得到人臉微表情圖像序列，分別在XY、XT、YT平面上遍歷人臉微表情圖像序列中的每一個像素點gc，在以gc為中心，R為半徑的環形近鄰點上提取gc的CTP特征和SMTP特征，其中像素點gc的CTP特征由公式(1)提取，這里，s(x)為三值函數，公式如下：上述式(1)中，gc是中心像素點的灰度值，R是以gc為中心的環的半徑，n是分布在環上的像素點個數即近鄰像素點個數，gi，i＝0,1,…,n-1，是近鄰像素點的灰度值，t是閾值；像素點gc的SMTP特征定義如下：這里k(x)是二值函數，公式如下：上述式(3)中，上述式(4)中取t＝M；由此計算出XY、XT、YT平面上每個像素點的CTP和SMTP特征；(3.2)提取SMTCTP-TOP特征統計直方圖：對于第二步得到的圖像的尺寸歸一化的人臉微表情圖像序列，大小為N×N×L,需要分別在XY、XT、YT平面上統計上述式(3)和式(4)得到的每個像素點的CTP特征和SMTP特征，并采用下式(5)分別計算三個平面的CTP和SMTP統計直方圖，每個平面的CTP統計直方圖定義如下：上述式(5)中，j的值為0、1、2，分別表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素點gc(x,y,t)在第j個平面CTP特征值，(x,y,t)為gc的坐標，nj為CTP特征在第j個平面產生的最大的十進制數，二值函數I(x)如下所示：同理，每個平面j＝0、1、2的SMTP特征統計直方圖定義如式(7)：XY、XT、YT三個平面的SMTCTP特征統計直方圖是由兩個CTP特征統計直方圖和一個SMTP特征統計直方圖組成，即：Hj＝[HCTP,jHCTP,jHSMTP,j]j＝0,1,本文檔來自技高網...

【技術保護點】
監控視頻序列中人臉微表情圖像序列的識別方法，其特征在于：是一種利用SMTCTP?WTOP算子提取監控視頻微表情序列的動態時空紋理特征的人臉微表情的識別方法，具體步驟如下：第一步，監控視頻人臉微表情圖像序列歐拉放大：利用計算機USB口輸入監控視頻中包含人臉微表情的圖像序列為L幀，采用歐拉影像放大算法對人臉圖像序列進行放大；第二步，監控視頻人臉微表情圖像序列預處理：利用中值濾波算法對上述第一步中得到的放大的監控視頻人臉微表情圖像序列去噪，然后用Adaboost算法檢測該去噪后的圖像序列中的人臉，并進行裁剪，采用雙線性插值算法實現圖像的尺寸歸一化，完成監控視頻人臉微表情圖像預處理，得到預處理后的監控視頻人臉微表情圖像的大小為N×N個像素；第三步，利用SMTCTP?WTOP算子提取人臉微表情圖像序列的動態時空紋理特征：(3.1)計算XY、XT、YT平面上每個像素點的CTP和SMTP特征：對上述第二步預處理后得到人臉微表情圖像序列，分別在XY、XT、YT平面上遍歷人臉微表情圖像序列中的每一個像素點gc，在以gc為中心，R為半徑的環形近鄰點上提取gc的CTP特征和SMTP特征，其中像素點gc的CTP特征由公式(1)提取，CTP(n,R,gc)=Σi=0n/2-1s(gi-gi+n/2)3i+s(gc-1n+1(Σi=0n-1gi+gc))3n/2---(1),]]>這里，s(x)為三值函數，公式如下：s(x)=2,x>t1,|x|≤t0,x<-t---(2),]]>上述式(1)中，gc是中心像素點的灰度值，R是以gc為中心的環的半徑，n是分布在環上的像素點個數即近鄰像素點個數，gi，i＝0,1,…,n?1，是近鄰像素點的灰度值，t是閾值；像素點gc的SMTP特征定義如下：SMTP(n,R,gc)=Σi=0n-1k(|gi-gi+n/2|)3n/2+i+k(|gc-M|)3n---(3),]]>這里k(x)是二值函數，公式如下：上述式(3)中，上述式(4)中取t＝M；由此計算出XY、XT、YT平面上每個像素點的CTP和SMTP特征；(3.2)提取SMTCTP?TOP特征統計直方圖：對于第二步得到的圖像的尺寸歸一化的人臉微表情圖像序列，大小為N×N×L,需要分別在XY、XT、YT平面上統計上述式(3)和式(4)得到的每個像素點的CTP特征和SMTP特征，并采用下式(5)分別計算三個平面的CTP和SMTP統計直方圖，每個平面的CTP統計直方圖定義如下：HCTP,j=[Σx,y,tI(CTPj(n,R,gc(x,y,t))=i),i=0,...,nj]---(5),]]>上述式(5)中，j的值為0、1、2，分別表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素點gc(x,y,t)在第j個平面CTP特征值，(x,y,t)為gc的坐標，nj為CTP特征在第j個平面產生的最大的十進制數，二值函數I(x)如下所示：同理，每個平面j＝0、1、2的SMTP特征統計直方圖定義如式(7)：HSMTP,j=[Σx,y,tI(SMTPj(n,R,gc(x,y,t))=i),i=0,...,nj,]---(7),]]>XY、XT、YT三個平面的SMTCTP特征統計直方圖是由兩個CTP特征統計直方圖和一個SMTP特征統計直方圖組成，即：Hj＝[HCTP,j?HCTP,j?HSMTP,j]?j＝0,1,2?????(8),將每個平面得到的統計直方圖標準化如下：H‾j=Hj/Σj=02Hj---(9),]]>式(9)中，把XY、XT、YT三個平面的統計直方圖總和加起來作為分母，分子為各個平面的統計直方圖，最后得出標準化后的統計直方圖，再進行統計直方圖的串聯，得到SMTCTP?TOP特征統計直方圖H，如公式(10)所示，H=[H0‾H1‾H2‾]---(10),]]>由此提取出SMTCTP?TOP特征統計直方圖；(3.3)確定XY、XT和YT平面直方圖的權值，得到SMTCTP?WTOP特征統計直方圖：對XY、XT和YT每個平面賦予不同平面統計直方圖的權值，且三個平面統計直方圖的權重之和為1，從而構成SMTCTP?WTOP算子，具體方法如下：設XY平面所占權重為a，XT所占權重為b，則YT平面權重為(1?a?b)，權重向量W為：W＝(a?b?1?a?b)????(11)，則構成加權的SMTCTP?TOP即SMTCTP?WTOP算子如下：SMTCTP?WTOP＝W·HT＝[aH0?bH1?(1?a?b)H2]???(12)，...

【技術特征摘要】
1.監控視頻序列中人臉微表情圖像序列的識別方法，其特征在于：是一種利用SMTCTP-WTOP算子提取監控視頻微表情序列的動態時空紋理特征的人臉微表情的識別方法，具體步驟如下：第一步，監控視頻人臉微表情圖像序列歐拉放大：利用計算機USB口輸入監控視頻中包含人臉微表情的圖像序列為L幀，采用歐拉影像放大算法對人臉圖像序列進行放大；第二步，監控視頻人臉微表情圖像序列預處理：利用中值濾波算法對上述第一步中得到的放大的監控視頻人臉微表情圖像序列去噪，然后用Adaboost算法檢測該去噪后的圖像序列中的人臉，并進行裁剪，采用雙線性插值算法實現圖像的尺寸歸一化，完成監控視頻人臉微表情圖像預處理，得到預處理后的監控視頻人臉微表情圖像的大小為N×N個像素；第三步，利用SMTCTP-WTOP算子提取人臉微表情圖像序列的動態時空紋理特征：(3.1)計算XY、XT、YT平面上每個像素點的CTP和SMTP特征：對上述第二步預處理后得到人臉微表情圖像序列，分別在XY、XT、YT平面上遍歷人臉微表情圖像序列中的每一個像素點gc，在以gc為中心，R為半徑的環形近鄰點上提取gc的CTP特征和SMTP特征，其中像素點gc的CTP特征由公式(1)提取，CTP(n,R,gc)=Σi=0n/2-1s(gi-gi+n/2)3i+s(gc-1n+1(Σi=0n-1gi+gc))3n/2---(1),]]>這里，s(x)為三值函數，公式如下：s(x)=2,x>t1,|x|≤t0,x<-t---(2),]]>上述式(1)中，gc是中心像素點的灰度值，R是以gc為中心的環的半徑，n是分布在環上的像素點個數即近鄰像素點個數，gi，i＝0,1,…,n-1，是近鄰像素點的灰度值，t是閾值；像素點gc的SMTP特征定義如下：SMTP(n,R,gc)=Σi=0n-1k(|gi-gi+n/2|)3n/2+i+k(|gc-M|)3n---(3),]]>這里k(x)是二值函數，公式如下：上述式(3)中，上述式(4)中取t＝M；由此計算出XY、XT、YT平面上每個像素點的CTP和SMTP特征；(3.2)提取SMTCTP-TOP特征統計直方圖：對于第二步得到的圖像的尺寸歸一化的人臉微表情圖像序列，大小為N×N×L,需要分別在XY、XT、YT平面上統計上述式(3)和式(4)得到的每個像素點的CTP特征和SMTP特征，并采用下式(5)分別計算三個平面的CTP和SMTP統計直方圖，每個平面的CTP統計直方圖定義如下：HCTP,j=[Σx,y,tI(CTPj(n,R,gc(x,y,t))=i),i=0,...,nj]---(5),]]>上述式(5)中，j的值為0、1、2，分別表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素點gc(x,y,t)在第j個平面CTP特征值，(x,y,t)為gc的坐標，nj為CTP特征在第j個平面產生的最大的十進制數，二值函數I(x)如下所示：同理，每個平面j＝0、1、2的SMTP特征統計直方圖定義如式(7)：HSMTP,j=[Σx,y,tI(SMTPj(n,R,gc(x,y,t))=i),i=0,...,nj,&...

【專利技術屬性】
技術研發人員：于明，張津，于洋，劉依，張婷婷，郭迎春，
申請(專利權)人：河北工業大學，
類型：發明
國別省市：天津;12