基于平行卷積神經網絡特征圖融合的人臉表情識別方法技術

本發明專利技術請求保護一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法。該方法模擬人雙眼視覺通道，設計一種平行結構的卷積神經網絡，在卷積池化層后對平行通道的特征圖進行融合；并在全連接層結構上，將其中一通道采用稀疏全連接輸出，另一通道采用稠密全連接輸出，最后二者輸出融合并分類；采用人臉表情數據進行模型訓練達到較高識別率后使用測試樣本檢測模型的識別效果，并獲得較高的識別準確率，為情感分析人臉表情識別提供了一個新的方法。

【技術實現步驟摘要】
基于平行卷積神經網絡特征圖融合的人臉表情識別方法
本專利技術屬于圖像識別領域，特別是運用平行卷積神經網絡進行人臉表情特征提取并識別的方法。
技術介紹
人臉表情包含豐富的情感真實信息，準確高效的識別人臉表情是圖像視覺領域的一個重要研究方向。人臉表情信息可運用于遠程教育、輔助醫療、刑偵測謊等多領域。人臉表情識別技術是通過特定的方法進行人臉表情特征提取后對特征信息進行分類識別的過程。目前人臉表情識別常用的特征提取可分為基于形狀模型和紋理模型方法。其中基于形狀模型的主要有主動外觀模型，其通過圖像之間的差異獲取特征，方法簡單便捷，缺點在于對具有光照，復雜背景以及角度干擾情形下的識別效果較差。基于紋理模型的典型方法有局部二值模型(LBP)和Gabor小波以及方向梯度直方圖(HOG)特征的提取，這類方法對圖像的某類特征進行提取，相比形狀模型可使特征目標明確化，但是由于人臉表情的微弱性導致不同表情之間的差異性低，提取的特征不足導致識別誤差較大。近年，深度學習方法對特征的自動提取能力被運用到人臉表情識別上。采用常規的CNN、DBN、RNN模型對具有較大差異表情有一定的識別的效果，但對微小表情特征的區分識別效果不理想。為使模型對微小差異表情特征有足夠的特征提取能力的同時方便模型訓練完成，從而具有較高的識別準確率，滿足實際的場景運用需求，本專利技術提出一種平行卷積神經網絡特征圖融合的人臉表情識別方法，以適用于復雜條件下的人臉表情識別。
技術實現思路
本專利技術旨在解決以上現有技術的問題。提出了一種提高對復雜場景下的人臉表情識別準確度的基于平行卷積神經網絡特征圖融合的人臉表情識別方法。本專利技術的技術方案如下：一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其包括以下步驟：將人臉表情圖像進行包括截取人臉面部區域和歸一化步驟在內的預處理操作；將處理后圖像輸入平行卷積神經網絡的不同通道進行卷積池化運算；對平行卷積神經網絡的最后一個池化層輸出的特征圖進行特征比例融合得到融合后特征圖；再將融合后特征圖展開成一維向量的全連接形式，然后做不同連接復雜度的全連接的特征信息組合；最后將組合信息用于分類識別。進一步的，所述對獲取的人臉表情圖像進行截取面部區域和歸一化預處理，具體包括：人臉面部獲取：獲取人臉面部區域，選擇256×256大小的圖像區域；歸一化：將獲取的人臉表情圖像進行歸一化使圖像數值在[0,1]范圍內。進一步的，所述將處理后圖像輸入平行卷積神經網絡不同通道進行卷積池化運算，具體步驟如下：第一卷積層采用5×5大小卷積核獲得4張特征圖，然后繼續使用5×5大小卷積核卷積得到8張大小為128×128的特征圖，之后連接大小為2×2，步長為2的池化核進行最大池化，獲得64×64大小特征圖并采用Swish作為激活函數，再將8張大小為64×64的特征圖進行批量歸一化處理。通道1和通道2均做相同處理。進一步的，所述1通道或2通道的卷積和池化運算過程為：1)使用兩個連續卷積層結構，其卷積核大小為5×5；2)采用大小2×2的池化核進行最大池化處理；3)批量歸一化處理,對最大池化層輸出數據求得整體的均值和方差然后采用式(1,2)調整數據結構分布；式中xi為輸入值，μB為批次的均值，σB是批次的方差，γ，β為可訓練參數。進一步的，所述通道1連接形式:Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling。Conv1_x表示1通道第x個卷積層，Max_pooling表示最大池化層；通道2連接形式:Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling。Conv2_x表示2通道第x個卷積層，Max_pooling表示最大池化層。進一步的，所述對網絡最后一個池化層輸出的特征圖進行特征比例融合的步驟為：將通道1和通道2的特征圖按照學習比例融合，各通道輸出乘以一權值向量后進行特征圖疊加。如下式：F＝aA+bB(3)式中，a,b分別為第一通道特征權重和第二通道特征權值，為可訓練變量；A,B分別為第一通道特征圖矩陣和第二通道特征圖矩陣；F為融合后特征信息矩陣。融合后特征圖F展開為大小為4096個元素的一維向量形式FC1。進一步的，所述將獲取的特征信息展開成一維向量的全連接形式，后做不同連接復雜度的全連接的特征信息組合，具體包括：將FC1一維向量分別連接到512單元神經元的FC1-1和FC1-2的全連接層上，其FC1-1采用保留比例0.3的Dropout稀疏形式連接，FC1-2采用保留比例為0.6的Dropout稠密連接形式。進一步的，將FC1-1和FC1-2分別連接7個神經元的輸出單元OUT1,OUT2，之后輸出OUT由OUT1和OUT2疊加。進一步的，將融合后輸出的OUT輸入到Softmax分類器進行分類置信度概率計算，其向量中最大值索引號為分類表情編號，將分類的編號對應表情類別字符數組，最后將表情識別顯示為中性、生氣、厭惡、恐懼、高興、悲傷、驚訝的表情類別。本專利技術的優點及有益效果如下：由于單通道的卷積神經網絡提取特征信息有限，尤其對人臉表情微小特征提取不足，本專利技術采用平行結構的卷積神經網絡可以提取更多有效的表情特征信息；將不同通道提取的特征進行比例融合，可以合理選擇對通道特征的使用程度；此外在全連接層采用不同復雜程度的連接處理，對明顯表情特征可經過稀疏網絡決策，對微小表情特征可使用稠密網絡決策，這樣增加模型的特征表達能力。同時在網絡中加入BatchNormalization策略處理數據分布便于網絡快速的訓練，防止網絡發生梯度消失或梯度爆炸以及降低過擬合的風險，使訓練好的網絡模型對不同姿態、光照以及角度干擾的表情圖像具有理想的識別效果。附圖說明圖1是本專利技術提供優選實施例為人臉表情識別系統結構圖。圖2為平行卷積神經網絡模型訓練流程圖；圖3所示為人臉表情識別系統流程圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、詳細地描述。所描述的實施例僅僅是本專利技術的一部分實施例。本專利技術解決上述技術問題的技術方案是：本實施例提供的一種平行卷積神經網絡的特征融合人臉表情識別方法，包括以下步驟：(1)獲取的人臉表情圖像進行截取人臉面部區域和數值歸一化預處理：截取面部區域：獲取人臉面部區域選擇256×256大小的圖像區域進行截取。歸一化：將獲取的圖像進行歸一化使圖像數值在[0,1]范圍內。將圖像數值矩陣除以255得到數值大小在[0,1]的圖像矩陣信息。(2)平行卷積神經網絡不同通道進行卷積池化運算。將處理后圖像輸入網絡模型中，其過程包括：第一卷積層采用5×5大小卷積核獲得4張特征圖，然后繼續使用5×5大小卷積核卷積得到8張大小為128×128的特征圖，之后連接大小為2×2，步長為2的池化核進行最大池化，獲得64×64大小特征圖并采用Swish作為激活函數。再將8張大小為64×64的特征圖進行批量歸一化處理。通道1和通道2均做相同處理。具體運算模型如下：1通道卷積和池化運算過程：1)使用兩個連續卷積層結構，其卷積核大小為5×5。2)采用大小2×2的池化核進行最大池化處理。3)批量歸一化處理,對最大池化層輸出數據求得本文檔來自技高網...

【技術保護點】
1.一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，包括以下步驟：將人臉表情圖像進行包括截取人臉面部區域和歸一化步驟在內的預處理操作；將處理后圖像輸入平行卷積神經網絡的不同通道進行卷積池化運算；對平行卷積神經網絡的最后一個池化層輸出的特征圖進行特征比例融合得到融合后特征圖；再將融合后特征圖展開成一維向量的全連接形式，然后做不同連接復雜度的全連接的特征信息組合；最后將組合信息用于分類識別。

【技術特征摘要】
1.一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，包括以下步驟：將人臉表情圖像進行包括截取人臉面部區域和歸一化步驟在內的預處理操作；將處理后圖像輸入平行卷積神經網絡的不同通道進行卷積池化運算；對平行卷積神經網絡的最后一個池化層輸出的特征圖進行特征比例融合得到融合后特征圖；再將融合后特征圖展開成一維向量的全連接形式，然后做不同連接復雜度的全連接的特征信息組合；最后將組合信息用于分類識別。2.根據權利要求1所述的基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，所述對獲取的人臉表情圖像進行截取人臉面部區域和歸一化預處理，具體包括：人臉面部區域獲取：獲取人臉面部區域，選擇256×256大小的圖像區域；歸一化：將獲取的人臉表情圖像進行歸一化使圖像數值在[0,1]范圍內。3.根據權利要求1所述的基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，所述將處理后圖像輸入平行卷積神經網絡不同通道進行卷積池化運算，具體步驟如下：第一卷積層采用5×5大小卷積核獲得4張特征圖，然后繼續使用5×5大小卷積核卷積得到8張大小為128×128的特征圖，之后連接大小為2×2，步長為2的池化核進行最大池化，獲得64×64大小特征圖并采用Swish作為激活函數，再將8張大小為64×64的特征圖進行批量歸一化處理。通道1和通道2均做相同處理。4.根據權利要求3所述的基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，所述1通道或2通道的卷積和池化運算過程為：1)使用兩個連續卷積層結構，其卷積核大小為5×5；2)采用大小2×2的池化核進行最大池化處理；3)批量歸一化處理,對最大池化層輸出數據求得整體的均值和方差然后采用式(1,2)調整數據結構分布；式中xi為輸入值，μB為批次的均值，σB是批次的方差，γ，β為可訓練參數。5.根據權利要求3所述的基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其特征在于，所述通道1連接形式:Conv1_3--Max_pooling--Conv1_4...

【專利技術屬性】
技術研發人員：蔡軍，昌泉，蔡芳，唐賢倫，陳曉雷，魏暢，伍亞明，林文星，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：重慶,50