【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及微表情識別技術(shù)，尤其涉及一種基于微弱強度感知增強的微表情識別方法及裝置。
技術(shù)介紹
1、微表情(micro-expression)是一種短暫且微弱的面部表情，其往往在人類處于高風(fēng)險情形下并試圖隱藏自身真實情感時不自發(fā)得表現(xiàn)出來。由于此揭露真實情感的特性，微表情識別(micro-expression?recognition)在刑偵謊言檢測、心理障礙評估等場景中有巨大應(yīng)用價值，實現(xiàn)準(zhǔn)確的自動化微表情識別有著重要意義。
2、然而，微表情與日常常見的宏表情(macro-expression)相比，運動強度要低得多，其意味著微表情中的關(guān)鍵情感運動過于微弱以至于現(xiàn)有大多方法很難從中學(xué)習(xí)到可靠判別特征，導(dǎo)致微表情識別任務(wù)十分艱巨。針對此問題，研究者們引入視頻運動放大技術(shù)來在樣本層面上顯示放大微表情中面部動作，使得其中判別特征更加明顯以降低識別難度，提升識別效果。沿著此思想，經(jīng)典物理放大方法，如歐拉運動放大emm(eulerian?motionmagnification)，全局拉格朗日運動放大glmm(global?lagrangian?motionmagnification)等，以及基于深度學(xué)習(xí)的運動放大lmm(learning-based?motionmagnification)等放大技術(shù)都被應(yīng)用于微表情識別任務(wù)中，并已被證實與原始微表情樣本相比，放大后樣本確實能在一定程度上被更容易識別。然而，顯示放大方法因其固有缺陷會引入額外噪聲，從而遏制有效性。其中，由于不同微表情樣本具體強度不可知且不一致，顯示放大中設(shè)置的固
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在的問題，本專利技術(shù)的目的是：提供一種準(zhǔn)確性更高的基于微弱強度感知增強的微表情識別方法及裝置。
2、為了實現(xiàn)上述專利技術(shù)目的，本專利技術(shù)提供了如下技術(shù)方案：
3、一種基于微弱強度感知增強的微表情識別方法，包括如下步驟：
4、(1)獲取微表情數(shù)據(jù)庫，所述微表情數(shù)據(jù)庫中包含有若干微表情視頻樣本和對應(yīng)的微表情類別標(biāo)簽；
5、(2)對每個微表情視頻樣本進行分段處理，并從每段中隨機抽取一幀組合為幀序列，并對幀序列進行預(yù)處理；
6、(3)構(gòu)建強度感知神經(jīng)網(wǎng)絡(luò)，所述強度感知神經(jīng)網(wǎng)絡(luò)包括特征提取模塊和微表情識別模塊，所述特征提取模塊用于提取幀序列中各幀的灰度圖與光流圖，并組合形成時空特征，所述微表情識別模塊用于根據(jù)時空特征進行微表情分類，得到各幀分布在各微表情類別上的判別置信分?jǐn)?shù)；
7、(4)構(gòu)建鏈?zhǔn)脚判驌p失函數(shù)，來約束強度感知神經(jīng)網(wǎng)絡(luò)對幀序列中各幀在正確微表情類別上的判別置信分?jǐn)?shù)在時間上的變化趨勢須符合微表情強度變化先驗知識；
8、(5)構(gòu)建交叉熵?fù)p失函數(shù)，所述交叉熵?fù)p失函數(shù)為視頻層級上的總預(yù)測置信分?jǐn)?shù)與標(biāo)簽之間的交叉熵?fù)p失，所述視頻層級上的總預(yù)測置信分?jǐn)?shù)，以幀序列中各幀在正確微表情類別上的判別置信分?jǐn)?shù)在總分?jǐn)?shù)的占比為權(quán)重，通過對各幀的判別置信分?jǐn)?shù)進行加權(quán)得到；
9、(6)構(gòu)建全局排序損失函數(shù)，來約束強度感知神經(jīng)網(wǎng)絡(luò)在視頻級別的全局判別置信度分布中正確類別上分?jǐn)?shù)須超過其余各錯誤類別上分?jǐn)?shù)，所述視頻級別的全局判別置信度為幀序列中各幀的判別置信分?jǐn)?shù)的平均融合值；
10、(7)將鏈?zhǔn)脚判驌p失函數(shù)、交叉熵?fù)p失函數(shù)和全局排序損失函數(shù)的加權(quán)和作為總損失函數(shù)，并通過梯度下降優(yōu)化此損失函數(shù)來訓(xùn)練所述強度感知神經(jīng)網(wǎng)絡(luò)；
11、(8)將待識別的微表情視頻按照步驟(1)和(2)進行處理后，輸入訓(xùn)練好的強度感知神經(jīng)網(wǎng)絡(luò)，識別出微表情類別。
12、進一步的，步驟(2)中所述預(yù)處理包括人臉檢測、各幀人臉區(qū)域?qū)R和各幀面部區(qū)域剪切。
13、進一步的，所述特征提取模塊具體包括：
14、灰度圖提取單元，用于對幀序列中各幀進行灰度化處理得到單通道的灰度圖；
15、光流圖提取單元，用于分別計算幀序列中各幀與起始幀之間的水平光流場與垂直光流場，并堆疊水平光流場與垂直光流場得到光流圖；
16、堆疊單元，用于堆疊上述灰度圖和光流圖，得到3通道的時空特征。
17、進一步的，所述微表情識別模塊具體為resnet18卷積網(wǎng)絡(luò)。
18、進一步的，步驟(4)具體包括：
19、(4-1)根據(jù)幀序列中各幀分布在各微表情類別上的判別置信分?jǐn)?shù)，以及當(dāng)前幀對應(yīng)的標(biāo)簽，計算得到各幀在正確情感類別上的預(yù)測置信分?jǐn)?shù)gi,j：
20、
21、式中，si,j表示對第i個微表情視頻樣本對應(yīng)幀序列的第j幀輸入強度感知神經(jīng)網(wǎng)絡(luò)，輸出的當(dāng)前幀在各微表情類別上的判別置信分?jǐn)?shù)，yi為第i個微表情視頻樣本的幀序列對應(yīng)的標(biāo)簽向量，且其第j個元素為：
22、
23、式中，為si,j對應(yīng)標(biāo)簽，ci為第i個微表情視頻樣本的正確情感類別；
24、(4-2)將幀序列中各幀在正確情感類別上的預(yù)測置信分?jǐn)?shù)gi,j組合成正確類別判別分?jǐn)?shù)序列g(shù)i＝[gi,1,gi,2,…,gi,k]，并選擇gi中數(shù)值最高的幀，作為幀序列的微表情強度峰值處pi＝argmax(gi)；
25、(4-3)構(gòu)建鏈?zhǔn)脚判驌p失函數(shù)如下所示：
26、
27、式中，為鏈?zhǔn)脚判驌p失，n為微表情視頻樣本總數(shù)，k為微表情視頻樣本對應(yīng)的幀序列中幀的總數(shù)，和分別為和中的第j個元素，δs為分離和的邊界值參數(shù)，和分別是從正確類別判別分?jǐn)?shù)序列g(shù)i中篩選組合出來的兩個子序列，和分別如下所示：
28、
29、
30、進一步的，步驟(5)具體包括：
31、(5-1)基于所述的正確類別判別分?jǐn)?shù)序列g(shù)i，計算出幀序列中各幀的權(quán)重αi,j：
32、
33、式中，β為調(diào)節(jié)因子；
34、(5-2)基于所述權(quán)重αi,j，對si,j進行加權(quán)操作，得到視頻層級上的總預(yù)測置信分?jǐn)?shù)
35、
36、(5-3)構(gòu)建交叉熵?fù)p失函數(shù)如下所示：
37、
38、式中，為交叉熵?fù)p失，nc為總類別數(shù)，為第i個微表情視頻樣本的幀序列的標(biāo)簽向量中，在微表情類別c上的標(biāo)簽值，為視頻層級上的總預(yù)測置信分?jǐn)?shù)在微表情類別c上的判別分?jǐn)?shù)。
39、進一步的，步驟(6)具體包括：
40、(6-1)對幀序列中各幀的判別置信分?jǐn)?shù)si,j平均融合，得到視頻級別的全局判別置信度分布
41、
42、式中，k為幀序列中幀的總數(shù)；
43、(6-2)構(gòu)建全局排序損失函數(shù)如下所示：
44、
45、式中，為全局排序損失，n為微表情視頻樣本總數(shù)，nc為總類別數(shù)，為在正確類別ci上的全局判別分?jǐn)?shù)，是在其余各錯誤類別上的全局判別本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于微弱強度感知增強的微表情識別方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(2)中所述預(yù)處理包括人臉檢測、各幀人臉區(qū)域?qū)R和各幀面部區(qū)域剪切。
3.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：所述特征提取模塊具體包括：
4.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：所述微表情識別模塊具體為Resnet18卷積網(wǎng)絡(luò)。
5.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(4)具體包括：
6.根據(jù)權(quán)利要求5所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(5)具體包括：
7.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(6)具體包括：
8.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(7)中所述總損失函數(shù)為如下所示：
9.一種基于微弱強度感知增強的微表情識別裝置，
10.一種計算機程序產(chǎn)品，包括計算機程序/指令，其特征在于，所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-8中任一項所述的方法。
...【技術(shù)特征摘要】
1.一種基于微弱強度感知增強的微表情識別方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(2)中所述預(yù)處理包括人臉檢測、各幀人臉區(qū)域?qū)R和各幀面部區(qū)域剪切。
3.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：所述特征提取模塊具體包括：
4.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：所述微表情識別模塊具體為resnet18卷積網(wǎng)絡(luò)。
5.根據(jù)權(quán)利要求1所述的基于微弱強度感知增強的微表情識別方法，其特征在于：步驟(4)具體包括：
6.根據(jù)權(quán)利要求5所述的基于微弱...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：宗源，王非凡，鄭文明，
申請(專利權(quán))人：東南大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。