【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于面部識別，具體涉及一種基于特征分離的雙分支損失對抗表情識別方法及系統(tǒng)，適用于夜間疲勞駕駛，安防監(jiān)控領(lǐng)域。
技術(shù)介紹
1、雙分支損失對抗表情識別是通過構(gòu)建兩個并行的網(wǎng)絡(luò)分支，一個用于提取表情特征，另一個用于提取干擾特征；表情分支的目標(biāo)是學(xué)習(xí)和識別與表情相關(guān)的關(guān)鍵特征，而干擾分支則旨在識別和分離與表情無關(guān)但可能影響識別結(jié)果的干擾因素，如頭部姿態(tài)、光照條件等，用于從人臉圖像中識別和分類不同的表情。這種方法結(jié)合了深度學(xué)習(xí)和對抗性訓(xùn)練，通過兩個并行的分支網(wǎng)絡(luò)來同時(shí)提取表情特征和對抗性干擾特征。
2、人臉表情識別(facial?expression?recognition，fer)作為日人臉識別技術(shù)中的一個重要組成部分，有著十分重要的現(xiàn)實(shí)意義，近年來在人機(jī)交互、安全、機(jī)器人制造、自動化、醫(yī)療、通信和駕駛領(lǐng)域得到了廣泛的關(guān)注，成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)。表情識別目的在于通過分析不同人的多種表情，探索不同表情之間的聯(lián)系，濾除因干擾因素存在而出現(xiàn)的偽特征信息，并且找到同一種表情的共性信息。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于特征分離的雙分支損失對抗表情識別方法及系統(tǒng)，使兩個糾纏的分支提取到的圖像特征具有可分離性，從而直接在表情分支進(jìn)行表情識別，用于解決現(xiàn)有數(shù)據(jù)中因存在其他表情不相關(guān)的信息對表情識別任務(wù)造成干擾的技術(shù)問題。
2、本專利技術(shù)采用以下技術(shù)方案：
3、一種基于特征分離的雙分支損失對抗表情
4、s1、獲取訓(xùn)練圖像數(shù)據(jù)集i并對訓(xùn)練圖像數(shù)據(jù)集執(zhí)行預(yù)處理和數(shù)據(jù)增強(qiáng)；
5、s2、搭建包括特征提取器b、權(quán)重分配模塊、表情分類模塊和干擾因素分類模塊的深度學(xué)習(xí)網(wǎng)絡(luò)模型，用特征提取器b從步驟s1得到的訓(xùn)練圖像數(shù)據(jù)集i中提取初始特征對初始特征進(jìn)行權(quán)重分配得到表情特征xe，將表情特征xe與初始特征做差后得到非表情特征xd；
6、s3、用混淆損失和域?qū)箵p失構(gòu)成對抗損失，引導(dǎo)非表情特征分支提取非表情特征；
7、s4、構(gòu)造非表情特征xd和表情特征xe之間的特征分離損失；
8、s5、對步驟s3得到的對抗損失和步驟s4得到的特征分離損失進(jìn)行加權(quán)求和，利用得到的表情識別總損失對步驟s2得到的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將測試集圖像輸入特征提取器b后經(jīng)過特征分離，最后輸入到表情分類器中得到分類結(jié)果。
9、優(yōu)選地，步驟s1中，訓(xùn)練圖像數(shù)據(jù)集i為：
10、
11、其中，表示第i個表情圖像，表示的標(biāo)簽，n表示圖像的數(shù)量。
12、優(yōu)選地，步驟s2中，使用iresnet50作為主干網(wǎng)絡(luò)編碼器b從輸入表情圖像ie來提取混合初始特征，即x＝b(ie)，定義特征殘差模塊為：
13、x*(1-δ(x))＝x–x*δ(x)
14、其中，*表示逐元素乘法，δ表示權(quán)重分配模塊，x*δ(x)表示表情特征xe，x*(1-δ(x))表示身份特征xd。
15、優(yōu)選地，步驟s2中，通過表情識別任務(wù)監(jiān)督的權(quán)重分配模塊分離特征圖中與表情相關(guān)的信息，并通過對抗損失監(jiān)督被視為身份相關(guān)信息的分支特征，權(quán)重分配模塊包括通道注意力模塊和空間注意力模塊。
16、優(yōu)選地，步驟s3中，對抗損失為：
17、
18、其中，為混淆損失，為域自適應(yīng)對抗損失。
19、更優(yōu)選地，優(yōu)化表情識別的損失函數(shù)混淆損失和域自適應(yīng)對抗損失分別為：
20、
21、
22、其中，nex為本批次中表情的數(shù)量，lce代表分類器輸出預(yù)測分布的交叉熵?fù)p失，c(xd)為分類器c的輸出，w為網(wǎng)絡(luò)權(quán)重，ye為表情標(biāo)簽，grl(b(xd))代表對分類器b輸出的身份特征進(jìn)行梯度反轉(zhuǎn)操作。
23、優(yōu)選地，步驟s4中，特征分離損失為：
24、
25、其中，||||表示向量的l2范數(shù)，xe和xd為特征向量，n為樣本數(shù)量。
26、優(yōu)選地，步驟s5中，表情識別總損失為：
27、
28、其中，λ1，λ2代表平衡參數(shù)，為表情識別的損失函數(shù)，為對抗損失，為特征分離損失。
29、更優(yōu)選地，表情識別的損失函數(shù)為：
30、
31、其中，lce代表交叉熵?fù)p失，a為表情識別網(wǎng)絡(luò)，w為網(wǎng)絡(luò)權(quán)重，ye為表情標(biāo)簽。
32、第二方面，本專利技術(shù)實(shí)施例提供了一種基于特征分離的雙分支損失對抗表情識別系統(tǒng)，包括：
33、數(shù)據(jù)模塊，獲取訓(xùn)練圖像數(shù)據(jù)集i并對訓(xùn)練圖像數(shù)據(jù)集執(zhí)行預(yù)處理和數(shù)據(jù)增強(qiáng)；
34、構(gòu)建模塊，搭建包括特征提取器b、權(quán)重分配模塊、表情分類模塊和干擾因素分類模塊的深度學(xué)習(xí)網(wǎng)絡(luò)模型，用特征提取器b從數(shù)據(jù)模塊得到的訓(xùn)練圖像數(shù)據(jù)集i中提取初始特征對初始特征進(jìn)行權(quán)重分配得到表情特征xe，將表情特征xe與初始特征做差后得到非表情特征xd；
35、第一函數(shù)模塊，用混淆損失和域?qū)箵p失構(gòu)成對抗損失，引導(dǎo)非表情特征分支提取非表情特征；
36、第二函數(shù)模塊，構(gòu)造非表情特征xd和表情特征xe之間的特征分離損失；
37、輸出模塊，對第一函數(shù)模塊得到的對抗損失和第二函數(shù)模塊得到的特征分離損失進(jìn)行加權(quán)求和，利用得到的表情識別總損失對構(gòu)建模塊得到的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將測試集圖像輸入特征提取器b后經(jīng)過特征分離，最后輸入到表情分類器中得到分類結(jié)果。
38、第三方面，一種芯片，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于特征分離的雙分支損失對抗表情識別方法的步驟。
39、第四方面，本專利技術(shù)實(shí)施例提供了一種電子設(shè)備，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被電子設(shè)備執(zhí)行時(shí)實(shí)現(xiàn)上述基于特征分離的雙分支損失對抗表情識別方法的步驟。
40、與現(xiàn)有技術(shù)相比，本專利技術(shù)至少具有以下有益效果：
41、一種基于特征分離的雙分支損失對抗表情識別方法，利用深度學(xué)習(xí)框架解決表情識別問題，可以通過深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大描述能力進(jìn)行建模，學(xué)習(xí)并識別七種常用表情(憤怒、厭惡、驚訝、開心、傷心、中性、害怕)。表情識別中現(xiàn)有一個重要問題就是人的身份信息會干擾表情的學(xué)習(xí)，因?yàn)椴煌娜俗龀龅耐环N表情存在差異，會嚴(yán)重影響模型對表情信息的學(xué)習(xí)，本專利技術(shù)會盡可能分離表情和人臉信息從而進(jìn)行表情識別。本專利技術(shù)不僅可以對實(shí)驗(yàn)室環(huán)境下采集到的數(shù)據(jù)有很好的結(jié)果，而且對自然環(huán)境下采集到的數(shù)據(jù)展現(xiàn)很好的魯棒性，因?yàn)橐话闱闆r下自然環(huán)境下采集到的數(shù)據(jù)存在遮擋，姿勢變化等嚴(yán)重影響表情判別的客觀因素。
42、進(jìn)一步的，收集大量、多樣化的訓(xùn)練圖像數(shù)據(jù)集確保了模型能夠?qū)W習(xí)到表情識別任務(wù)所需的廣泛樣本分布，有助于提高模型的泛化能力。通過對圖像進(jìn)行標(biāo)準(zhǔn)化、歸一化、去噪、尺寸調(diào)整等操作，消除不必要的噪聲影響，統(tǒng)一數(shù)據(jù)格式，使得模型更容易學(xué)習(xí)到圖像的本質(zhì)特征，本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于特征分離的雙分支損失對抗表情識別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟S1中，訓(xùn)練圖像數(shù)據(jù)集I為：
3.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟S2中，使用iResNet50作為主干網(wǎng)絡(luò)編碼器B從輸入表情圖像Ie來提取混合初始特征，即X＝B(Ie)，定義特征殘差模塊為：
4.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟S2中，通過表情識別任務(wù)監(jiān)督的權(quán)重分配模塊分離特征圖中與表情相關(guān)的信息，并通過對抗損失監(jiān)督被視為身份相關(guān)信息的分支特征，權(quán)重分配模塊包括通道注意力模塊和空間注意力模塊。
5.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟S3中，對抗損失為：
6.根據(jù)權(quán)利要求5所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，優(yōu)化表情識別的損失函數(shù)混淆損失和域自適應(yīng)對抗損失分別為：
7.根據(jù)權(quán)利要求1所述的基于特
8.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟S5中，表情識別總損失為：
9.根據(jù)權(quán)利要求8所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，表情識別的損失函數(shù)為：
10.一種基于特征分離的雙分支損失對抗表情識別系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于特征分離的雙分支損失對抗表情識別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟s1中，訓(xùn)練圖像數(shù)據(jù)集i為：
3.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟s2中，使用iresnet50作為主干網(wǎng)絡(luò)編碼器b從輸入表情圖像ie來提取混合初始特征，即x＝b(ie)，定義特征殘差模塊為：
4.根據(jù)權(quán)利要求1所述的基于特征分離的雙分支損失對抗表情識別方法，其特征在于，步驟s2中，通過表情識別任務(wù)監(jiān)督的權(quán)重分配模塊分離特征圖中與表情相關(guān)的信息，并通過對抗損失監(jiān)督被視為身份相關(guān)信息的分支特征，權(quán)重分配模塊包括通道注意力模塊和空間注意力模塊。
<...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳璞花，王哲，焦李成，劉芳，郭磊，毛莎莎，
申請(專利權(quán))人：西安電子科技大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。