【技術實現步驟摘要】
本專利技術涉及面部識別，特別涉及一種基于面部特征與關鍵點融合網絡的情緒識別方法。
技術介紹
1、情緒識別技術的應用前景極為廣闊。首先，在教育領域，它能分析學生的情緒反應，幫助教師調整教學策略，實現個性化教學。在醫療領域，該技術可用于輔助診斷心理疾病，如抑郁癥、焦慮癥等，為醫生提供重要的診斷依據。在人機交互方面，面部表情識別能讓機器更智能地理解人類需求，提供更為自然、流暢的交互體驗。此外，在安全領域，情緒識別技術可應用于身份驗證，提高系統的安全性。隨著技術的不斷進步，情緒識別將在更多領域發揮重要作用，為人們的生活帶來更多便利。
2、現有技術中，提出一種基于卷積神經網絡的情緒識別方法，其具體包括：收集包含各種情緒標簽的人臉圖像數據集，根據數據特點設計合適的卷積神經網絡結構并使用訓練集進行訓練；將人臉圖像數據集的圖像輸入到訓練好的網絡中，通過逐層計算得到情緒分類結果。
3、上述現有技術存在的缺陷是：使用卷積神經網絡進行情緒識別的過程中，卷積神經網絡所采用的是單一特征信息，導致其無法完整識別人臉圖像上的情緒特征信息，進而導致情緒識別結果不夠準確。
技術實現思路
1、基于此，有必要針對上述技術問題，提供一種基于面部特征與關鍵點融合網絡的情緒識別方法。
2、本專利技術實施例提供一種基于面部特征與關鍵點融合網絡的情緒識別方法，包括：
3、構建基于面部特征與關鍵點融合網絡lffnet的情緒識別模型；情緒識別模型包括主干網絡swin?transform
4、獲取待識別的人臉圖像，將待識別的人臉圖像輸入情緒識別模型，通過處理層提取人臉圖像的面部特征，通過關鍵點提取模塊mobilefacenet提取人臉圖像的面部關鍵點；通過特征融合模塊將每個處理層提取到的面部特征和每個關鍵點提取模塊mobilefacenet提取到的面部關鍵點進行融合，得到相鄰處理層所提取到的兩幅面部特征圖中每一個對應位置的像素點的相似性映射；通過多尺度融合模塊將所有相似性映射按照處理層的處理順序進行拼接整合，得到深層特征；通過全連接層fc對深層特征進行全連接處理，得到情緒識別結果。
5、可選地，主干網絡swin?transformer還包括窗口化多頭自注意力模塊w_msa和移位窗口化多頭自注意力模塊sw_msa，通過窗口化多頭自注意力模塊w_msa在每個處理層內部計算自注意力，通過移位窗口化多頭自注意力模塊sw_msa使自注意力在不同處理層間交互，包括：
6、
7、其中，為第l個窗口化多頭自注意力模塊w_msa和移位窗口化多頭自注意力模塊sw_msa的輸出特征，zl為第l個多層感知模塊mlp的輸出特征，ln為層歸一化操作。
8、可選地，關鍵點提取模塊mobilefacenet為68點模型，通過關鍵點提取模塊mobilefacenet提取人臉圖像的面部關鍵點，包括：
9、檢測人臉圖像數據的包括眼睛、眉毛、鼻子、嘴巴和臉部輪廓的68個關鍵點；
10、對每個關鍵點生成一個熱力圖，基于每個熱力圖的峰值位置確定關鍵點的坐標。
11、可選地，通過特征融合模塊將每個處理層提取到的面部特征和每個關鍵點提取模塊mobilefacenet提取到的面部關鍵點進行融合，包括：
12、像素注意力機制通過卷積將主干網絡swin?transformer提取的面部特征x的特征圖和關鍵點提取模塊mobilefacenet提取的面部關鍵點y的特征圖對齊；
13、對兩張特征圖的每一個對應位置的像素點進行點乘，得到量化每個像素位置上面部關鍵點特征相對于面部特征x的重要性的相似性映射；
14、通過sigmoid函數對相似性映射進行處理，得到特征圖上各像素點的介于0到1的特征影響值；其中，特征影響值接近1，則在該像素點上y特征對融合輸出的貢獻更高；特征影響值接近0，則在該像素點上x特征對融合輸出的貢獻更高；
15、將面部特征x的特征圖和面部關鍵點y的特征圖對齊計算出的特征影響值進行權重相加，得到最后的融合特征，公式為：
16、σ＝sigmoid(fx(vx)·fy(vy))
17、output＝σvx+(1-σ)vy
18、其中，vx為面部特征的特征圖中對應像素，vy為面部關鍵點的特征圖中對應像素，f為對齊操作，σ為兩個像素屬于同一對象的可能性。
19、可選地，多尺度融合模塊包括多個1×1卷積層和多個3×3卷積層，通過多尺度融合模塊將所有相似性映射按照處理層的處理順序進行拼接整合，包括：
20、通過1×1卷積層和上采樣操作將不同的輸入特征調整到相同的大小；
21、將第一個處理層的結果傳遞給下一層，對于后續的每個處理層，將上一個處理層的輸出和自身的輸入相加后經過一個3×3卷積進行融合，得到更深層次的特征；
22、將所有處理層的輸出按照處理層的處理順序進行拼接整合，得到人臉圖像的深層特征。
23、可選地，通過全連接層fc對深層特征進行全連接處理，包括：
24、將人臉圖像的深層特征展平成一維向量，對一維向量進行特征降維和特征抽象，得到人臉圖像中表情類別的概率分布。
25、本專利技術實施例提供的上述一種基于面部特征與關鍵點融合網絡的情緒識別方法，與現有技術相比，其有益效果如下：
26、本專利技術通過特征融合模塊將每個處理層提取到的面部特征和每個關鍵點提取模塊mobilefacenet提取到的面部關鍵點進行融合，再通過多尺度融合模塊將所有相似性映射按照處理層的處理順序進行拼接整合，能夠解決現有技術中卷積神經網絡無法通過單一特征完整識別人臉圖像上的情緒特征信息的問題，在面部關鍵點和面部特征多尺度融合的同時，對得到的融合信息再次進行聚合，最大程度地保留和利用兩者的有價值信息。
27、此外，通過多尺度融合模塊將所有相似性映射按照處理層的處理順序進行拼接整合，得到深層特征，實現深層次的多尺度特征融合，為面部情緒識別任務提供了更強大的性能和表現力。
本文檔來自技高網...【技術保護點】
1.一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，包括：
2.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述主干網絡Swin?Transformer還包括窗口化多頭自注意力模塊W_MSA和移位窗口化多頭自注意力模塊SW_MSA，通過窗口化多頭自注意力模塊W_MSA在每個處理層內部計算自注意力，通過移位窗口化多頭自注意力模塊SW_MSA使自注意力在不同處理層間交互，包括：
3.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述關鍵點提取模塊MobileFaceNet為68點模型，通過關鍵點提取模塊MobileFaceNet提取人臉圖像的面部關鍵點，包括：
4.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述通過特征融合模塊將每個處理層提取到的面部特征和每個關鍵點提取模塊MobileFaceNet提取到的面部關鍵點進行融合，包括：
5.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述多尺度
6.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述通過全連接層FC對深層特征進行全連接處理，包括：
...【技術特征摘要】
1.一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，包括：
2.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述主干網絡swin?transformer還包括窗口化多頭自注意力模塊w_msa和移位窗口化多頭自注意力模塊sw_msa，通過窗口化多頭自注意力模塊w_msa在每個處理層內部計算自注意力，通過移位窗口化多頭自注意力模塊sw_msa使自注意力在不同處理層間交互，包括：
3.如權利要求1所述的一種基于面部特征與關鍵點融合網絡的情緒識別方法，其特征在于，所述關鍵點提取模塊mobilefacenet為68點模型，通過關鍵點提取模塊mobilefacenet...
【專利技術屬性】
技術研發人員：李福芳，李志杰，鐘俊贏，范禹軒，張月華，
申請(專利權)人：廣州大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。