【技術實現(xiàn)步驟摘要】
本專利技術涉及視覺識別，具體為一種人員情緒智能監(jiān)測系統(tǒng)。
技術介紹
1、現(xiàn)有在管制領域，情緒監(jiān)測對于保障人員的心理健康和提高工作效率至關重要，
2、如在實際應用中，當人員面臨高壓情境，其面部表情和生理指標會發(fā)生細微但關鍵的變化。
3、然而，現(xiàn)有的情緒監(jiān)測技術在處理復雜情緒變化時往往識別不夠敏感和準確，尤其是在實時監(jiān)測和多模態(tài)數(shù)據(jù)處理方面存在明顯局限性。如專利文獻cn114707530a，公開了一種基于多源信號和神經(jīng)網(wǎng)絡的雙模態(tài)情緒識別方法及系統(tǒng)，提出通過面部眼部和嘴部的連續(xù)圖片幀輸入模型來實現(xiàn)情緒識別，降低了模型運算量的同時保留了面部主要的情緒信息，解決接觸式采集易對人體造成不適感和魯棒性較差的問題。
4、但從該專利文獻的技術方案來看，其檢測到的ppg信號受檢測環(huán)境光線變化的影響很大，具體而言，其使用基于l1趨勢濾波的去趨勢方法和相位追蹤算法來減少光強突然變化對ppg信號的影響，但在極端光線條件下，此方法仍然無法完全消除信號失真的問題，①在陽光直射或逆光條件下，攝像設備存在捕捉到過度曝光或面部細節(jié)丟失的圖像，此時的ppg信號就會因為光照的強烈反射或面部特征的丟失而產(chǎn)生失真；②在光照快速變化的環(huán)境下，如從室外進入室內(nèi)，或者在頻閃的燈光下，攝像頭捕捉到的圖像通常伴隨出現(xiàn)有閃爍或明暗變化，就會導致ppg信號的穩(wěn)定性受到影響；③在存在有多個光源的環(huán)境下，如商場或人員值班辦公室，不同方向和強度的光線會在人員的面部產(chǎn)生復雜的陰影和反射，干擾ppg信號的質量。綜上采用上述方式這意味著在光線條件復雜或變化劇烈
5、基于此，本專利技術提出一種通過利用不同波段對環(huán)境光的適應性不同的特點，再通過圖像質量評價和圖像增強方式，可以對不同波段圖像數(shù)據(jù)進行預處理，篩選出質量合格、信息量豐富的波段，提高后續(xù)情緒識別的準確性。
技術實現(xiàn)思路
1、針對現(xiàn)有技術存在的不足，本專利技術目的是提供一種人員情緒智能監(jiān)測系統(tǒng)，利用不同波段對環(huán)境光的適應性不同，通過分析不同波段圖像中的寬線特征（如面部輪廓、眼睛、鼻子等），準確地定位面部的關鍵區(qū)域，為情緒識別提供重要的空間信息，同時，對不同波段圖像數(shù)據(jù)進行預處理，篩選出質量合格、信息量豐富的波段，提高后續(xù)情緒識別的準確性。以解決上述
技術介紹
中提出的問題。
2、為了實現(xiàn)上述目的，本專利技術是通過如下的技術方案來實現(xiàn)：一種人員情緒智能監(jiān)測系統(tǒng)，包括
3、采集模塊、圖像預處理模塊、多模態(tài)特征融合模塊以及情緒狀態(tài)可視化模塊，其中，
4、所述采集模塊，基于時間尺度滾動采樣視頻，利用設定的幀差異閾值tscene來比較連續(xù)采樣視頻幀之間的差異，識別采樣場景變化，選取變化點附近的幀作為表征目標人員面部表情的靜態(tài)圖像數(shù)據(jù)的關鍵單獨幀數(shù)據(jù)；并同步預設監(jiān)測設備，建立時間尺度序列，收集目標人員在不同時間步s下的生理信號數(shù)據(jù)；
5、所述圖像預處理模塊包括與所述采集模塊連接的圖像質量評價單元，用于對采集到的靜態(tài)圖像數(shù)據(jù)進行質量評價，以得到質量合格靜態(tài)圖像數(shù)據(jù)，包括步驟：
6、s1-1、根據(jù)采集的所述靜態(tài)圖像數(shù)據(jù)構建包含四波段靜態(tài)圖像數(shù)據(jù)集，并設定所述四波段靜態(tài)圖像數(shù)據(jù)集中的每個波段的像素值約束范圍為0至255，從獲取的每張靜態(tài)圖像數(shù)據(jù)選定一個包含?3?行和?3?列，共?9?個像素的局部區(qū)域，記為[a1,a2,a3;b1,b2,b3;c1,c2,?c3]，以捕捉靜態(tài)圖像數(shù)據(jù)的局部變化，并且只提取該區(qū)域像素值；將提取的像素值組合成一個四波段的靜態(tài)圖像數(shù)據(jù)集，以每個像素值為一個4維特征向量；
7、s1-2、分別為所述四波段靜態(tài)圖像數(shù)據(jù)集中的每個波段設定一個可識別度指標d，并對所述波段1至4進行排序，選擇候選特征波段，進一步對獲取的靜態(tài)圖像數(shù)據(jù)的清晰度、對比度以及是否存在噪聲進行質量指標評估，以達到最佳識別效果；
8、s1-3、根據(jù)所述候選特征波段的亮度信息，選擇最佳亮度的像素點，并通過比較不同波段灰度圖像在縱向坐標上的最大亮度像素位置，確定具有最高可識別度的波段，生成視覺效果清晰的通道圖像，得到質量合格靜態(tài)圖像數(shù)據(jù)；
9、所述多模態(tài)特征融合模塊，連接圖像預處理模塊，通過創(chuàng)建多模態(tài)時序信息融合模型，融合采樣視頻和生理信號數(shù)據(jù)，分析目標人員面部表情的時空特征，以識別和理解其在不同時間尺度上的情緒變化；
10、情緒狀態(tài)可視化模塊，與所述多模態(tài)特征融合模塊連接，用于將所述多模態(tài)特征融合模塊預測的目標人員在不同時間尺度上的情緒變化以可視化的方式展示給監(jiān)測人員或系統(tǒng)進行決策分析。
11、與現(xiàn)有技術相比，本專利技術的有益效果：
12、為解決現(xiàn)有技術中，在光線條件復雜或變化劇烈的環(huán)境中，情緒識別的準確性受到影響的問題，本專利技術首先，通過利用不同波段對環(huán)境光的適應性不同的特點，如，利用近紅外波段圖像在低光照條件下仍然能夠提供清晰的圖像，而可見光波段圖像受環(huán)境光照影響較大特點，通過設置的圖像質量評價單元和圖像增強單元，對四波段圖像數(shù)據(jù)進行預處理，前期篩選出質量合格、信息量豐富的波段，并對這些波段的圖像進行增強，提高后續(xù)情緒識別的準確性；其次，以經(jīng)圖像增強的四波段靜態(tài)圖像數(shù)據(jù)集中的每個波段所對應的像素值作為輸入，使用預訓練的i3d網(wǎng)絡對視頻中的關鍵幀進行時空特征提取，使得本專利技術能夠捕捉到視頻中的動態(tài)變化，為情緒識別提供了時序信息；再次，通過構建多模態(tài)特征融合模塊，并結合視頻和生理信號數(shù)據(jù)，使得本專利技術能夠實時分析目標對象的情緒變化，提供更為全面的情緒狀態(tài)分析，從而為行業(yè)管制提供更為精準的情緒監(jiān)測支持。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：包括
2.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
3.根據(jù)權利要求2所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
4.根據(jù)權利要求2所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
5.根據(jù)權利要求4所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
6.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
7.根據(jù)權利要求6所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
8.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
9.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
10.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
【技術特征摘要】
1.一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：包括
2.根據(jù)權利要求1所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
3.根據(jù)權利要求2所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
4.根據(jù)權利要求2所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
5.根據(jù)權利要求4所述的一種人員情緒智能監(jiān)測系統(tǒng)，其特征在于：
6...
【專利技術屬性】
技術研發(fā)人員：張中，周萍，常奕，
申請(專利權)人：合肥華禎智能科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。