【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于頻率域自適應(yīng)權(quán)重調(diào)整的模糊魯棒人臉表情識別方法，屬于計算機(jī)視覺與模式識別。
技術(shù)介紹
1、隨著深度學(xué)習(xí)和計算機(jī)視覺技術(shù)的發(fā)展，人臉表情識別技術(shù)在情感計算、人機(jī)交互、智能監(jiān)控等領(lǐng)域得到了廣泛應(yīng)用。然而，在實(shí)際應(yīng)用場景中，圖像模糊，例如由于空氣流動或光學(xué)系統(tǒng)失真引起的湍流模糊，或者圖像采集過程中因焦點(diǎn)偏移或相機(jī)抖動產(chǎn)生的高斯模糊會顯著降低表情識別的準(zhǔn)確性，給現(xiàn)有的識別算法帶來了巨大的挑戰(zhàn)。當(dāng)前的表情識別方法主要集中在空間域的處理。空間域方法可分為兩類：一類是通過去模糊算法復(fù)原圖像后再進(jìn)行識別，另一類則是不進(jìn)行去模糊，而是直接提取模糊不變特征進(jìn)行識別。前者需要迭代計算模糊核，耗時較長，無法滿足實(shí)時性需求；后者以局部相位量化(lpq)為代表的模糊不變描述子應(yīng)用較為廣泛，能夠在不去模糊的情況下提取圖像的模糊不敏感特征。然而，空間域方法通常需要復(fù)雜的模型和較高的計算資源，并且在應(yīng)對復(fù)雜模糊場景時效果有限。相比之下，頻率域方法通過傅里葉變換將圖像從空間域轉(zhuǎn)換到頻域，使得不同尺度的信息在頻域中呈現(xiàn)不同分布，便于分離圖像中的不同成分。而且頻率域方法能在不去模糊的前提下，強(qiáng)化圖像中未受模糊顯著影響的關(guān)鍵頻譜成分，從而提升識別效果。但是，目前傳統(tǒng)的表情識別方法多集中于空間域處理，對模糊圖像的識別效果較差，尤其是在應(yīng)對復(fù)雜模糊場景時，存在識別精度低、魯棒性差等問題。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)目的在于針對上述現(xiàn)有技術(shù)的缺陷和不足，提出了一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識
2、本專利技術(shù)解決其技術(shù)問題所采用的技術(shù)方案是：一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，該方法包括以下步驟：
3、步驟1：通過傅里葉變換，計算清晰圖像和模糊圖像的頻譜矩陣差值，量化模糊對不同頻率成分的影響，頻譜差值越小，意味著該區(qū)域?qū)δ：绊懖幻舾校活l譜差值越大，表明該部分受模糊影響更為顯著。
4、步驟2：基于頻譜差異，設(shè)計了一種自適應(yīng)模糊權(quán)重層(adaptive?blur?weightinglayer，簡稱abwl)，將48*48的頻譜圖像作為該層的輸入，與不同的濾波器進(jìn)行卷積，在訓(xùn)練的過程中通過反向傳播動態(tài)調(diào)整濾波器各頻率成分的權(quán)重，使卷積神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)調(diào)整對不同頻率成分的關(guān)注度，增強(qiáng)對模糊圖像的識別能力。
5、步驟3：設(shè)計模糊魯棒頻率卷積神經(jīng)網(wǎng)絡(luò)(blur-robust?frequencyconvolutional?neural?network，簡稱brf-cnn)，該網(wǎng)絡(luò)模型在卷積神經(jīng)網(wǎng)絡(luò)中加入abwl以對輸入頻譜圖像進(jìn)行處理，突出模糊不敏感特征區(qū)域，然后將處理后圖像通過cnn提取特征，最后通過全連接層完成分類。
6、步驟3-1：首先將48*48的傅里葉頻譜圖輸入到abwl層，abwl的濾波器包含的多個mask大小為同樣是48*48，與輸入圖像的尺寸匹配，每個輸入圖像都與不同的濾波器mask相乘，生成不同版本的圖像,然后這些圖像在通道維度上被拼接在一起，形成輸出數(shù)據(jù)，形狀變?yōu)?48,48,3*n)，其中n表示濾波器中的mask數(shù)量，作為卷積層的輸入。
7、步驟3-2：經(jīng)過abwl層調(diào)整后的頻譜圖輸入到卷積層進(jìn)行特征提取，卷積層包含64個過濾器，卷積核大小為3*3，通過conv2d層后特征圖形狀為(48,48,64)，然后經(jīng)過最大池化進(jìn)行下采樣圖像大小變?yōu)?24,24,64)，再將下采樣后的特征圖展平成一維向量，形狀為(batch_size,36864)。
8、步驟3-3：一維特征向量經(jīng)過dense(128)和dense(7)的全連接層，最終輸出層為7個節(jié)點(diǎn)，對應(yīng)表情識別中的7個表情類別。
9、在公開的ck+數(shù)據(jù)集上進(jìn)行實(shí)驗，結(jié)果表明brf-cnn相較于傳統(tǒng)空間域卷積神經(jīng)網(wǎng)絡(luò)(cnn)表現(xiàn)出顯著優(yōu)勢。在湍流模糊和高斯模糊場景下，平均識別準(zhǔn)確率分別達(dá)到91.63％和81.68％，分別比傳統(tǒng)cnn高出36.94和29.03個百分點(diǎn)，展現(xiàn)出更高的識別準(zhǔn)確率和更強(qiáng)的魯棒性。
10、進(jìn)一步地，本專利技術(shù)步驟1包括：首先，輸入的模糊圖像iblur通過傅里葉變換得到其頻譜表示：
11、
12、其中，表示傅里葉變換，f(iblur)是模糊圖像在頻域中的表示。
13、接著，通過比較清晰圖像iclear與模糊圖像的頻譜差異，量化模糊對不同頻率成分的影響。設(shè)清晰圖像的頻譜為f(iclear)，則頻譜差異表示為：
14、af＝|f(iclear)-f(iblur)|
15、根據(jù)這個頻譜差異，我們可以確定哪些頻率成分受模糊影響較大，哪些受影響較小。
16、進(jìn)一步地，本專利技術(shù)步驟2包括：兩極濾波器采用了帶通濾波的設(shè)計，定義如下：
17、
18、其中，fbdy為濾波器低頻和高頻分界線的頻率。在實(shí)驗中，設(shè)定了五種不同的分界頻率fbdy，分別為0.9、0.8、0.7、0.6和0.5，圖2展示的是當(dāng)fbdy＝0.5時的的濾波器結(jié)構(gòu)。
19、圓形濾波器的原理與設(shè)計：
20、如圖3所示的圓形濾波器用于對特定頻率范圍進(jìn)行平滑處理，以增強(qiáng)模糊不敏感區(qū)域的表現(xiàn)。其原理如下：
21、首先，以頻域的中心為圓心，設(shè)計一組圓形濾波器，其定義如下：
22、
23、其中，r為濾波器的最大半徑，當(dāng)r＝1時，濾波器生成一個半徑為1的圓形mask；當(dāng)r＝2時，則生成兩張mask，分別對應(yīng)半徑為1和2的圓形區(qū)域。依此類推，r越大，生成的mask數(shù)量越多。圖3展示了當(dāng)半徑為5時，該組濾波器包含五張不同半徑的圓形mask。
24、進(jìn)一步地，本專利技術(shù)步驟2包括：在訓(xùn)練的過程中通過反向傳播動態(tài)調(diào)整濾波器各頻率成分的權(quán)重，使卷積神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)調(diào)整對不同頻率成分的關(guān)注度，增強(qiáng)對模糊圖像的識別能力，權(quán)重更新公式為：
25、
26、其中，表示模型的損失函數(shù)，為損失函數(shù)對權(quán)重w(f)的梯度，α為學(xué)習(xí)率。
27、最終，經(jīng)過abwl層加權(quán)處理后的頻率分量表示為：
28、f'(iblur)＝w(f)·f(iblur)
29、有益效果：
30、1、本專利技術(shù)能夠應(yīng)對遠(yuǎn)距離、實(shí)時性場景下的模糊人臉表情識別挑戰(zhàn)，并且能夠提高人臉表情識別在模糊條件下的準(zhǔn)確性。通過對圖像的頻譜特征進(jìn)行分析，分離出模糊影響較小的頻率成分，從而提高網(wǎng)絡(luò)對模糊圖像的識別能力。
31、2、本專利技術(shù)能夠展現(xiàn)出更高的識別準(zhǔn)確率和更強(qiáng)的魯棒性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述步驟1包括：
3.根據(jù)權(quán)利要求1所述的一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述步驟2包括：兩極濾波器采用了帶通濾波的設(shè)計，定義如下：
4.根據(jù)權(quán)利要求1所述的一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述步驟2包括：在訓(xùn)練的過程中通過反向傳播動態(tài)調(diào)整濾波器各頻率成分的權(quán)重，使卷積神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)調(diào)整對不同頻率成分的關(guān)注度，增強(qiáng)對模糊圖像的識別能力，權(quán)重更新公式為：
【技術(shù)特征摘要】
1.一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述步驟1包括：
3.根據(jù)權(quán)利要求1所述的一種基于頻率域卷積神經(jīng)網(wǎng)絡(luò)的模糊魯棒人臉表情識別方法，其特征在于，所述步驟...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李菊，王羿飛，
申請(專利權(quán))人：南京理工大學(xué)紫金學(xué)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。