【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于facenet和注意力機(jī)制的遮擋人臉識(shí)別方法，屬于計(jì)算機(jī)視覺(jué)。
技術(shù)介紹
1、人臉識(shí)別任務(wù)是現(xiàn)代安全系統(tǒng)和身份驗(yàn)證技術(shù)的重要組成部分，它利用先進(jìn)的圖像處理和模式識(shí)別技術(shù)來(lái)識(shí)別和驗(yàn)證個(gè)體的身份。人臉識(shí)別作為一種非接觸式的識(shí)別技術(shù)，相較于指紋識(shí)別、虹膜識(shí)別等，擁有良好的適應(yīng)性、靈活性和擴(kuò)展性。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人臉識(shí)別已經(jīng)從簡(jiǎn)單的特征比對(duì)進(jìn)化到復(fù)雜的生物特征分析，其應(yīng)用范圍也從傳統(tǒng)的安防領(lǐng)域擴(kuò)展到移動(dòng)支付、社交媒體、智能設(shè)備解鎖等眾多日常生活場(chǎng)景，并在維護(hù)公共信息安全、促進(jìn)生成生活等方面具有重大現(xiàn)實(shí)意義。
2、然而，在非約束性場(chǎng)景中，人臉不可避免會(huì)發(fā)生遮擋現(xiàn)象，導(dǎo)致常規(guī)的人臉檢測(cè)與識(shí)別算法出現(xiàn)不同程度的性能下降。而其中原因一方面是面部信息的整體性遭到破壞，關(guān)鍵信息丟失，模型難以提取到足夠的有效特征；另一方面面部遮擋物屬于噪聲數(shù)據(jù)，使得模型提取的特征同樣包含噪聲，從而導(dǎo)致人臉檢測(cè)算法出現(xiàn)漏檢以及人臉識(shí)別算法無(wú)法正確識(shí)別身份信息。這些問(wèn)題在很大程度上影響了人臉識(shí)別系統(tǒng)運(yùn)行效果。
技術(shù)實(shí)現(xiàn)思路
1、為了克服現(xiàn)有技術(shù)的缺陷，本專利技術(shù)提供了一種基于facenet和注意力機(jī)制的遮擋人臉識(shí)別方法，采用mtcnn骨干網(wǎng)絡(luò)進(jìn)行人臉區(qū)域檢測(cè)與人臉關(guān)鍵點(diǎn)檢測(cè)，使用注意力機(jī)制使網(wǎng)絡(luò)聚焦于沒(méi)有被遮擋的部位，采用cnn神經(jīng)網(wǎng)絡(luò)將人臉圖像映射到128維的歐幾里得空間，根據(jù)兩幅人像的歐幾里得距離判斷兩個(gè)人的相似程度。本專利技術(shù)旨在解決如何獲取非遮擋人臉
2、一種基于facenet和注意力機(jī)制的遮擋人臉識(shí)別方法，包括以下步驟：
3、步驟一：數(shù)據(jù)集預(yù)處理：選擇casia-webface和lfw作為數(shù)據(jù)集，將數(shù)據(jù)集送入mtcnn網(wǎng)絡(luò)中進(jìn)行人臉的檢測(cè)，對(duì)齊和裁剪，對(duì)預(yù)處理后的casia-webface和lfw數(shù)據(jù)集進(jìn)行掩碼處理生成casia-webface_mask和lfw_mask，同時(shí)按照1：1的混合方式將casia-webface和casia-webface_mask作為訓(xùn)練集進(jìn)行使用，選擇lfw和lfw_mask數(shù)據(jù)集作為測(cè)試集；
4、步驟二：構(gòu)建人臉識(shí)別網(wǎng)絡(luò)：將facenet原有的骨干網(wǎng)絡(luò)替換為mobilenetv3網(wǎng)絡(luò)，將mobilenetv3網(wǎng)絡(luò)結(jié)構(gòu)將原有的squeeze-and-excitation注意力機(jī)制替換為cbam注意力機(jī)制，對(duì)非遮擋區(qū)域賦予較高的權(quán)重，對(duì)遮蔽的特征賦予較低的權(quán)重，增強(qiáng)更重要的人臉特征；
5、步驟三：訓(xùn)練網(wǎng)絡(luò)：將預(yù)處理好的數(shù)據(jù)集輸入到人臉識(shí)別網(wǎng)絡(luò)中，并使用tripletloss損失函數(shù)訓(xùn)練模型；
6、步驟四：測(cè)試：將預(yù)處理好的lfw和lfw_mask數(shù)據(jù)集輸入到人臉識(shí)別網(wǎng)絡(luò)中，并將其與其他圖像進(jìn)行比較，計(jì)算評(píng)價(jià)指標(biāo)。
7、所述步驟一具體包括：
8、將人臉數(shù)據(jù)集輸入到p-net網(wǎng)絡(luò)中生成人臉候選回歸框，并利用nms算法來(lái)合并高度重疊的候選框；將生成的人臉候選回歸框輸入r-net網(wǎng)絡(luò)中進(jìn)行更嚴(yán)格的篩選，利用nms算法來(lái)輸出最準(zhǔn)確的人臉候選框；將篩選后的人臉候選框輸入0-net網(wǎng)絡(luò)中進(jìn)行更精確的篩選，并利用nms算法來(lái)輸出最準(zhǔn)確的人臉候選框；將所有最準(zhǔn)確的人臉候選框進(jìn)行對(duì)齊處理，并裁剪為128×128的圖像大小。將處理好的casia-webface和lfw數(shù)據(jù)集輸入到masktheface中，對(duì)數(shù)據(jù)集中的人臉進(jìn)行添加口罩進(jìn)行遮擋處理。按照1：1的混合方式將casia-webface和casia-webface_mask作為訓(xùn)練集進(jìn)行使用，選擇lfw和lfw_mask數(shù)據(jù)集作為測(cè)試集。
9、所述步驟二具體包括：
10、facenet通過(guò)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)輸入人臉圖像的歐幾里得特征，將人臉圖像映射到128維歐幾里得空間。空間距離長(zhǎng)短表示人臉圖像的相似性，其中同一個(gè)人的不同人臉在空間上的空間距離較小，而不同人臉的圖像在空間上的距離較大。facenet的識(shí)別過(guò)程主要分為四部分。首先對(duì)人臉圖像數(shù)據(jù)進(jìn)行處理并批量化到網(wǎng)絡(luò)骨干中；然后對(duì)輸入的人臉數(shù)據(jù)進(jìn)行特征提取，其中骨干網(wǎng)絡(luò)可以被視為一個(gè)黑匣子，可以被其他的特征提取網(wǎng)絡(luò)進(jìn)行替換；然后，通過(guò)l2范式對(duì)提取的人臉特征信息進(jìn)行歸一化；最后，使用特定的三元損失函數(shù)對(duì)模型進(jìn)行優(yōu)化。
11、facenet原有的骨干網(wǎng)絡(luò)對(duì)于正常的人臉識(shí)別可以做到高精度，但是對(duì)于有遮擋的人臉識(shí)別問(wèn)題并不能很好的解決。本專利技術(shù)使用mobilenetv3網(wǎng)絡(luò)替換facenet中原有的inception-restnetv1骨干網(wǎng)絡(luò)作為主干提取網(wǎng)絡(luò)。mobilenetv3是一種輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，它保留了mobilenetv1的深度可分離卷積，同時(shí)又繼承了mobilenetv2的殘差結(jié)構(gòu)，使用線性瓶頸的殘差結(jié)構(gòu)作為基本卷積模塊，可以通過(guò)擴(kuò)展通道來(lái)增加網(wǎng)絡(luò)的寬度和表達(dá)能力，同時(shí)避免高維信息在經(jīng)過(guò)激活函數(shù)后丟失的問(wèn)題。此外mobilenetv3網(wǎng)絡(luò)重新設(shè)計(jì)耗時(shí)層結(jié)構(gòu)，并更新了激活函數(shù)，mobilenetv3使用1×1卷積層和3×3卷積層來(lái)替代原版本的5×5的卷積，這一改變顯著減少了參數(shù)量。為了進(jìn)一步提高模型的性能，mobilenetv3引入了swish激活函數(shù)保證了網(wǎng)絡(luò)的精確性和輕量級(jí)性。
12、mobilenetv3中的squeeze-and-excitation注意力機(jī)制只考慮了信道間的信息，忽略了位置信息，這對(duì)于人臉定位和識(shí)別非常重要，本專利技術(shù)使用cbam代替mobilenetv3中的se注意力機(jī)制。cbam通過(guò)結(jié)合通道注意力和空間注意力，為模型提供了更加全面和有效的特征提取能力。
13、所述步驟三具體包括：
14、facenet使用了三元損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)輸出128維特征向量，并通過(guò)設(shè)置閾值來(lái)控制正負(fù)樣本之間的距離，人臉圖像以三元組的形式輸入，即目標(biāo)樣本(anchor)、與目標(biāo)樣本是同一人的正樣本以及與目標(biāo)樣本不是同一人的負(fù)樣本。對(duì)于facenet，其損失函數(shù)的表達(dá)式為：
15、
16、
17、其中是目標(biāo)樣本，是正樣本，是負(fù)樣本，a是使得正負(fù)充分分開(kāi)的閾值，t是數(shù)據(jù)集中可能的三元組集合，n是集合中元素?cái)?shù)量。
18、訓(xùn)練優(yōu)化的目標(biāo)是使l最小化確保特定人的面部圖像與這個(gè)人的所有其他圖像之間的距離小于任何其他人的任何圖像之間的距離。
19、
20、所述步驟四具體包括：
21、一對(duì)圖像的特征歐氏距離表示為d(xi,xj)，是同一個(gè)人的所有人臉對(duì)為不同人的所有人臉對(duì)為d是維度。
22、
23、是同一個(gè)人且被分類為同一個(gè)人的集合(true?accept):
24、
25、不是同一人但被分類為同一人的集合(false?accept)
26、
27、驗(yàn)證準(zhǔn)確率val(d)和錯(cuò)誤接受率本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于FaceNet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于FaceNet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：所述步驟一具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于FaceNet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：所述步驟二具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于FaceNet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：所述步驟三具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于FaceNet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：所述步驟四具體包括：
【技術(shù)特征摘要】
1.一種基于facenet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于facenet和注意力機(jī)制的遮擋人臉識(shí)別方法，其特征在于：所述步驟一具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于facenet和注意力機(jī)制的遮擋人臉...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張繼勇，王鵬飛，周曉飛，唐江平，鮑柳昕，李世峰，何帆，
申請(qǐng)(專利權(quán))人：杭州電子科技大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。