基于多人臉數據采集策略和深度學習的課堂考勤方法技術

本發明專利技術公開了一種基于多人臉數據采集策略和深度學習的課堂考勤方法，用于解決現有基于人臉識別的考勤方法識別率差的技術問題。技術方案是利用AdaBoost算法和膚色模型進行多目標檢測和提取。只需一次對所有參與考勤的人臉拍攝一段視頻，并對視頻序列中的人臉進行檢測、提取，完成人臉數據庫的建立。基于深度學習的人臉識別方法，以深度卷積神經網絡LeNet?5模型為基礎，應用簡化的LeNet?5模型對人臉數據庫中不同場景下的人臉特征進行學習，通過多層非線性變換得到新特征表示。這些新特征盡可能多的去掉了如光照、噪聲、姿態和表情等類內變化，而保留身份不同產生的類間變化，提高了人臉識別方法在實際復雜場景下人臉識別率。

【技術實現步驟摘要】

本專利技術涉及一種基于人臉識別的考勤方法，特別是涉及一種基于多人臉數據采集策略和深度學習的課堂考勤方法。
技術介紹
文獻“A Prototype of Automated Attendance System Using Image Processing,International Journal of Advanced Research in Computer and Communication Engineering,Vol.5,Issue 4,April2016,p501-505”公開了一種基于人臉識別的考勤方法。該方法采用傳統的主成分分析法對檢測到的人臉進行識別。考勤者進入考勤系統后，系統判斷其人臉數據是否存在于數據庫中，若存在，則直接對其進行識別，并將本次檢測結果加入數據庫。若不存在，則需先對其進行人臉數據采集。該方法的實現需要在識別前對考勤者逐個采集人臉數據。然而，實際情況中，考勤人員數量較多，若逐一采集人臉數據，將耗費大量時間，數據采集效率低。而且，該方法要求考勤者自主完成人臉數據的采集，難以保證所采集人臉數據的質量。此外，該方法在進行人臉識別時的背景簡單、光照穩定、人臉表情單一，然而在實際考勤中，考勤人員較多，背景、光照、姿態和表情等變化非常復雜，傳統的基于主成分分析的人臉識別方法在實際復雜情況下識別率較差。
技術實現思路
為了克服現有基于人臉識別的考勤方法識別率差的不足，本專利技術提供一種基于多人臉數據采集策略和深度學習的課堂考勤方法。該方法利用AdaBoost算法和膚色模型進行多目標檢測和提取。只需一次對所有參與考勤的人臉拍攝一段視頻，并對視頻序列中的人臉進行檢測、提取，完成人臉數據庫的建立。解決了實際考勤中人臉數據采集耗時耗力、難以統一采集的問題，更容易獲得海量人臉數據。此外，基于深度學習的人臉識別方法，以深度卷積神經網絡LeNet-5模型為基礎，應用簡化的LeNet-5模型對人臉數據庫中不同場景下的人臉特征進行學習，通過多層的非線性變換得到新的特征表示。這些新特征盡可能多的去掉了如光照、噪聲、姿態和表情等類內變化，而保留身份不同產生的類間變化，提高了人臉識別方法在實際復雜場景下人臉識別率。本專利技術解決其技術問題所采用的技術方案是：一種基于多人臉數據采集策略和深度學習的課堂考勤方法，其特點是包括以下步驟：(a)人臉數據獲取。對被采集者臉部拍攝30秒的視頻序列，在視頻拍攝過程中，采集者制訂一系列規則來模擬實際考勤中人臉可能發生的變化。包括微笑、皺眉的表情變化和張嘴、抬頭、低頭、改變面部朝向的動作變化。被采集者根據采集者的要求在視頻拍攝過程中進行表情、動作變化。(b)利用AdaBoost算法結合膚色模型進行多人臉檢測.將AdaBoost算法與膚色模型結合，通過AdaBoost算法定位人臉位置，再運用膚色模型對其進行膚色校驗，方法如下：①利用Adaboost算法生成用于人臉檢測的分類器，進行初步地人臉檢測。②采用膚色模型校驗Adaboost初步確定的人臉區域，通過將圖像中的像素與標準膚色比較，區分圖像中的膚色區域和非膚色區域。設置標準膚色范圍時，采用三種顏色空間：RGB色彩空間、HSV色彩空間、YCbCr色彩空間。設置兩個RGB標準膚色模型。模型一的閾值范圍：G>40、B＞20、R>G、R>B、MAX(R,G,B)-MIN(R,G,B)>15；模型二的閾值范圍：R>220、|R-G|<15、R>G、R>B。采用公式(1)(2)(3)(4)將RGB顏色轉換為HSV顏色，設置HSV標準膚色閾值范圍：0<H<50、0.23<S<0.68。 H = H i , B ≤ G 360 - H , B ≥ G - - - ( 1 ) ]]>式中，H為色調。其中， H i = 1 2 ( R - G ) + ( R - B ) ( R - G ) 2 + ( R - G ) × ( G - B ) - - - ( 2 ) ]]>式中，R為紅色通道的值，G為綠色通道的值，B為藍色通道的值。 S = M A X ( R , G , B ) - M I 本文檔來自技高網...

【技術保護點】
一種基于多人臉數據采集策略和深度學習的課堂考勤方法，其特征在于包括以下步驟：(a)人臉數據獲取；對被采集者臉部拍攝30秒的視頻序列，在視頻拍攝過程中，采集者制訂一系列規則來模擬實際考勤中人臉可能發生的變化；包括微笑、皺眉的表情變化和張嘴、抬頭、低頭、改變面部朝向的動作變化；被采集者根據采集者的要求在視頻拍攝過程中進行表情、動作變化；(b)利用AdaBoost算法結合膚色模型進行多人臉檢測.將AdaBoost算法與膚色模型結合，通過AdaBoost算法定位人臉位置，再運用膚色模型對其進行膚色校驗，方法如下：①利用Adaboost算法生成用于人臉檢測的分類器，進行初步地人臉檢測；②采用膚色模型校驗Adaboost初步確定的人臉區域，通過將圖像中的像素與標準膚色比較，區分圖像中的膚色區域和非膚色區域；設置標準膚色范圍時，采用三種顏色空間：RGB色彩空間、HSV色彩空間、YCbCr色彩空間；設置兩個RGB標準膚色模型；模型一的閾值范圍：G>40、B＞20、R>G、R>B、MAX(R,G,B)?MIN(R,G,B)>15；模型二的閾值范圍：R>220、|R?G|&lt;15、R>G、R>B；采用公式(1)(2)(3)(4)將RGB顏色轉換為HSV顏色，設置HSV標準膚色閾值范圍：0<H<50、0.23<S<0.68；H=Hi,B≤G360-H,B≥G---(1)]]>式中，H為色調；其中，Hi=12(R-G)+(R-B)(R-G)2+(R-G)×(G-B)---(2)]]>式中，R為紅色通道的值，G為綠色通道的值，B為藍色通道的值；S=MAX(R,G,B)-MIN(R,G,B)MAX(R,G,B)---(3)]]>式中，S為飽和度；V=MAX(R,G,B)255---(4)]]>式中，V為明度；利用公式(5)將RGB顏色轉換為YCbCr顏色，之后設置YCbCr標準膚色閾值范圍為：Y>20、135<Cr<180、85<Cb<135；Y=0.299R+0.587G+0.114BCb=(B-Y)×0.564+128Cr=(R-Y)×0.713+128---(5)]]>式中，Y為亮度分量，Cb為藍色色度分量，Cr為紅色色度分量；(c)約束人臉中心位置出現的范圍；①從所采集的視頻序列中抽取20幀圖像，利用公式(6)計算每一幀間的間隔gg=t×f20---(6)]]>式中t為所拍視頻長度，f為所拍攝視頻每一秒的幀數；②通過AdaBoost算法和膚色模型對所抽取的20幀圖像進行檢測后，將檢測得到的人臉坐標進行保存，利用公式(7)、(8)計算不同人臉中心坐標的平均值xc=xγ-xl2---(7)]]>yc=yγ-yl2---(8)]]>式中，(xr，yr)為檢測到的人臉右下角坐標，(xl，yl)為左上角坐標；將計算得到的平均值與實際圖像中的人臉中心坐標進行對比，得到人臉中心坐標的誤差范圍，根據所得誤差范圍添加約束條件xc?m≤xc_real≤xc+m????(9)yc?n≤yc_real≤yc+n????(10)式中，(xc_real，yc_real)為實際檢測得到的人臉中心位置坐標；(d)提取檢測到的人臉并處理，完成人臉數據庫的建立；提取檢測到的人臉，將其轉化為大小為28×28像素的人臉灰度圖像；將處理后的人臉圖像按約束條件的不同進行存儲，完成實際考勤人臉數據庫的建立；(e)訓練模型；將人臉數據庫中大小為28×28像素的人臉灰度圖像作為訓練數據輸入深度卷積神經網絡模型進行多次迭代訓練，完成模型的訓練；具體訓練過程如下：訓練過程分為兩個步驟：前向傳播及反向傳播；①前向傳播的目的是將訓練數據送入網絡以獲得激勵響應；包括一層卷積層和一層下采樣層；首先對卷積層進行處理，在第l層卷積層上應用公式(11)得到卷積層l提取的卷積特征；xjl=f(Σi∈Mjxjl-1*kjl+bjl)---(11)]]>式中，為卷積層l的卷積特征，Mj為選擇輸入的特征圖集合，為卷積層l上的卷積核，為卷積層l上的偏置值，通過激活函數f得到卷積層l的卷積特征；得到卷積層的卷積特征后，應用公式(12)對卷積特征進行下采樣處理，即對不同位置的特征進行聚合統計；xjl=f(βjldown(xjl-1)+bjl)---(12)]]>式中，down(·)為下采樣函數，β為乘性偏置，b為加性偏置；②反向傳播，通過最小化殘差對權重和偏置進行調整；包括一層卷積層和一層下采樣層；對于卷積層，下一層為下采樣層的，利用公式(13)計算殘差；式中，up(·)為一個上采樣函數，...

【技術特征摘要】
1.一種基于多人臉數據采集策略和深度學習的課堂考勤方法，其特征在于包括以下步驟：(a)人臉數據獲取；對被采集者臉部拍攝30秒的視頻序列，在視頻拍攝過程中，采集者制訂一系列規則來模擬實際考勤中人臉可能發生的變化；包括微笑、皺眉的表情變化和張嘴、抬頭、低頭、改變面部朝向的動作變化；被采集者根據采集者的要求在視頻拍攝過程中進行表情、動作變化；(b)利用AdaBoost算法結合膚色模型進行多人臉檢測.將AdaBoost算法與膚色模型結合，通過AdaBoost算法定位人臉位置，再運用膚色模型對其進行膚色校驗，方法如下：①利用Adaboost算法生成用于人臉檢測的分類器，進行初步地人臉檢測；②采用膚色模型校驗Adaboost初步確定的人臉區域，通過將圖像中的像素與標準膚色比較，區分圖像中的膚色區域和非膚色區域；設置標準膚色范圍時，采用三種顏色空間：RGB色彩空間、HSV色彩空間、YCbCr色彩空間；設置兩個RGB標準膚色模型；模型一的閾值范圍：G>40、B＞20、R>G、R>B、MAX(R,G,B)-MIN(R,G,B)>15；模型二的閾值范圍：R>220、|R-G|<15、R>G、R>B；采用公式(1)(2)(3)(4)將RGB顏色轉換為HSV顏色，設置HSV標準膚色閾值范圍：0<H<50、0.23<S<0.68； H = H i , B ≤ G 360 - H , B ≥ G - - - ( 1 ) ]]>式中，H為色調；其中， H i = 1 2 ( R - G ) + ( R - B ) ( R - G ) 2 + ( R - G ) × ( G - B ) - - - ( 2 ) ]]>式中，R為紅色通道的值，G為綠色通道的值，B為藍色通道的值； S = M A X ( R , G , B ) - M I N ( R , G , B ) M A X ( R , G , B ) - - - ( 3 ) ]]>式中，S為飽和度； V = M A X ( R , G , B ) 255 - - - ( 4 ) ]]>式中，V為明度；利用公式(5)將RGB顏色轉換為YCbCr顏色，之后設置YCbCr標準膚色閾值范圍為：Y>20、135<Cr<180、85<Cb<135； Y = 0.299 R + 0.587 G + 0.114 B C b = ( B - Y ) × 0.564 + 128 C r = ( R - Y ) × 0.713 + 128 - - - ( 5 ) ]]>式中，Y為亮度分量，Cb為藍色色度分量，Cr為紅色色度分量；(c)約束人臉中心位置出現的范圍；①從所采集的視頻序列中抽取20幀圖像，利用公式(6)計算每一幀間的間隔g g = t × f ...

【專利技術屬性】
技術研發人員：裴炤，張艷寧，彭亞麗，馬苗，尚海星，蘇藝，
申請(專利權)人：陜西師范大學，
類型：發明
國別省市：陜西;61