一種人臉微笑檢測方法技術(shù)

一種人臉微笑檢測方法，其特征在于：包括如下步驟：1）、人臉圖片獲?。和ㄟ^人臉檢測算法獲取人臉；2）、人臉特征部位檢測：檢測第一圖像幀中的第一人臉，定位到臉部嘴巴的特征位置；3）、微笑特征提?。韩@取微笑特征通過對輸入的人臉圖片對該微笑部位進行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方圖HOG特征提取方式；4）、微笑識別；本發(fā)明專利技術(shù)的有益效果為：微笑捕捉準(zhǔn)確率、漏檢率、誤檢率均在5%以下，并且具有分級管理的標(biāo)準(zhǔn)，可以根據(jù)不同的檢測對象，給予客觀的評價，而且可以根據(jù)需求長時間捕捉，這是人工無法達到的。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)屬于人臉檢測
，尤其涉及一種人臉微笑檢測方法。
技術(shù)介紹
在微笑技術(shù)開發(fā)之前，微笑檢測和考核主要依靠人工考核，人工考核存在較大的缺陷，考核人員主觀的情緒極大程度的影響了最終考核的分數(shù)，被考核人員也對考核結(jié)果經(jīng)常出現(xiàn)疑議，從而導(dǎo)致管理矛盾的升級，不利于相關(guān)企業(yè)，行業(yè)的管理與進步。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)存在的不足，而提供一種人臉微笑檢測方法，微笑捕捉準(zhǔn)確率、漏檢率、誤檢率均在5％以下，并且具有分級管理的標(biāo)準(zhǔn)，可以根據(jù)不同的檢測對象，給予客觀的評價，而且可以根據(jù)需求長時間捕捉，這是人工無法達到的。本專利技術(shù)的目的是通過如下技術(shù)方案來完成的，包括如下步驟：1)、人臉圖片獲?。和ㄟ^人臉檢測算法獲取人臉；2)、人臉特征部位檢測：檢測第一圖像幀中的第一人臉，定位到臉部嘴巴的特征位置；在每個圖像幀中，使用光流以0.01像素的精度跟蹤左嘴角和右嘴角的位置，并通過嘴巴位置的跟蹤和檢測來更特征位置；如果被跟蹤的左嘴角和右嘴角之間的x方向距離大于標(biāo)準(zhǔn)距離加上閾值Tsmile，則聲明檢測到微笑；3)、微笑特征提取：獲取微笑特征通過對輸入的人臉圖片對該微笑部位進行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方圖HOG特征提取方式；對嘴巴部位分別獲取到的LBP和HOG特征分別疊加到一起形成一個新的特征維度，將新的特征向量放入支持向量機SVM進行訓(xùn)練，獲得訓(xùn)練結(jié)果的分類器，根據(jù)特征部位檢測獲取到嘴巴部位的位置，對這些部位的信息進行特征信息提?。?)、微笑識別：對于初始化的人臉圖片，采用中性面部表情的用戶臉圖像，在初始化時建立用戶的嘴位置灰色圖像，嘴矩形位置由四個特征點包圍：右嘴角，上嘴唇中心點，左嘴角，下嘴唇中心點；實際上，將矩形擴大和擴大到每個方向上的一個標(biāo)準(zhǔn)偏差；對于每個后續(xù)圖像，使用歸一化互相關(guān)NCC塊匹配方法來計算與新嘴區(qū)周圍的圖案圖像的最佳匹配塊，并計算它們的互相關(guān)值，NCC方程為：如果相關(guān)值大于某一閾值，意味著嘴狀態(tài)非常接近中性的，而不是張開的嘴巴，微笑或其他狀態(tài)；然后將重新定位特征位置，為了不在尋找匹配塊上花費太多的計算時間，通過初始位置設(shè)置搜索區(qū)域中心，為了克服非子像素塊匹配，將搜索范圍設(shè)置為三乘三塊，并且找到最大的相關(guān)值作為最終結(jié)果。作為優(yōu)選，所述的局部二值模式LBP特征向量提取方式，包括如下步驟：1)、將檢測人臉圖像窗口劃分為16×16的小區(qū)域cell；2)、對于每個cell中的一個像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0；這樣，3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)，即得到該人臉圖像窗口中心像素點的LBP值；3)、然后計算每個cell的直方圖，即每個數(shù)字出現(xiàn)的頻率；并對該直方圖進行歸一化處理；4)、最后將得到的每個cell的統(tǒng)計直方圖進行連接成為一個特征向量，也就是整幅圖的LBP紋理特征向量。作為優(yōu)選，所述的梯度方向直方圖HOG特征提取方式，包括如下步驟：1)、將檢測目標(biāo)圖像或掃描窗口圖像灰度化，既將圖像看做一個x,y,z灰度的三維圖像；2)、采用Gamma校正法對輸入圖像進行顏色空間的標(biāo)準(zhǔn)化、歸一化；3)、計算圖像每個像素的梯度、大小和方向；4)、將圖像劃分成小cells；5)、統(tǒng)計每個cell的梯度直方圖，即可形成每個cell的descriptor；6)、將每幾個cell組成一個block，一個block內(nèi)所有cell的特征descriptor串聯(lián)起來便得到該block的HOG特征descriptor；7)、將圖像檢測目標(biāo)內(nèi)的所有塊的HOG特征descriptor串聯(lián)起來就可以得到該檢測目標(biāo)的HOG特征descriptor，這個就是最終的可供分類使用的特征向量。本專利技術(shù)的有益效果為：1、評分客觀，不帶感情色彩；2、24小時全天候檢測；3、可統(tǒng)一標(biāo)準(zhǔn)、也可按個人建庫，方便管理；4、打分有依據(jù)，有錄像、存在異議的地方有據(jù)可查；5、節(jié)約人工成本、管理成本；6、多路同時分析，節(jié)約考核成本；7、領(lǐng)導(dǎo)在辦公室可以直接看到現(xiàn)場的情況以及考核的分數(shù)。附圖說明圖1是本專利技術(shù)的LBP特征提取步驟中的直方圖示意圖。圖2是本專利技術(shù)的LBP的捕捉近鄰示意圖。圖3是本專利技術(shù)的HOG特征提取步驟中的直方圖示意圖。圖4是本專利技術(shù)的block的HOG特征的示意圖。具體實施方式下面將結(jié)合附圖對本專利技術(shù)做詳細的介紹：本專利技術(shù)包括如下步驟：1)、人臉圖片獲?。和ㄟ^人臉檢測算法獲取人臉；2)、人臉特征部位檢測：檢測第一圖像幀中的第一人臉，定位到臉部嘴巴的特征位置；在每個圖像幀中，使用光流以0.01像素的精度跟蹤左嘴角和右嘴角的位置，并通過嘴巴位置的跟蹤和檢測來更特征位置；如果被跟蹤的左嘴角和右嘴角之間的x方向距離大于標(biāo)準(zhǔn)距離加上閾值Tsmile，則聲明檢測到微笑；3)、微笑特征提取：獲取微笑特征通過對輸入的人臉圖片對該微笑部位進行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方圖HOG特征提取方式；對嘴巴部位分別獲取到的LBP和HOG特征分別疊加到一起形成一個新的特征維度，將新的特征向量放入支持向量機SVM進行訓(xùn)練，獲得訓(xùn)練結(jié)果的分類器，根據(jù)特征部位檢測獲取到嘴巴部位的位置，對這些部位的信息進行特征信息提??；4)、微笑識別：對于初始化的人臉圖片，采用中性面部表情的用戶臉圖像，在初始化時建立用戶的嘴位置灰色圖像，嘴矩形位置由四個特征點包圍：右嘴角，上嘴唇中心點，左嘴角，下嘴唇中心點；實際上，將矩形擴大和擴大到每個方向上的一個標(biāo)準(zhǔn)偏差；對于每個后續(xù)圖像，使用歸一化互相關(guān)NCC塊匹配方法來計算與新嘴區(qū)周圍的圖案圖像的最佳匹配塊，并計算它們的互相關(guān)值，NCC方程為：如果相關(guān)值大于某一閾值，意味著嘴狀態(tài)非常接近中性的，而不是張開的嘴巴，微笑或其他狀態(tài)；然后將重新定位特征位置，為了不在尋找匹配塊上花費太多的計算時間，通過初始位置設(shè)置搜索區(qū)域中心，為了克服非子像素塊匹配，將搜索范圍設(shè)置為三乘三塊，并且找到最大的相關(guān)值作為最終結(jié)果。所述的局部二值模式LBP特征向量提取方式，包括如下步驟：1)、將檢測人臉圖像窗口劃分為16×16的小區(qū)域cell；2)、對于每個cell中的一個像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標(biāo)記為1，否則為0；這樣，3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)，即得到該人臉圖像窗口中心像素點的LBP值；3)、然后計算每個cell的直方圖，即每個數(shù)字(假定是十進制數(shù)LBP值)出現(xiàn)的頻率；并對該直方圖進行歸一化處理；4)、最后將得到的每個cell的統(tǒng)計直方圖進行連接成為一個特征向量，也就是整幅圖的LBP紋理特征向量。局部二值模式是廣泛用于圖像分類的一種圖像特征，它的特點是，在圖像發(fā)生光照變化時，提取的特征仍然能夠不發(fā)生大的改變。提取LBP的過程首先是將原始圖像轉(zhuǎn)換為LBP圖，然后統(tǒng)計LBP圖的LBP直方圖，并以這個向量形式的直方圖來表示原始的圖像。LBP的基本思想是定義于像素的8鄰域中，以中心像素的灰度值為閾值，將周圍8個像素的值與其比較，如果周圍的像素值小于中心像素的灰度值，該像素位置就被標(biāo)記為0，否則標(biāo)記為1；每個像素得到一個二進制組合，就像00010011，本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種人臉微笑檢測方法，其特征在于：包括如下步驟：1)、人臉圖片獲?。和ㄟ^人臉檢測算法獲取人臉；2)、人臉特征部位檢測：檢測第一圖像幀中的第一人臉，定位到臉部嘴巴的特征位置；在每個圖像幀中，使用光流以0.01像素的精度跟蹤左嘴角和右嘴角的位置，并通過嘴巴位置的跟蹤和檢測來更特征位置；如果被跟蹤的左嘴角和右嘴角之間的x方向距離大于標(biāo)準(zhǔn)距離加上閾值Tsmile，則聲明檢測到微笑；3)、微笑特征提取：獲取微笑特征通過對輸入的人臉圖片對該微笑部位進行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方圖HOG特征提取方式；對嘴巴部位分別獲取到的LBP和HOG特征分別疊加到一起形成一個新的特征維度，將新的特征向量放入支持向量機SVM進行訓(xùn)練，獲得訓(xùn)練結(jié)果的分類器，根據(jù)特征部位檢測獲取到嘴巴部位的位置，對這些部位的信息進行特征信息提??；4)、微笑識別：對于初始化的人臉圖片，采用中性面部表情的用戶臉圖像，在初始化時建立用戶的嘴位置灰色圖像，嘴矩形位置由四個特征點包圍：右嘴角，上嘴唇中心點，左嘴角，下嘴唇中心點；實際上，將矩形擴大和擴大到每個方向上的一個標(biāo)準(zhǔn)偏差；對于每個后續(xù)圖像，使用歸一化互相關(guān)NCC塊匹配方法來計算與新嘴區(qū)周圍的圖案圖像的最佳匹配塊，并計算它們的互相關(guān)值，NCC方程為：C=Σ(x,y)∈R,(u,v)∈R′(f(x,y)-f‾)(g(u,v)-g‾)Σ(x,y)∈R(f(x,y)-f‾)2Σ(u,v)∈R′(g(u,v)-g‾)2]]>如果相關(guān)值大于某一閾值，意味著嘴狀態(tài)非常接近中性的，而不是張開的嘴巴，微笑或其他狀態(tài)；然后將重新定位特征位置，為了不在尋找匹配塊上花費太多的計算時間，通過初始位置設(shè)置搜索區(qū)域中心，為了克服非子像素塊匹配，將搜索范圍設(shè)置為三乘三塊，并且找到最大的相關(guān)值作為最終結(jié)果。...

【技術(shù)特征摘要】
1.一種人臉微笑檢測方法，其特征在于：包括如下步驟：1)、人臉圖片獲?。和ㄟ^人臉檢測算法獲取人臉；2)、人臉特征部位檢測：檢測第一圖像幀中的第一人臉，定位到臉部嘴巴的特征位置；在每個圖像幀中，使用光流以0.01像素的精度跟蹤左嘴角和右嘴角的位置，并通過嘴巴位置的跟蹤和檢測來更特征位置；如果被跟蹤的左嘴角和右嘴角之間的x方向距離大于標(biāo)準(zhǔn)距離加上閾值Tsmile，則聲明檢測到微笑；3)、微笑特征提取：獲取微笑特征通過對輸入的人臉圖片對該微笑部位進行特征提取，并采用局部二值模式LBP特征向量提取方式和梯度方向直方圖HOG特征提取方式；對嘴巴部位分別獲取到的LBP和HOG特征分別疊加到一起形成一個新的特征維度，將新的特征向量放入支持向量機SVM進行訓(xùn)練，獲得訓(xùn)練結(jié)果的分類器，根據(jù)特征部位檢測獲取到嘴巴部位的位置，對這些部位的信息進行特征信息提??；4)、微笑識別：對于初始化的人臉圖片，采用中性面部表情的用戶臉圖像，在初始化時建立用戶的嘴位置灰色圖像，嘴矩形位置由四個特征點包圍：右嘴角，上嘴唇中心點，左嘴角，下嘴唇中心點；實際上，將矩形擴大和擴大到每個方向上的一個標(biāo)準(zhǔn)偏差；對于每個后續(xù)圖像，使用歸一化互相關(guān)NCC塊匹配方法來計算與新嘴區(qū)周圍的圖案圖像的最佳匹配塊，并計算它們的互相關(guān)值，NCC方程為：C=Σ(x,y)∈R,(u,v)∈R′(f(x,y)-f‾)(g(u,v)-g‾)Σ(x,y)∈R(f(x,y)-f‾)2Σ(u,v)∈R′(g(u,v)-g‾)2]]>如果相關(guān)值大于某一閾值，意味著嘴狀態(tài)非常接近中性的，而不是張...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：沈偉聽，王海波，師小宇，
申請(專利權(quán))人：浙江博天科技有限公司，
類型：發(fā)明
國別省市：浙江;33