公開(kāi)一種用于檢測(cè)數(shù)字圖像中的臉部表情的方法和系統(tǒng)及其應(yīng)用。對(duì)數(shù)字圖像的分析確定微笑和／或眨眼是否存在于人臉上。臉部識(shí)別和／或姿態(tài)或者照明條件確定允許應(yīng)用具體的相對(duì)小的分類(lèi)器級(jí)聯(lián)。
【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】
本專(zhuān)利技術(shù)的實(shí)施例主要地涉及檢測(cè)數(shù)字圖像中的臉部表情及其應(yīng)用的領(lǐng)域。
技術(shù)介紹
準(zhǔn)確地和自動(dòng)地標(biāo)識(shí)數(shù)字圖像中的臉部表情已經(jīng)證實(shí)成問(wèn)題。臉部圖像的近似 30%是代表具有各種臉部表情的臉部的圖像如快照。當(dāng)常規(guī)臉部分類(lèi)裝置用來(lái)檢測(cè)一般圖 像中的臉部時(shí)，檢測(cè)準(zhǔn)確性與具有基本上相同臉部表情的圖像相比較低。因此，問(wèn)題在于現(xiàn) 有技術(shù)方案的臉部分類(lèi)裝置不能準(zhǔn)確地檢測(cè)臉部表情和諸如微笑、皺眉等具體臉部表情。
技術(shù)實(shí)現(xiàn)思路
提供一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相機(jī) 中的處理的技術(shù)。該技術(shù)涉及標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的 像素組。在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分辨率圖 像的集合，并且在集合內(nèi)跟蹤臉部。采集集合的多個(gè)圖像的裁剪版本。在多個(gè)圖像內(nèi)積累 臉部的微笑狀態(tài)信息。基于積累的微笑狀態(tài)信息對(duì)臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)。基于分 析結(jié)果來(lái)選擇一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。臉部識(shí)別可以應(yīng)用于多個(gè)圖像中的一個(gè)或者多個(gè)圖像。可以訓(xùn)練各自包括具體識(shí) 別的人臉的圖像的相對(duì)短的分類(lèi)器級(jí)聯(lián)。相對(duì)短的分類(lèi)器級(jí)聯(lián)可以包括具體識(shí)別的人臉的 不同姿態(tài)和照明。確定姿態(tài)和/或照明條件，并且基于確定的姿態(tài)和/或照明來(lái)調(diào)節(jié)相對(duì) 短的分類(lèi)器級(jí)聯(lián)。可以在臉部識(shí)別為或者未識(shí)別為一個(gè)或者多個(gè)具體人之一時(shí)和/或在臉 部分類(lèi)為有微笑或者無(wú)微笑時(shí)啟動(dòng)或者延遲圖像采集。該技術(shù)還可以包括針對(duì)臉部確定姿態(tài)和/或照明條件，以及訓(xùn)練基于確定的姿態(tài) 和/或照明條件來(lái)調(diào)節(jié)的具體臉部分類(lèi)器集。統(tǒng)計(jì)微笑狀態(tài)的分類(lèi)可以包括分配哈爾(Haar)和/或人口普查特征鏈。對(duì)與臉部對(duì)應(yīng)的像素組的標(biāo)識(shí)可以包括應(yīng)用與分類(lèi)近似相同的哈爾和/或人口 普查特征。裁剪版本可以各自基本上僅包括圖像中的包括臉部的或者僅包括臉部的嘴部區(qū) 域的區(qū)域。分類(lèi)可以包括閾值化，從而分類(lèi)結(jié)果可以是微笑、無(wú)微笑或者無(wú)結(jié)論之一。閾值 化可以包括比較統(tǒng)計(jì)微笑狀態(tài)與微笑可能性在60% -90%之間的第一閾值或者微笑可能 性為10% -40%的第二閾值或者這二者，其中60% -90%或者更多對(duì)應(yīng)于微笑結(jié)果，而 10% -40%或者更少對(duì)應(yīng)于無(wú)微笑結(jié)果，并且在10% -40%和60% -90%之間對(duì)應(yīng)于無(wú)結(jié)論 結(jié)果。第一閾值可以近似80%而第二閾值可以近似20%。分類(lèi)可以包括計(jì)算相對(duì)較低分辨率圖像的集合中的幀之間的統(tǒng)計(jì)微笑差別矢 量，以及確定某個(gè)閾值或者更多差別對(duì)應(yīng)于姿態(tài)、照明或者其他圖像參數(shù)的驟變或者可變 微笑狀態(tài)。可以確認(rèn)某個(gè)閾值或者更多差別的具體成因。可以標(biāo)識(shí)和跟蹤多個(gè)臉部。可以對(duì)針對(duì)多個(gè)臉部中的各臉部的微笑狀態(tài)信息進(jìn)行 分類(lèi)。如果將多于第一閾值數(shù)目的臉部分類(lèi)為無(wú)微笑和/或如果將少于第二閾值數(shù)目的臉 部分類(lèi)為微笑，則可以啟動(dòng)與微笑相關(guān)的組拍攝操作。與微笑相關(guān)的組拍攝操作可以包括 向用戶(hù)觸發(fā)告警信號(hào)或者延遲對(duì)組拍攝的采集直至確定將少于第一閾值數(shù)目的臉部分類(lèi) 為無(wú)微笑和/或?qū)⒍嘤诘诙撝禂?shù)目的臉部分類(lèi)為微笑。可以通過(guò)組合至少一個(gè)數(shù)字采集圖像的一個(gè)或者多個(gè)臉部區(qū)域與相對(duì)較低分辨 率圖像的集合中的一個(gè)或者多個(gè)圖像的最佳微笑區(qū)域來(lái)合成最佳微笑圖像。最佳微笑區(qū)域 可以包括分類(lèi)為微笑的概率最高的嘴部區(qū)域。也提供一種便攜數(shù)字圖像采集設(shè)備，該設(shè)備包括透鏡和圖像傳感器，用于采集數(shù) 字圖像；處理器；以及一個(gè)或者多個(gè)處理器可讀介質(zhì)，具有嵌入于其中的代碼，該代碼用于 對(duì)處理器進(jìn)行編程以實(shí)現(xiàn)根據(jù)如這里上文或者下文描述的任一技術(shù)。提供一個(gè)或者多個(gè)處理器可讀介質(zhì)，具有嵌入于其中的代碼，用于對(duì)處理器進(jìn)行 編程以實(shí)現(xiàn)根據(jù)如這里上文或者下文描述的任一技術(shù)。也提供一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相 機(jī)中的處理的方法。標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的像素組。 該方法也包括在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分 辨率圖像的集合，以及跟蹤所述相對(duì)較低分辨率圖像的集合內(nèi)的所述臉部。采集包括臉部 的集合中的多個(gè)圖像的裁剪版本。該方法也包括在多個(gè)圖像內(nèi)積累臉部的微笑狀態(tài)信息。 基于積累的微笑狀態(tài)信息對(duì)臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)。基于分析結(jié)果來(lái)選擇和/或啟 動(dòng)一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。該方法可以包括將臉部識(shí)別應(yīng)用于多個(gè)圖像中的一個(gè)或者多個(gè)圖像。可以針對(duì)臉部確定姿態(tài)或者照明條件或者這二者。可以基于確定的姿態(tài)或者照明 或者這二者來(lái)調(diào)節(jié)具體臉部分類(lèi)器集。對(duì)統(tǒng)計(jì)微笑狀態(tài)的分類(lèi)可以包括分配哈爾和/或人口普查特征鏈。裁剪版本可以各自基本上僅包括圖像中的包括臉部的區(qū)域或者圖像中的僅包括 臉部的嘴部區(qū)域的區(qū)域。分類(lèi)可以包括閾值化，從而分類(lèi)結(jié)果包括微笑、無(wú)微笑或者無(wú)結(jié)論。分類(lèi)可以包括計(jì)算相對(duì)較低分辨率圖像的集合中的幀之間的統(tǒng)計(jì)微笑差別矢 量，以及確定某個(gè)閾值或者更多差別對(duì)應(yīng)于姿態(tài)、照明或者其他圖像參數(shù)的驟變或者可變 微笑狀態(tài)。分類(lèi)可以包括確認(rèn)某個(gè)閾值或者更多差別的具體成因。可以標(biāo)識(shí)和跟蹤多個(gè)臉部。可以對(duì)針對(duì)多個(gè)臉部中的各臉部的微笑狀態(tài)信息進(jìn)行 分類(lèi)。該方法可以包括如果將多于第一閾值數(shù)目的臉部分類(lèi)為無(wú)微笑或者如果將少于第二 閾值數(shù)目的臉部分類(lèi)為微笑或者如果這二者均成立則啟動(dòng)與微笑相關(guān)的組拍攝操作。該方法還可以包括合成最佳微笑圖像，這包括組合至少一個(gè)數(shù)字采集圖像的一個(gè) 或者多個(gè)臉部區(qū)域與相對(duì)較低分辨率圖像的集合中的一個(gè)或者多個(gè)圖像的最佳微笑區(qū)域。附圖說(shuō)明可以通過(guò)參照簡(jiǎn)述如下的附圖以對(duì)實(shí)施例舉例說(shuō)明來(lái)最好地理解本專(zhuān)利技術(shù)圖1圖示了處理包括臉部的靜止圖像的技術(shù)。圖2圖示了處理包括臉部的靜止圖像的又一技術(shù)。圖3圖示了用于與圖1的技術(shù)一起使用的具體分類(lèi)和標(biāo)識(shí)處理。圖4圖示了用于訓(xùn)練微笑和非微笑臉部表情分類(lèi)器的一個(gè)替代實(shí)施例。圖5圖示了用于用訓(xùn)練的分類(lèi)器測(cè)試圖像是否包括帶有微笑的臉部的一個(gè)替代 實(shí)施例。圖6圖示了分類(lèi)為非微笑的直視前方的臉部。圖7圖示了也分類(lèi)為非微笑的俯視的臉部。具體實(shí)施例方式描述了用于檢測(cè)臉部表情(例如，微笑)的系統(tǒng)和方法以及用于這樣的系統(tǒng)和方 法的應(yīng)用。在本說(shuō)明書(shū)中，闡述許多具體細(xì)節(jié)。然而，理解無(wú)這些具體細(xì)節(jié)也可以實(shí)現(xiàn)本發(fā) 明的實(shí)施例。換而言之，并未具體示出公知結(jié)構(gòu)和技術(shù)以免使本說(shuō)明書(shū)難以理解。在說(shuō)明書(shū)全文中提及“一個(gè)實(shí)施例”意味著結(jié)合該實(shí)施例描述的具體特征、結(jié)構(gòu)或 者特性包含于本專(zhuān)利技術(shù)的至少一個(gè)實(shí)施例中。因此，在本說(shuō)明書(shū)全文中的各處出現(xiàn)短語(yǔ)“在一 個(gè)實(shí)施例中”未必都指代相同實(shí)施例。另外，可以在一個(gè)或者多個(gè)實(shí)施例中以任何適當(dāng)方式 組合具體特征、結(jié)構(gòu)或者特性。本專(zhuān)利技術(shù)的實(shí)施例可應(yīng)用于其中希望檢測(cè)數(shù)字圖像中的臉部表情的各種設(shè)置中。對(duì)于某些實(shí)施例，針對(duì)待識(shí)別的各臉部創(chuàng)建和使用二元分類(lèi)器。也就是說(shuō)，通過(guò)臉 部檢測(cè)算法的操作來(lái)采集目標(biāo)臉部的樣本，并且使用這些樣本作為用于二元分類(lèi)器的肯定 樣本。圖1-圖3圖示了根據(jù)一個(gè)示例實(shí)施例的微笑檢測(cè)器。先參照?qǐng)D1，在塊102采集 包括臉部的數(shù)字靜止圖像。在塊104，標(biāo)識(shí)與數(shù)字靜止圖像中的臉部對(duì)應(yīng)的像素組。在塊 106，在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的多個(gè)實(shí)例的低分辨率圖 像集合。在塊108在低分辨率圖像集合內(nèi)跟蹤臉部。在塊110，采集包括臉部的集合中的圖 像的裁剪版本。在塊112本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相機(jī)中的處理的方法，包括： 標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的像素組； 在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分辨率圖像的集合； 跟蹤所述相對(duì)較低分辨率圖像的集合內(nèi)的所述臉部； 采集包括所述臉部的所述相對(duì)較低分辨率圖像的集合中的多個(gè)圖像的裁剪版本； 在所述多個(gè)圖像內(nèi)積累所述臉部的微笑狀態(tài)信息； 基于所述積累的微笑狀態(tài)信息對(duì)所述臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)；以及 啟動(dòng)基于分析的結(jié)果來(lái)選擇的一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。
【技術(shù)特征摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】US 2008-1-29 61/024,508;US 2009-1-15 12/354,7071.一種作為采集過(guò)程一部分的對(duì)包括一個(gè)或者多個(gè)臉部的靜止圖像的在相機(jī)中的處 理的方法，包括標(biāo)識(shí)與便攜相機(jī)上的至少一個(gè)數(shù)字采集圖像內(nèi)的臉部對(duì)應(yīng)的像素組；在相機(jī)中生成、捕獲或者以別的方式在相機(jī)中獲得包括臉部的相對(duì)較低分辨率圖像的 集合；跟蹤所述相對(duì)較低分辨率圖像的集合內(nèi)的所述臉部；采集包括所述臉部的所述相對(duì)較低分辨率圖像的集合中的多個(gè)圖像的裁剪版本；在所述多個(gè)圖像內(nèi)積累所述臉部的微笑狀態(tài)信息；基于所述積累的微笑狀態(tài)信息對(duì)所述臉部的統(tǒng)計(jì)微笑狀態(tài)進(jìn)行分類(lèi)；以及啟動(dòng)基于分析的結(jié)果來(lái)選擇的一個(gè)或者多個(gè)與微笑狀態(tài)相關(guān)的操作。2.根據(jù)權(quán)利要求1所述的方法，還包括將臉部識(shí)別應(yīng)用于所述多個(gè)圖像中的一個(gè)或者 多個(gè)圖像。3.根據(jù)權(quán)利要求1所述的方法，還包括針對(duì)所述臉部確定姿態(tài)或者照明條件或者這二 者，以及訓(xùn)練基于所述確定的姿態(tài)或者照明或者這二者來(lái)調(diào)節(jié)的具體臉部分類(lèi)器集。4.根據(jù)權(quán)利要求1所述的方法，其中所述對(duì)所述統(tǒng)計(jì)微笑狀態(tài)的分類(lèi)包括分配哈爾和 /或人口普查特征鏈。5.根據(jù)權(quán)利要求1所述的方法，其中所述裁剪版本各自基本上僅包括所述圖像中的包 括所述臉部的區(qū)域。6.根據(jù)權(quán)利要求1所述的方法，其中所述裁剪版本各自基本上僅包括所述圖像中的包 括所述臉部的嘴部區(qū)域的區(qū)域。7.根據(jù)權(quán)利要求1所述的方法，其中所述分類(lèi)包括閾值化，從而分類(lèi)結(jié)果包括微笑、無(wú) 微笑或者無(wú)結(jié)論。8.根據(jù)權(quán)利要求1所述的方法，其中所述分類(lèi)還包括計(jì)算所述相對(duì)較低分辨率圖像 的集合中的幀之間的統(tǒng)計(jì)微笑差別矢量，以及確定某個(gè)閾值或者更多差別對(duì)應(yīng)于姿態(tài)、照 明或者其他圖像參數(shù)的驟變或者可變微笑狀態(tài)，并且其中所述分類(lèi)還包括確認(rèn)所述某個(gè)閾 值或者更多差別的具體成因。9.根據(jù)權(quán)利要求1所述的方法，其中標(biāo)識(shí)和跟蹤多個(gè)臉部，并且對(duì)針對(duì)所述多個(gè)臉部 中的各臉部的微笑狀態(tài)信息進(jìn)行分類(lèi)，并且所述方法還包括如果將多于第一閾值數(shù)目的 臉部分類(lèi)為無(wú)微笑或者如果將少于第二閾值數(shù)目的臉部分類(lèi)為微笑或者如果這二者均成 立則啟動(dòng)與微笑相關(guān)的組拍攝操作。10.根據(jù)權(quán)利要求1所述的方法，還包括合成最佳微笑圖像，包括組合所述至少一個(gè)數(shù) 字采集圖...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：D埃米利安，E斯泰恩伯格，E扎拉科維，P比吉奧埃，S佩特雷斯酷，C尼格希納，M甘吉亞，
申請(qǐng)(專(zhuān)利權(quán))人：泰塞拉技術(shù)愛(ài)爾蘭公司，
類(lèi)型：發(fā)明
國(guó)別省市：IE[愛(ài)爾蘭]
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。