基于臉部實時監控檢測人臉對稱性及異常方法技術

本發明專利技術提供了一種基于臉部實時監控檢測人臉對稱性及異常方法，包括訓練階段步驟：建立深度卷積神經網絡模型，采集的用戶臉部主要部位圖像數據，并根據用戶給定的圖像數據決定出最優分類策略；測試階段步驟：實時監控用戶臉部活動，采集用戶臉部主要部位圖像數據，通過深度卷積神經網絡模型處理用戶臉部主要部位圖像，提取深度卷積特征；解決基于深度卷積特征的二分類問題，對用戶臉部主要部位分別進行狀態識別后對該主要部位進行實時對稱性檢測與異常檢測；記錄用戶眼部狀態時間序列，實時調整監控攝像頭的采樣頻率。本發明專利技術在不同光照、不同用戶的條件下均能精確地進行人臉對稱性及異常的實時檢測，并且具有較高的穩定性與普適性。

【技術實現步驟摘要】

本專利技術涉及圖像識別
，具體地，涉及一種基于臉部實時監控檢測人臉對稱性及異常方法。
技術介紹
近年來，人臉和面部表情識別已經吸引了越來越多科研人員的注意。人臉檢測是指在視頻序列或圖像中尋找所有人臉信息，并確定人臉大小、位置、運動軌跡、姿態，進一步對人臉上的眼睛、嘴唇等特征進行提取的過程。人臉檢測和識別是模式識別領域中的經典問題。它設計圖像處理、模式識別、生理學等領域的知識和技術，研究起源于19世紀法國科學家Alton的工作，隨著計算機科學的發展，九十年代后人臉檢測逐漸成為研究的焦點。近年來，人臉檢測識別技術逐漸成為最具潛力的身份驗證手段，在電子商務，醫療，跟蹤領域它的實際應用價值日漸突出。顏面部不對稱在正常人群中發生率較高。發生率約為21％～85％。不對稱程度較輕者可能不會被發覺，甚至可以出現在一些具有吸引力的顏面部或者正常的顱面復合體。顏面不對稱的原因很多，一般可分為先天性疾病、生長發育性問題以及獲得性病損3個方面。其中，就獲得性病損而言，顏面部不對稱可能由髁突增生、面部肌肉萎縮、下頜關節僵硬、面部創傷或面部腫瘤引起。此外，面部不對稱還很有可能是中風和面癱的信號。中風病人前期常常有臉部不對稱、臉部麻木、說話困難、無法發笑等癥狀，這時患者應當盡早就醫，避免疾病對患者機體造成永久不可恢復的損傷。因此，針對面部不對稱的人臉檢測算法對于某些疾病的早期的檢測具有重大意義。目前人臉檢測的算法很多，一般分為以下四類：1)基于知識的算法，通過先驗知識把典型人臉的知識進行編碼。一般來說，先驗知識包括人臉特征之間的相互關系，這種算法的主要應用集中在人臉定位領域。2)基于模版匹配的算法，該方法先存儲一張人臉的若干標準模版來描述部分或者整張人臉的特性，再通過計算輸入的圖像與已有的模版之間的相關度來進行檢測。3)基于特征的算法，這類算法主要用來進行人臉定位，目的是要找出一些結構特征，這些特征在光照條件、姿勢、觀察點改變的情況下保持不變；然后使用這些特性來定位人臉。4)基于外觀的算法。這類算法與模版匹配不同的是,模版是從一組訓練圖像中經過學習得來的，這些圖像應該包含具有代表性的人臉外觀變化因素，此類方法主要用來進行人臉檢測。根據我們目前的調研結果，目前學術界尚未有專門針對面部不對稱設計的人臉檢測算法。可穿戴智能設備是指可以穿在身上，或是整合到用戶的衣服或配件的便攜式電子設備。2012年因谷歌眼鏡的亮相，被稱作“可穿戴智能設備元年”。智能可穿戴設備作為智能終端產業的新熱點已被市場廣泛認同。各路企業紛紛進軍智能可穿戴設備研發，爭取在新一輪技術革命中爭一席之地。可穿戴智能設備的產品形態包括以手腕為支撐的Watch類(包括手表和腕帶等產品)，以腳為支撐的Shoes類(包括鞋、襪子或者將來的其他腿上佩戴產品)，以頭面部為支撐的Glasses類(包括眼鏡、頭盔、頭帶等)，以及智能服裝、書包、拐杖、配飾等各類非主流產品形態。隨著人們對自身健康的日益重視，可穿戴便攜醫療設備的市場將不斷擴大。而基于可穿戴設備的人臉檢測算法必定會收到越來越高的重視。這些設備將成為未來人類醫療體系的前哨戰。鑒于目前科學有效的人臉對稱性及異常檢測算法較少，本專利技術利用基于深度卷積神經網絡的計算機視覺算法，大大提升人臉對稱性及異常檢測的準確率，穩定性以及普適性。此外，本文提出的算法可以高效的移植到市場上各類可穿戴設備上，具有廣泛的應用前景。
技術實現思路
針對現有技術中的缺陷，本專利技術的目的是提供一種基于臉部實時監控檢測人臉對稱性及異常方法。根據本專利技術提供的基于臉部實時監控檢測人臉對稱性及異常方法，包括如下步驟：訓練階段步驟：建立深度卷積神經網絡模型，根據采集的用戶臉部主要部位圖像數據優化深度卷積神經網絡模型中網絡層的權重參數，并根據用戶給定的圖像數據決定出最優分類策略；測試階段步驟：實時監控用戶臉部活動，采集用戶臉部主要部位圖像數據，通過深度卷積神經網絡模型處理用戶臉部主要部位圖像，提取深度卷積特征；解決基于深度卷積特征的二分類問題，對用戶臉部主要部位分別進行狀態識別后對該主要部位進行實時對稱性檢測與異常檢測；記錄用戶眼部狀態時間序列，實時調整監控攝像頭的采樣頻率。優選地，所述訓練階段步驟包括：步驟A：采集不同用戶處于不同光照條件下的臉部主要部位圖像數據；主要部位包括以下幾個：眼睛、鼻唇溝以及嘴部；步驟B：建立深度卷積神經網絡模型，根據采集的圖像數據進行訓練，調整、優化深度卷積神經網絡各網絡層權重參數；步驟C：根據獲得的具體圖像數據及光照數據生成對應概率向量，根據用戶給定的圖像數據決定出最優分類策略。優選地，所述測試階段步驟包括：步驟1：通過可穿戴式前置監控攝像頭實時監控用戶臉部活動，并傳輸用戶臉部主要部位圖像數據至服務器；其中，主要部位包括以下幾個：眼睛、鼻唇溝以及嘴部；步驟2：建立卷積神經網絡模型，提取用戶臉部主要部位圖像數據的深度卷積特征；步驟3：根據提取的深度卷積特征，建立并解決基于深度卷積特征的二分類問題，對用戶臉部主要部位圖像分別進行狀態識別，得到狀態識別結果數據；步驟4：根據狀態識別結果數據進行數據平滑、排除異常數據點操作，并對用戶臉部主要部位圖像分別進行實時對稱性檢測與異常檢測，得到檢測結果；步驟5：輸出檢測結果，并記錄用戶眼部狀態時間序列，根據眼部狀態時間序列實時調整可穿戴式前置監控攝像頭的采樣頻率。優選地，所述步驟2包括：利用深度學習及深度卷積神經網絡的方法在服務器內建立卷積神經網絡模型，將可穿戴式前置監控攝像頭的實時監控圖像數據輸入深度卷積神經模型中，提取出提取人臉眼部圖像、鼻唇溝圖像、嘴部圖像的深度卷積特征。優選地，所述步驟3包括：根據提取出的用戶臉部主要部位的深度卷積特征，建立并解決基于深度卷積特征決定待檢測部位是否出現不對稱的二分類問題，識別出人臉眼部、鼻唇溝、嘴部是否對稱的二分類狀態，并形成狀態時間序列。優選地，所述步驟4包括：根據人臉眼部圖像、鼻唇溝圖像、嘴部圖像狀態時間序列，或瞬時狀態，進行數據平滑、排除異常數據點操作，并檢測用戶左右臉相似度，判斷人臉部對稱性，根據狀態時間序列及對稱性結果，檢測出用戶臉部出現不對稱的異常狀態。優選地，所述步驟5包括：根據眼部狀態時間序列，計算設定時間單位內用戶的眨眼頻率，動態調整前置監控攝像頭圖像數據采樣頻率，使采樣頻率與眨眼頻率保持一致。優選地，所述深度卷積神經網絡模型能夠根據前置攝像頭所傳入不同用戶、不同光照條件的圖像數據進行實時調整，且包括日間模式與夜間模式。與現有技術相比，本專利技術具有如下的有益效果：1、本專利技術使用深度卷積神經網絡在不同光照、不同用戶的條件下有效并精確地實現了人臉對稱性及異常的實時檢測，并且具有較高的穩定性與普適性。2、本專利技術實現了攝像頭采樣頻率根據人眼時間序列的實時調整，節省了系統計算量與能源使用成本，可簡易高效地移植至各類可穿戴設備。附圖說明通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本專利技術的其它特征、目的和優點將會變得更明顯：圖1為本專利技術提供的基于臉部實時監控檢測人臉對稱性及異常方法的流程圖；圖2為本專利技術所采用的深度卷積神經網絡模型基本結構。具體實施方式下面結合具體實施例對本專利技術進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本專利技術，但不以任本文檔來自技高網...

【技術保護點】
一種基于臉部實時監控檢測人臉對稱性及異常方法，其特征在于，包括如下步驟：訓練階段步驟：建立深度卷積神經網絡模型，根據采集的用戶臉部主要部位圖像數據優化深度卷積神經網絡模型中網絡層的權重參數，并根據用戶給定的圖像數據決定出最優分類策略；測試階段步驟：實時監控用戶臉部活動，采集用戶臉部主要部位圖像數據，通過深度卷積神經網絡模型處理用戶臉部主要部位圖像，提取深度卷積特征；解決基于深度卷積特征的二分類問題，對用戶臉部主要部位分別進行狀態識別后對該主要部位進行實時對稱性檢測與異常檢測；記錄用戶眼部狀態時間序列，實時調整監控攝像頭的采樣頻率。

【技術特征摘要】
1.一種基于臉部實時監控檢測人臉對稱性及異常方法，其特征在于，包括如下步驟：訓練階段步驟：建立深度卷積神經網絡模型，根據采集的用戶臉部主要部位圖像數據優化深度卷積神經網絡模型中網絡層的權重參數，并根據用戶給定的圖像數據決定出最優分類策略；測試階段步驟：實時監控用戶臉部活動，采集用戶臉部主要部位圖像數據，通過深度卷積神經網絡模型處理用戶臉部主要部位圖像，提取深度卷積特征；解決基于深度卷積特征的二分類問題，對用戶臉部主要部位分別進行狀態識別后對該主要部位進行實時對稱性檢測與異常檢測；記錄用戶眼部狀態時間序列，實時調整監控攝像頭的采樣頻率。2.根據權利要求1所述的基于臉部實時監控檢測人臉對稱性及異常方法，其特征在于，所述訓練階段步驟包括：步驟A：采集不同用戶處于不同光照條件下的臉部主要部位圖像數據；主要部位包括以下幾個：眼睛、鼻唇溝以及嘴部；步驟B：建立深度卷積神經網絡模型，根據采集的圖像數據進行訓練，調整、優化深度卷積神經網絡各網絡層權重參數；步驟C：根據獲得的具體圖像數據及光照數據生成對應概率向量，根據用戶給定的圖像數據決定出最優分類策略。3.根據權利要求1所述的基于臉部實時監控檢測人臉對稱性及異常方法，其特征在于，所述測試階段步驟包括：步驟1：通過可穿戴式前置監控攝像頭實時監控用戶臉部活動，并傳輸用戶臉部主要部位圖像數據至服務器；其中，主要部位包括以下幾個：眼睛、鼻唇溝以及嘴部；步驟2：建立卷積神經網絡模型，提取用戶臉部主要部位圖像數據的深度卷積特征；步驟3：根據提取的深度卷積特征，建立并解決基于深度卷積特征的二分類問題，對用戶臉部主要部位圖像分別進行狀態識別，得到狀態識別結果數據；步驟4：根據狀態識別結果數據進行數據平滑、排除異常數據點操作...

【專利技術屬性】
技術研發人員：朱崚灝，陳博，宋振宇，王聰，李倩茹，田曉華，王新兵，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：上海;31