本發(fā)明專利技術(shù)公開了自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，該方法首先提取雙眼虹膜中心和眼睛內(nèi)外角點(diǎn)、嘴角點(diǎn)特征，其次由眼睛內(nèi)外角點(diǎn)與嘴角點(diǎn)構(gòu)成的矩形計(jì)算與頭部處于標(biāo)定位置時(shí)的矩形信息之間的投影映射關(guān)系，進(jìn)而對(duì)虹膜中心位置以及眼睛內(nèi)外角點(diǎn)位置進(jìn)行投影映射校正，消除頭部運(yùn)動(dòng)帶來的影響；接著，由經(jīng)校正后的左右眼虹膜中心，分別與左右眼睛內(nèi)外角點(diǎn)構(gòu)成4個(gè)向量，結(jié)合多項(xiàng)式映射模型得到實(shí)時(shí)注視點(diǎn)，最后通過支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償。本發(fā)明專利技術(shù)為自然光下的視線跟蹤提供了一種能降低頭部運(yùn)動(dòng)影響，精度高的解決方法。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及視線跟蹤
，具體涉及自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法。
技術(shù)介紹
視線跟蹤改變了人類與機(jī)器設(shè)備互動(dòng)的方式，成為新技術(shù)或系統(tǒng)創(chuàng)意的源頭，拓展了多種信息系統(tǒng)的用途，是目前人機(jī)交互研究的重要領(lǐng)域。視線跟蹤方法主要分為接觸式方法和非接觸式方法。基于攝像的非接觸式方法對(duì)用戶更為友好，具有自然和直接的優(yōu)勢(shì)，是目前視線跟蹤作為人機(jī)交互方式研究的主流方向。基于攝像的非接觸視線跟蹤方法中，自然光下的視線跟蹤算法無需其他輔助光源，能更好的進(jìn)行推廣應(yīng)用。然而，該方法的主要難點(diǎn)在于：(1)在沒有輔助紅外光源下圖像存在光照變化以及低對(duì)比度的情況下，如何精確的提取眼動(dòng)特征信息；(2)在沒有普爾欽斑點(diǎn)輔助下，尋找能代表眼睛運(yùn)動(dòng)且具有魯棒性的眼動(dòng)向量；(3)解決頭部運(yùn)動(dòng)下眼動(dòng)向量隨之變化導(dǎo)致無法準(zhǔn)確的進(jìn)行注視點(diǎn)估計(jì)問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)公開了一種自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，在自然光源下，通過提取虹膜中心、眼睛內(nèi)外角點(diǎn)以及嘴角點(diǎn)，建立基于虹膜與眼角點(diǎn)信息到屏幕注視點(diǎn)的映射模型。該方法能有效消除頭部自由運(yùn)動(dòng)對(duì)視線估計(jì)結(jié)果的影響，同時(shí)硬件需求上只需一個(gè)單目攝像頭，提高了普通攝像頭下的視線跟蹤的精度和實(shí)時(shí)性。本專利技術(shù)通過以下技術(shù)方案來實(shí)現(xiàn)：一種自然光下基于投影映射校正的視線跟蹤方法，該方法需要一個(gè)普通攝像頭，無需額外光源輔助，包含步驟：(1)攝像機(jī)采集圖像，進(jìn)行人臉定位和眼動(dòng)信息提取。(2)眼動(dòng)信息校正：通過眼睛角點(diǎn)，嘴角點(diǎn)信息計(jì)算投影映射矩陣，對(duì)虹膜中心、眼睛內(nèi)外角點(diǎn)位置進(jìn)行校正。(3)初步注視點(diǎn)估計(jì)：利用經(jīng)校正后的虹膜中心位置、眼睛內(nèi)外角點(diǎn)位置構(gòu)成二維眼動(dòng)向量，并建立二維眼動(dòng)向量到屏幕注視點(diǎn)的映射關(guān)系，根據(jù)實(shí)時(shí)的二維向量計(jì)算出實(shí)時(shí)屏幕注視點(diǎn)。(4)注視點(diǎn)補(bǔ)償：采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，修正頭部運(yùn)動(dòng)帶來的注視點(diǎn)偏差，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。上述方法中，所述步驟(1)中包括：a.采用基于Adaboost的人臉檢測(cè)算法的對(duì)采集圖像進(jìn)行人臉定位，其次采用基于局部二進(jìn)制特征回歸方法(Face Alignment via Regressing Local Binary Features)確定眼睛內(nèi)、外角點(diǎn)以及嘴角點(diǎn)的感興趣區(qū)域；b.依據(jù)不同角點(diǎn)特征的具體生理形狀分別進(jìn)行精確定位，通過Fast角點(diǎn)檢測(cè)和篩選方法得到眼睛內(nèi)角點(diǎn)和嘴角點(diǎn)定位，并采用曲線擬合方法定位眼睛外角點(diǎn)；c.根據(jù)眼睛內(nèi)外角點(diǎn)位置確定眼睛圖像，接著提取眼睛圖像的梯度特征，定位虹膜搜索起始點(diǎn)；其次，從搜索起始點(diǎn)出發(fā)，通過滑動(dòng)窗口對(duì)虹膜邊緣進(jìn)行搜索，最后根據(jù)橢圓擬合方法定位虹膜中心。上述方法中，所述步驟(2)中包括：以距離屏幕中點(diǎn)設(shè)定距離處的位置點(diǎn)為頭部標(biāo)定位置，記頭部處于頭部標(biāo)定位置且正面注視屏幕時(shí)獲取的人臉圖像為標(biāo)定圖像，計(jì)算根據(jù)所述步驟(1)定位到的眼睛外角點(diǎn)和嘴角點(diǎn)位置與標(biāo)定圖像中對(duì)應(yīng)的特征點(diǎn)位置之間的投影映射矩陣，利用該投影映射矩陣對(duì)實(shí)時(shí)獲取的眼睛內(nèi)外角點(diǎn)位置、虹膜中心位置進(jìn)行校正。上述方法中，所述步驟(3)中包括：a.根據(jù)所述步驟(2)校正后的左右虹膜中心位置，分別與校正后的左右眼睛內(nèi)外角點(diǎn)位置構(gòu)成4個(gè)眼動(dòng)向量，疊加后得到校正后的二維眼動(dòng)向量；b.頭部在標(biāo)定位置處靜止不動(dòng)時(shí)，眼睛注視屏幕上的標(biāo)定點(diǎn)，計(jì)算校正后的二維眼動(dòng)向量，根據(jù)該向量與標(biāo)定點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算多項(xiàng)式映射模型的參數(shù)；實(shí)時(shí)獲取校正后的二維眼動(dòng)向量，結(jié)合多項(xiàng)式映射模型，計(jì)算出初步注視點(diǎn)估計(jì)結(jié)果。上述方法中，所述步驟(4)中包括：訓(xùn)練支持向量回歸模型，輸入為眼睛內(nèi)角點(diǎn)間線段中點(diǎn)在圖像上的坐標(biāo)與標(biāo)定圖像相同點(diǎn)的偏移，左右眼內(nèi)外角點(diǎn)間在圖像上的距離與標(biāo)定圖像對(duì)應(yīng)的眼睛內(nèi)外角點(diǎn)間距離的比值以及圖像上內(nèi)角點(diǎn)間的連線與標(biāo)定圖像內(nèi)角點(diǎn)間連線之間的角度差；輸出為對(duì)應(yīng)的注視點(diǎn)估計(jì)結(jié)果與真實(shí)標(biāo)定點(diǎn)間的位移偏差；利用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。本專利技術(shù)的優(yōu)點(diǎn)與積極效果在于：1.自然光下缺乏有效的參考點(diǎn)，雙眼數(shù)據(jù)代表了眼睛運(yùn)動(dòng)信息。本專利技術(shù)采用左右眼虹膜中心和眼睛內(nèi)外角點(diǎn)構(gòu)造眼動(dòng)向量，能更有效的代表眼動(dòng)信息。利用滑動(dòng)窗口搜索方法定位虹膜邊緣，提高了虹膜中心定位的精度。2.本專利技術(shù)通過投影映射校正方法對(duì)虹膜中心等特征點(diǎn)位置進(jìn)行校正，同時(shí)采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，能有效降低頭部運(yùn)動(dòng)對(duì)眼動(dòng)特征的影響，視線跟蹤方法具有更好的抗頭部運(yùn)動(dòng)干擾能力。3.該方法計(jì)算量少，硬件只需要一個(gè)攝像頭。附圖說明圖1是本專利技術(shù)實(shí)施方式中顯示屏與攝像頭的布置示意圖。圖2是本專利技術(shù)實(shí)施方式中視線跟蹤方法的流程示意圖。圖3是本專利技術(shù)實(shí)施方式中滑動(dòng)窗口示意圖。圖4a、圖4b是本專利技術(shù)實(shí)施方式中屏幕上的兩種標(biāo)定點(diǎn)分布圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本專利技術(shù)的具體實(shí)施方式作進(jìn)一步說明。如圖1，本專利技術(shù)硬件配置上需要一個(gè)普通攝像頭，位于屏幕中心正上方，實(shí)時(shí)地捕捉人臉圖像。如圖2，本專利技術(shù)的具體實(shí)施步驟如下：步驟一、實(shí)時(shí)采集圖像，提取眼動(dòng)特征信息；步驟二、動(dòng)態(tài)眼動(dòng)向量校正；步驟三、構(gòu)造多項(xiàng)式映射模型；步驟四、訓(xùn)練注視點(diǎn)補(bǔ)償模型進(jìn)行注視點(diǎn)計(jì)算。其中步驟一的具體實(shí)施為：1.人臉特征點(diǎn)初定位從攝像頭獲取人臉圖像，采用基于局部二進(jìn)制特征的形狀回歸方法(Face Alignment via Regressing Local Binary Features)進(jìn)行人臉特征點(diǎn)的初定位，得到眼睛輪廓、嘴角點(diǎn)的初步位置。其次，在初步定位的基礎(chǔ)上，分別得到眼睛區(qū)域和嘴巴區(qū)域作為定位感興趣區(qū)域。2.眼動(dòng)特征提取眼動(dòng)特征信息為眼睛內(nèi)角點(diǎn)特征，眼睛外角點(diǎn)特征，嘴角點(diǎn)特征以及虹膜中心。具體實(shí)施步驟為：2.1眼睛內(nèi)角點(diǎn)定位首先由初定位得到的眼睛內(nèi)角點(diǎn)候選點(diǎn)確定內(nèi)角點(diǎn)感興趣區(qū)域，對(duì)該區(qū)域進(jìn)行FAST角點(diǎn)檢測(cè)得到角點(diǎn)候選點(diǎn)；本專利技術(shù)認(rèn)為候選點(diǎn)聚集處的點(diǎn)更有可能為眼角點(diǎn)，根據(jù)每個(gè)候選點(diǎn)周圍的候選點(diǎn)個(gè)數(shù)進(jìn)行篩選，并依據(jù)眼角點(diǎn)在眼睛中的相對(duì)位置關(guān)系，快速精確的定位到眼睛內(nèi)角點(diǎn)。2.2眼睛外角點(diǎn)定位首先通過自適應(yīng)閾值分割分離出眼睛與背景區(qū)域，從而提取到眼睛輪廓。對(duì)上下眼睛輪廓進(jìn)行曲線擬合，并計(jì)算兩條曲線擬合的交點(diǎn)，靠左邊的交點(diǎn)即為眼睛外角點(diǎn)定位。2.3嘴角點(diǎn)定位首先提取嘴巴區(qū)域圖像在Lab色彩空間中的a分量，分割出嘴唇區(qū)域。其次，確定嘴唇區(qū)域最左和最右的點(diǎn)為嘴角點(diǎn)初步位置，并對(duì)該區(qū)域進(jìn)行OTSU分割，對(duì)分割后的圖像進(jìn)行局部角點(diǎn)檢測(cè)，進(jìn)行孤立點(diǎn)濾除后，認(rèn)為候選點(diǎn)最左或最右的候選點(diǎn)為嘴角點(diǎn)位置。2.4虹膜中心定位在部分光照下，虹膜與鞏膜間的對(duì)比并不是很明顯，傳統(tǒng)的邊緣檢測(cè)算子難以精確檢測(cè)出虹膜邊緣。其次，光照變化也導(dǎo)致二值化方法難以完整的分割出虹膜區(qū)塊。因而，本專利技術(shù)提出一種基于滑動(dòng)窗口的虹膜邊緣搜索的方法，能在眼睛運(yùn)動(dòng)和姿態(tài)變化的情況下定位到虹膜邊緣，從而得到虹膜中心定位。a.搜索起始點(diǎn)定位首先提取原眼睛圖像的紅色分量圖像，并對(duì)該圖像進(jìn)行形態(tài)學(xué)的開操作以減少反射光斑的影響；其次，計(jì)算圖像預(yù)處理后的眼睛圖像的梯度特征，并尋找最多梯度向量經(jīng)過的點(diǎn)，設(shè)為搜索起始點(diǎn)。由于該方法直接通過梯度特征進(jìn)行計(jì)算，在圖像模糊、眼睛變形嚴(yán)重等情況均能得到很好的定位結(jié)果。b.虹膜邊緣搜索與虹膜中心定位如附圖3所示構(gòu)造滑動(dòng)窗口，由兩個(gè)連續(xù)的同樣大小的矩本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，其特征在于該方法需要一個(gè)普通攝像頭，無需額外光源輔助，具體包含以下步驟：（1）攝像機(jī)采集圖像，進(jìn)行人臉定位和眼動(dòng)信息提取；（2）眼動(dòng)信息校正：通過眼睛角點(diǎn)和嘴角點(diǎn)信息計(jì)算投影映射矩陣，對(duì)虹膜中心、眼睛內(nèi)外角點(diǎn)位置進(jìn)行校正；（3）初步注視點(diǎn)估計(jì)：利用經(jīng)校正后的虹膜中心位置、眼睛內(nèi)外角點(diǎn)位置構(gòu)成二維眼動(dòng)向量，并建立二維眼動(dòng)向量到屏幕注視點(diǎn)的映射關(guān)系，根據(jù)實(shí)時(shí)的二維向量計(jì)算出實(shí)時(shí)屏幕注視點(diǎn)；（4）注視點(diǎn)補(bǔ)償：采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，修正頭部運(yùn)動(dòng)帶來的注視點(diǎn)偏差，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。
【技術(shù)特征摘要】
1.自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，其特征在于該方法需要一個(gè)普通攝像頭，無需額外光源輔助，具體包含以下步驟：（1）攝像機(jī)采集圖像，進(jìn)行人臉定位和眼動(dòng)信息提取；（2）眼動(dòng)信息校正：通過眼睛角點(diǎn)和嘴角點(diǎn)信息計(jì)算投影映射矩陣，對(duì)虹膜中心、眼睛內(nèi)外角點(diǎn)位置進(jìn)行校正；（3）初步注視點(diǎn)估計(jì)：利用經(jīng)校正后的虹膜中心位置、眼睛內(nèi)外角點(diǎn)位置構(gòu)成二維眼動(dòng)向量，并建立二維眼動(dòng)向量到屏幕注視點(diǎn)的映射關(guān)系，根據(jù)實(shí)時(shí)的二維向量計(jì)算出實(shí)時(shí)屏幕注視點(diǎn)；（4）注視點(diǎn)補(bǔ)償：采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，修正頭部運(yùn)動(dòng)帶來的注視點(diǎn)偏差，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。2.根據(jù)權(quán)利要求1所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，其特征在于所述步驟(1)中包括：a. 采用基于Adaboost的人臉檢測(cè)算法的對(duì)采集圖像進(jìn)行人臉定位，其次采用基于局部二進(jìn)制特征回歸方法確定眼睛內(nèi)、外角點(diǎn)以及嘴角點(diǎn)的感興趣區(qū)域;b. 依據(jù)不同角點(diǎn)特征的具體生理形狀分別進(jìn)行精確定位，通過Fast角點(diǎn)檢測(cè)和篩選方法得到眼睛內(nèi)角點(diǎn)和嘴角點(diǎn)定位，并采用曲線擬合方法定位眼睛外角點(diǎn)；c. 根據(jù)眼睛內(nèi)外角點(diǎn)位置確定眼睛圖像，接著提取眼睛圖像的梯度特征，定位虹膜搜索起始點(diǎn)；其次，從搜索起始點(diǎn)出發(fā)，通過滑動(dòng)窗口對(duì)虹膜邊緣進(jìn)行搜索，最后根據(jù)橢圓擬合方法定位虹膜中心。3.根據(jù)權(quán)利要求2所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，其特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：秦華標(biāo)，胡大正，卓林海，
申請(qǐng)(專利權(quán))人：華南理工大學(xué)，
類型：發(fā)明
國(guó)別省市：廣東;44
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。