基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法技術(shù)

本發(fā)明專利技術(shù)公布一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，該方法將眼動(dòng)模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測(cè)試階段，在學(xué)習(xí)階段得到受試者注視模型，在測(cè)試階段得到受試者眼動(dòng)特征；具體地，通過受試者注視計(jì)算機(jī)屏幕；由操作者對(duì)受試者作初步判斷確定程序運(yùn)行參數(shù)并輸入到計(jì)算機(jī)中；在學(xué)習(xí)階段獲得受試者單眼的注視模型，建立分類器h；在測(cè)試階段，得到受試者在每一特定頻率的光柵刺激時(shí)的眼動(dòng)特征作為受試者的測(cè)試樣本集；利用分類器h對(duì)測(cè)試樣本集進(jìn)行SVM分類預(yù)測(cè)得到預(yù)測(cè)值，進(jìn)行對(duì)比得到受試者的眼動(dòng)模式數(shù)據(jù)。該方法能降低獲取眼動(dòng)模式數(shù)據(jù)的成本，提高數(shù)據(jù)獲取效率和準(zhǔn)確率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法
本專利技術(shù)屬于計(jì)算機(jī)視覺領(lǐng)域，涉及一種自動(dòng)的人臉人眼位置識(shí)別和眼動(dòng)特征數(shù)據(jù)獲取方法，尤其涉及一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法。
技術(shù)介紹
眼動(dòng)(眼睛運(yùn)動(dòng))模式能夠?yàn)橐曈X加工提供大量信息。在實(shí)際應(yīng)用中，例如，針對(duì)不具備完整語言表達(dá)和肢體表達(dá)能力、智力及識(shí)別力發(fā)育水平低而注意力不能較長(zhǎng)時(shí)間保持集中的人群如嬰幼兒進(jìn)行視力篩查時(shí)，需要獲得其眼動(dòng)模式數(shù)據(jù)。目前，針對(duì)這種情況，眼動(dòng)模式數(shù)據(jù)的獲取通常采用優(yōu)先注視法，該方法需要檢查者向受試者展示光柵紙板，通過紙板中的小孔觀察受試者眼睛或頭的轉(zhuǎn)動(dòng)方向，來判斷其與紙板上的光柵圖案正確與否，從而得到受試者的眼動(dòng)模式數(shù)據(jù)，該過程是人工進(jìn)行的，不能通過計(jì)算機(jī)方法來自動(dòng)的進(jìn)行判斷，因此十分費(fèi)時(shí)費(fèi)力。其他的方法還包括視動(dòng)性眼震、視覺誘發(fā)電位等方法，但因大部分檢查方法操作更加困難繁瑣，一直難以普及。因此，現(xiàn)行的眼動(dòng)模式數(shù)據(jù)獲取方法不能實(shí)現(xiàn)自動(dòng)化，數(shù)據(jù)獲取效率低下，獲取數(shù)據(jù)的準(zhǔn)確率不高，難以做到合理、快捷地得到眼動(dòng)模式數(shù)據(jù)結(jié)果。
技術(shù)實(shí)現(xiàn)思路
為了克服上述現(xiàn)有技術(shù)的不足，本專利技術(shù)提供一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，該方法利用計(jì)算機(jī)視覺知識(shí)，通過機(jī)器學(xué)習(xí)建立受試者的注視模型，再對(duì)受試者在測(cè)試階段的眼動(dòng)特征進(jìn)行預(yù)測(cè)，從而自動(dòng)獲得受試者的眼動(dòng)模式數(shù)據(jù)。該方法能夠降低獲取眼動(dòng)模式數(shù)據(jù)的成本，提高數(shù)據(jù)獲取效率，保證獲得數(shù)據(jù)的準(zhǔn)確率。本專利技術(shù)提供的技術(shù)方案是：一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，該方法將眼動(dòng)模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測(cè)試階段，通過在學(xué)習(xí)階段得到的受試者注視模型對(duì)在測(cè)試階段得到的受試者眼動(dòng)特征進(jìn)行預(yù)測(cè)，獲取受試者的眼動(dòng)模式數(shù)據(jù)，包括如下步驟：1)布置眼動(dòng)模式數(shù)據(jù)獲取環(huán)境，保證在整個(gè)眼動(dòng)模式數(shù)據(jù)獲取過程中，受試者只能注視計(jì)算機(jī)屏幕；2)由操作者對(duì)受試者作初步判斷確定程序運(yùn)行參數(shù)并將程序運(yùn)行參數(shù)輸入到計(jì)算機(jī)中；程序運(yùn)行參數(shù)包括眼動(dòng)模式數(shù)據(jù)獲取過程中所呈現(xiàn)光柵刺激的光柵順序模式、所測(cè)試的單眼類型和采集圖像的時(shí)間間隔；呈現(xiàn)光柵刺激的光柵順序模式為多種，每種光柵順序模式包括多個(gè)特定頻率的光柵刺激；所測(cè)試的單眼類型包括左眼或右眼；3)在學(xué)習(xí)階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)圖片，同時(shí)標(biāo)定圖片呈現(xiàn)的位置為左或右，依次通過識(shí)別受試者的人臉人眼位置、進(jìn)行特征提取和SVM(SupportVectorMachine支持向量機(jī))學(xué)習(xí)得到受試者單眼的注視模型，建立分類器h；4)在測(cè)試階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激，同時(shí)標(biāo)定得到每一特定頻率的光柵刺激的位置作為真實(shí)值，通過人眼人臉位置識(shí)別得到受試者在每一特定頻率的光柵刺激的注視時(shí)段的人臉人眼位置，再通過進(jìn)行特征提取得到受試者在每一特定頻率的光柵刺激時(shí)的眼動(dòng)特征，作為受試者的測(cè)試樣本集；5)利用步驟3)建立的分類器h對(duì)步驟4)中的測(cè)試樣本集進(jìn)行SVM分類預(yù)測(cè)得到預(yù)測(cè)值，將此預(yù)測(cè)值與步驟4)中的真實(shí)值進(jìn)行對(duì)比，得到受試者注意到的光柵順序模式中光柵刺激的最高頻率，作為受試者的眼動(dòng)模式數(shù)據(jù)。上述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，在步驟5)得到受試者眼動(dòng)模式數(shù)據(jù)之后，操作者根據(jù)得到數(shù)據(jù)的情況，可以重新進(jìn)行步驟2)～步驟5)的過程，此過程中步驟2)采用的程序運(yùn)行參數(shù)可以與上一過程的步驟2)中的程序運(yùn)行參數(shù)相同；也可以選擇比上一過程的步驟2)中光柵頻率更高的一組程序運(yùn)行參數(shù)進(jìn)行，即此過程采用的程序運(yùn)行參數(shù)中呈現(xiàn)光柵刺激的光柵順序模式為比上一過程中的光柵頻率更高的光柵順序模式；或者采用的程序運(yùn)行參數(shù)中所測(cè)試的單眼類型與上一過程中所測(cè)試的單眼類型不同。上述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)獲取方法中，進(jìn)一步地，步驟1)所述運(yùn)行環(huán)境應(yīng)為安靜、黑暗的環(huán)境，受試者的眼睛與屏幕中心保持水平。在本專利技術(shù)實(shí)施例中，受試者為嬰幼兒，由家長(zhǎng)抱著坐在計(jì)算機(jī)屏幕前，使得受試者的眼睛與屏幕中心水平。步驟2)中的程序運(yùn)行參數(shù)還包括受試者圖像數(shù)據(jù)的文件名、測(cè)試開始的光柵序號(hào)、測(cè)試結(jié)束的光柵序號(hào)、每一個(gè)光柵呈現(xiàn)過程中的初始幀序號(hào)、每一個(gè)光柵呈現(xiàn)過程中的結(jié)束幀序號(hào)和PCA(PrincipalComponentAnalysis，主成分分析)降維后的維數(shù)。步驟2)所述的呈現(xiàn)光柵刺激的光柵順序模式包括多種模式，每種模式對(duì)應(yīng)不同年齡和不同視力情況的受試者，均分為10個(gè)頻率段；頻率段對(duì)應(yīng)包括的特定頻率為逐漸增加，每一特定頻率的光柵刺激都有回溯，以保證眼動(dòng)模式數(shù)據(jù)獲取的準(zhǔn)確率。在本專利技術(shù)實(shí)施例中，所呈現(xiàn)光柵刺激的光柵順序模式為三種，光柵刺激的頻率逐漸增加，每一特定頻率的光柵刺激都有回溯，以保證眼動(dòng)模式數(shù)據(jù)獲取的準(zhǔn)確率，其中：模式1的10個(gè)特定頻率對(duì)應(yīng)的頻率(周期/厘米)依次為：0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，適合0～2歲或2歲以上視力明顯有障礙的嬰幼兒；模式2的10個(gè)特定頻率對(duì)應(yīng)的頻率(周期/厘米)依次為：0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，適合1～3歲或3歲以上視力明顯有障礙的嬰幼兒；模式3的10個(gè)特定頻率對(duì)應(yīng)的頻率(周期/厘米)依次為：2.28，2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，適合2歲以上的嬰幼兒。采用不同的光柵順序模式便于簡(jiǎn)化數(shù)據(jù)獲取過程，由于操作者可以通過年齡等因素對(duì)嬰幼兒受試者的視覺大體狀況做出預(yù)估，通過選用合適的光柵順序模式就能迅速的得到嬰幼兒受試者的眼動(dòng)模式數(shù)據(jù)。步驟3)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)動(dòng)畫圖片，具體是按先左后右的順序呈現(xiàn)多次，相鄰兩次圖片呈現(xiàn)之間留有時(shí)間間隔，圖片呈現(xiàn)時(shí)伴有聲音提示；同時(shí)標(biāo)定圖片呈現(xiàn)的位置為左或右。步驟3)中的分類器h具體是根據(jù)標(biāo)定圖片的位置和受試者的單眼注視模型，通過SVM學(xué)習(xí)訓(xùn)練得到，包括受試者單眼向左看和向右看的注視模型。步驟4)中根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激具體是左右隨機(jī)出現(xiàn)，兩次光柵刺激呈現(xiàn)之間留有時(shí)間間隔；即將要呈現(xiàn)光柵刺激時(shí)，播放一段聲音，用于吸引受試者的注意。步驟3)學(xué)習(xí)階段和步驟4)測(cè)試階段中識(shí)別受試者的人臉人眼位置具體都是采用基于haar特征的分類器，對(duì)圖像的指定區(qū)域進(jìn)行人臉和人眼檢測(cè)，未檢測(cè)到則補(bǔ)全或報(bào)告錯(cuò)誤。步驟3)學(xué)習(xí)階段和步驟4)測(cè)試階段中的特征提取都包括灰度直方圖計(jì)算和PCA降維；其中，灰度直方圖計(jì)算通過分區(qū)塊的灰度直方圖算法，在利用顏色信息的同時(shí)描述眼睛虹膜的位置信息，該分區(qū)塊的灰度直方圖計(jì)算方法包括如下步驟：A.首先，得到眼睛檢測(cè)框，將其按橫坐標(biāo)等分分割成m個(gè)區(qū)塊；B.其次，針對(duì)分割得到的m個(gè)區(qū)塊中的每個(gè)區(qū)塊，統(tǒng)計(jì)計(jì)算出該區(qū)塊的直方圖特征向量；C.最后，將所有m個(gè)區(qū)塊的直方圖特征向量按順序合并得到最終向量。其中，m為整數(shù)，取值為17～30。優(yōu)選地，m取值為20。眼動(dòng)模式數(shù)據(jù)獲取方法在學(xué)習(xí)階段和測(cè)試階段進(jìn)行特征提取采用時(shí)序軌跡，用一段時(shí)間上的特征序列來判斷和分類受試者的視覺朝向，通過這種方法得到的特征向量維度非常大，所含的冗余信息也很多，需要通過PCA降維后得到受試者在每一特定頻率的光柵刺激時(shí)的眼動(dòng)特征。因此，步驟3)學(xué)習(xí)階段和步驟4)測(cè)試階段中的特征提取還包括對(duì)得本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，所述方法將眼動(dòng)模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測(cè)試階段，通過在學(xué)習(xí)階段得到的受試者注視模型對(duì)在測(cè)試階段得到的受試者眼動(dòng)特征進(jìn)行預(yù)測(cè)，獲取受試者的眼動(dòng)模式數(shù)據(jù)，包括如下步驟：1)布置眼動(dòng)模式數(shù)據(jù)獲取環(huán)境，保證在整個(gè)眼動(dòng)模式數(shù)據(jù)獲取過程中，受試者只能注視計(jì)算機(jī)屏幕；2)由操作者針對(duì)受試者情況確定程序運(yùn)行參數(shù)，將程序運(yùn)行參數(shù)輸入到計(jì)算機(jī)中；所述程序運(yùn)行參數(shù)包括呈現(xiàn)光柵刺激的光柵順序模式、所測(cè)試的單眼類型和采集圖像的時(shí)間間隔；所述呈現(xiàn)光柵刺激的光柵順序模式為多種，每種光柵順序模式包括多個(gè)特定頻率的光柵刺激；所測(cè)試的單眼類型包括左眼或右眼；3)在學(xué)習(xí)階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)圖片，同時(shí)標(biāo)定圖片呈現(xiàn)的位置為左或右，依次通過識(shí)別受試者的人臉人眼位置、進(jìn)行特征提取和SVM學(xué)習(xí)得到受試者單眼的注視模型，建立分類器h；4)在測(cè)試階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激，同時(shí)標(biāo)定每一特定頻率的光柵刺激的位置作為真實(shí)值，通過人眼人臉位置識(shí)別得到受試者在每一特定頻率光柵刺激的注視時(shí)段的人臉人眼位置，再通過進(jìn)行特征提取得到受試者在每一特定頻率的光柵刺激時(shí)的眼動(dòng)特征，作為受試者的測(cè)試樣本集；5)利用步驟3)建立的分類器h對(duì)步驟4)中的測(cè)試樣本集進(jìn)行SVM分類預(yù)測(cè)得到預(yù)測(cè)值，將此預(yù)測(cè)值與步驟4)中的真實(shí)值進(jìn)行對(duì)比，得到受試者注意到的光柵順序模式中光柵刺激的最高頻率，作為受試者的眼動(dòng)模式數(shù)據(jù)。...

【技術(shù)特征摘要】
1.一種基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，所述方法將眼動(dòng)模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測(cè)試階段，通過在學(xué)習(xí)階段得到的受試者注視模型對(duì)在測(cè)試階段得到的受試者眼動(dòng)特征進(jìn)行預(yù)測(cè)，獲取受試者的眼動(dòng)模式數(shù)據(jù)，包括如下步驟：1)布置眼動(dòng)模式數(shù)據(jù)獲取環(huán)境，保證在整個(gè)眼動(dòng)模式數(shù)據(jù)獲取過程中，受試者只能注視計(jì)算機(jī)屏幕；2)由操作者針對(duì)受試者情況確定程序運(yùn)行參數(shù)，將程序運(yùn)行參數(shù)輸入到計(jì)算機(jī)中；所述程序運(yùn)行參數(shù)包括呈現(xiàn)光柵刺激的光柵順序模式、所測(cè)試的單眼類型和采集圖像的時(shí)間間隔；所述呈現(xiàn)光柵刺激的光柵順序模式為多種，每種光柵順序模式包括多個(gè)特定頻率的光柵刺激；所測(cè)試的單眼類型包括左眼或右眼；3)在學(xué)習(xí)階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)圖片，同時(shí)標(biāo)定圖片呈現(xiàn)的位置為左或右，依次通過識(shí)別受試者的人臉人眼位置、進(jìn)行特征提取和SVM學(xué)習(xí)得到受試者單眼的注視模型，建立分類器h；4)在測(cè)試階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激，同時(shí)標(biāo)定每一特定頻率的光柵刺激的位置作為真實(shí)值，通過人眼人臉位置識(shí)別得到受試者在每一特定頻率光柵刺激的注視時(shí)段的人臉人眼位置，再通過進(jìn)行特征提取得到受試者在每一特定頻率的光柵刺激時(shí)的眼動(dòng)特征，作為受試者的測(cè)試樣本集；5)利用步驟3)建立的分類器h對(duì)步驟4)中的測(cè)試樣本集進(jìn)行SVM分類預(yù)測(cè)得到預(yù)測(cè)值，將此預(yù)測(cè)值與步驟4)中的真實(shí)值進(jìn)行對(duì)比，得到受試者注意到的光柵順序模式中光柵刺激的最高頻率，作為受試者的眼動(dòng)模式數(shù)據(jù)。2.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，其特征是，在步驟5)得到受試者眼動(dòng)模式數(shù)據(jù)之后，采用相同或不同的程序運(yùn)行參數(shù)重新進(jìn)行步驟2)～步驟5)；所述不同程序運(yùn)行參數(shù)包括呈現(xiàn)光柵刺激的光柵順序模式為光柵頻率更高的光柵順序模式或所測(cè)試的單眼類型為不同的單眼類型。3.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，其特征是，步驟2)所述程序運(yùn)行參數(shù)還包括受試者圖像數(shù)據(jù)的文件名、測(cè)試開始的光柵序號(hào)、測(cè)試結(jié)束的光柵序號(hào)、每一個(gè)光柵呈現(xiàn)過程中的初始幀序號(hào)、每一個(gè)光柵呈現(xiàn)過程中的結(jié)束幀序號(hào)和PCA降維后的維數(shù)。4.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，其特征是，所述受試者為嬰幼兒；步驟2)所述呈現(xiàn)光柵刺激的光柵順序模式為三種，分別對(duì)應(yīng)不同年齡和不同視力情況的嬰幼兒受試者，每種光柵順序模式包括十個(gè)特定頻率的光柵刺激。5.如權(quán)利要求4所述基于計(jì)算機(jī)視覺的眼動(dòng)模式數(shù)據(jù)自動(dòng)獲取方法，其特征...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊必琨，王澤亮，崔錦實(shí)，李曉清，査紅彬，王莉，
申請(qǐng)(專利權(quán))人：北京大學(xué)，
類型：發(fā)明
國(guó)別省市：北京;11