本發(fā)明專利技術(shù)提供一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法與系統(tǒng)、電子設(shè)備及介質(zhì)，所述方法包括：獲取向被試呈現(xiàn)注意力測(cè)評(píng)任務(wù)視覺(jué)目標(biāo)的過(guò)程中通過(guò)眼動(dòng)追蹤器采集的所述被試的眼動(dòng)數(shù)據(jù)以及通過(guò)腦電設(shè)備采集的所述被試的腦電數(shù)據(jù)；基于所述眼動(dòng)數(shù)據(jù)提取眼動(dòng)數(shù)據(jù)特征以及基于所述腦電數(shù)據(jù)提取腦電數(shù)據(jù)特征；計(jì)算眼動(dòng)數(shù)據(jù)特征和腦電數(shù)據(jù)特征之間的相關(guān)性；根據(jù)所述相關(guān)性確定所述被試的第一注意力測(cè)評(píng)結(jié)果。采用本發(fā)明專利技術(shù)所提出的方法與系統(tǒng)，能夠?qū)崿F(xiàn)基于多模態(tài)生理信號(hào)的多角度的被試注意力測(cè)評(píng)，從而綜合的對(duì)被試的專注狀態(tài)進(jìn)行評(píng)定，注意力測(cè)評(píng)結(jié)果更加客觀與準(zhǔn)確。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及注意力測(cè)評(píng)，尤其涉及一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法與系統(tǒng)、電子設(shè)備及介質(zhì)。
技術(shù)介紹
1、在現(xiàn)有技術(shù)中，用于測(cè)評(píng)注意力高低的技術(shù)方案主要是：(1)手動(dòng)點(diǎn)擊定位目標(biāo)物體最后的位置并給出準(zhǔn)確率、反應(yīng)時(shí)間等；(2)針對(duì)準(zhǔn)確率、反應(yīng)時(shí)間等值來(lái)判斷注意力的高低。
2、但是，由于不集中注視也可以通過(guò)余光來(lái)記住任務(wù)目標(biāo)的位置。因此，使用現(xiàn)有的手動(dòng)點(diǎn)擊數(shù)據(jù)判斷注意力高低的方法是不太精確的。
3、為此，如何設(shè)計(jì)一種自動(dòng)采集數(shù)據(jù)并判斷被試的注意力高低的方法和/或系統(tǒng)，是一個(gè)亟待解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、鑒于此，本專利技術(shù)實(shí)施例提供了一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法與系統(tǒng)，以消除或改善現(xiàn)有技術(shù)中存在的一個(gè)或更多個(gè)缺陷。
2、本專利技術(shù)的一個(gè)方面提供了一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法，包括：獲取向被試呈現(xiàn)注意力測(cè)評(píng)任務(wù)視覺(jué)目標(biāo)的過(guò)程中通過(guò)眼動(dòng)追蹤器采集的所述被試的眼動(dòng)數(shù)據(jù)以及通過(guò)腦電設(shè)備采集的所述被試的腦電數(shù)據(jù)；基于所述眼動(dòng)數(shù)據(jù)提取眼動(dòng)數(shù)據(jù)特征以及基于所述腦電數(shù)據(jù)提取腦電數(shù)據(jù)特征；計(jì)算眼動(dòng)數(shù)據(jù)特征和腦電數(shù)據(jù)特征之間的相關(guān)性；根據(jù)所述相關(guān)性確定所述被試的第一注意力測(cè)評(píng)結(jié)果。
3、在本專利技術(shù)的一些實(shí)施例中，還包括基于眼動(dòng)數(shù)據(jù)計(jì)算第二注意力測(cè)評(píng)結(jié)果，該步驟包括：計(jì)算眼動(dòng)數(shù)據(jù)與所述視覺(jué)目標(biāo)的移動(dòng)路徑重合度，標(biāo)準(zhǔn)化處理所述移動(dòng)路徑重合度后的結(jié)果作為第二注意力測(cè)評(píng)結(jié)果；其中，眼動(dòng)數(shù)據(jù)包含時(shí)間戳和相應(yīng)的注視點(diǎn)坐標(biāo)。
>4、在本專利技術(shù)的一些實(shí)施例中，計(jì)算眼動(dòng)數(shù)據(jù)與所述視覺(jué)目標(biāo)的移動(dòng)路徑重合度，通過(guò)計(jì)算軌跡重合度的方式、統(tǒng)計(jì)注視區(qū)域的方式和/或計(jì)算熱力圖中重合度的方式實(shí)現(xiàn)；其中，以計(jì)算軌跡重合度的方式，計(jì)算眼動(dòng)數(shù)據(jù)與任務(wù)目標(biāo)隨機(jī)移動(dòng)路徑的重合度的步驟包括：在同一圖表中，基于眼動(dòng)數(shù)據(jù)包含的不同時(shí)間的注視點(diǎn)坐標(biāo)繪制眼動(dòng)數(shù)據(jù)軌跡，在同一時(shí)間起點(diǎn)繪制隨機(jī)移動(dòng)的任務(wù)目標(biāo)的運(yùn)動(dòng)軌跡，計(jì)算眼動(dòng)數(shù)據(jù)軌跡和任務(wù)目標(biāo)的運(yùn)動(dòng)軌跡的重合度；以統(tǒng)計(jì)注視區(qū)域的方式，計(jì)算眼動(dòng)數(shù)據(jù)與任務(wù)目標(biāo)隨機(jī)移動(dòng)路徑的重合度的步驟包括：按照隨機(jī)移動(dòng)的任務(wù)目標(biāo)的軌跡繪制任務(wù)目標(biāo)區(qū)域，統(tǒng)計(jì)眼動(dòng)數(shù)據(jù)中注視任務(wù)目標(biāo)區(qū)域的次數(shù)和總時(shí)間，根據(jù)注視任務(wù)目標(biāo)區(qū)域的次數(shù)和總時(shí)間在任務(wù)目標(biāo)隨時(shí)移動(dòng)時(shí)長(zhǎng)中所占比例計(jì)算注視區(qū)域的重合度；以計(jì)算熱力圖中重合度的方式，計(jì)算眼動(dòng)數(shù)據(jù)與任務(wù)目標(biāo)隨機(jī)移動(dòng)路徑的重合度的步驟包括：根據(jù)眼動(dòng)數(shù)據(jù)生成熱圖，根據(jù)任務(wù)目標(biāo)隨機(jī)移動(dòng)路徑繪制熱圖，對(duì)比兩個(gè)熱圖的重合度。5、在本專利技術(shù)的一些實(shí)施例中，還包括基于腦電數(shù)據(jù)計(jì)算第三注意力測(cè)評(píng)結(jié)果，該步驟包括：在腦電數(shù)據(jù)中視覺(jué)目標(biāo)出現(xiàn)時(shí)間內(nèi)按照預(yù)先確定的erp時(shí)間窗提取多個(gè)試次的erp波形，計(jì)算不同腦區(qū)在不同時(shí)刻的相位同步度，基于所述erp波形和所述相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果；其中，腦電數(shù)據(jù)包含時(shí)間戳和相應(yīng)的功率譜密度。
6、在本專利技術(shù)的一些實(shí)施例中，基于所述erp波形和所述相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果，包括：基于所述功率譜密度計(jì)算腦電數(shù)據(jù)在各個(gè)頻段在不同試次的平均功率；比較任務(wù)目標(biāo)出現(xiàn)前后的各個(gè)頻段的平均功率，使用統(tǒng)計(jì)測(cè)試方式評(píng)估平均功率是否存在顯著變化；基于統(tǒng)計(jì)測(cè)試評(píng)估結(jié)果、erp波形和相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果。
7、在本專利技術(shù)的一些實(shí)施例中，基于所述眼動(dòng)數(shù)據(jù)提取眼動(dòng)數(shù)據(jù)特征，包括：以移動(dòng)平均方式或高斯濾波方式對(duì)所述眼動(dòng)數(shù)據(jù)進(jìn)行平滑處理；對(duì)平滑處理后的眼動(dòng)數(shù)據(jù)進(jìn)行特征提取，得到所述眼動(dòng)數(shù)據(jù)特征；和/或，基于所述腦電數(shù)據(jù)提取腦電數(shù)據(jù)特征，包括：對(duì)所述腦電數(shù)據(jù)進(jìn)行濾波處理以去除電源噪聲和肌電偽影；對(duì)濾波處理后的腦電數(shù)據(jù)進(jìn)行特征提取，得到所述腦電特征數(shù)據(jù)。
8、在本專利技術(shù)的一些實(shí)施例中，所述眼動(dòng)數(shù)據(jù)特征包含平均注視持續(xù)時(shí)間和注視點(diǎn)位置的標(biāo)準(zhǔn)差，所述腦電數(shù)據(jù)特征包含α波功率和β波功率；眼動(dòng)數(shù)據(jù)特征和腦電數(shù)據(jù)特征之間的相關(guān)性包括正相關(guān)關(guān)系和負(fù)相關(guān)關(guān)系；計(jì)算眼動(dòng)數(shù)據(jù)特征和腦電數(shù)據(jù)特征之間的相關(guān)性，包括：生成眼動(dòng)數(shù)據(jù)特征在時(shí)間上變化的眼動(dòng)特征圖；生成erp數(shù)據(jù)在時(shí)間上同步變化的erp數(shù)據(jù)圖；繪制并分析眼動(dòng)數(shù)據(jù)特征和erp數(shù)據(jù)之間的關(guān)系散點(diǎn)圖，并基于關(guān)系散點(diǎn)圖分析結(jié)果輸出以眼動(dòng)數(shù)據(jù)特征為代表的眼動(dòng)數(shù)據(jù)和以erp數(shù)據(jù)為代表的腦電數(shù)據(jù)之間的相關(guān)性結(jié)果。
9、與上述方法相應(yīng)地，本專利技術(shù)的還提供了一種電子設(shè)備，包括處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序/指令，所述處理器用于執(zhí)行所述計(jì)算機(jī)程序/指令，當(dāng)所述計(jì)算機(jī)程序/指令被執(zhí)行時(shí)該系統(tǒng)實(shí)現(xiàn)如上實(shí)施例中任一項(xiàng)所述方法的步驟。
10、與上述方法相應(yīng)地，本專利技術(shù)的還提供了一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)系統(tǒng)，包括眼動(dòng)追蹤器、腦電設(shè)備和權(quán)利要求8所述的電子設(shè)備，所述眼動(dòng)追蹤器用于采集被試的眼動(dòng)數(shù)據(jù)，所述腦電設(shè)備用于采集被試的腦電數(shù)據(jù)。
11、與上述方法相應(yīng)地，本專利技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上實(shí)施例中任一項(xiàng)所述方法的步驟。
12、本專利技術(shù)所提出的基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法與系統(tǒng)，能夠基于單獨(dú)的眼動(dòng)數(shù)據(jù)、單獨(dú)的腦電數(shù)據(jù)和綜合眼動(dòng)數(shù)據(jù)與腦電數(shù)據(jù)分別得到注意力測(cè)評(píng)結(jié)果，能夠?qū)崿F(xiàn)基于多模態(tài)生理信號(hào)的多角度的被試注意力測(cè)評(píng)，從而綜合的對(duì)被試的專注狀態(tài)進(jìn)行評(píng)定，注意力測(cè)評(píng)結(jié)果更加客觀與準(zhǔn)確。
13、本專利技術(shù)的附加優(yōu)點(diǎn)、目的，以及特征將在下面的描述中將部分地加以闡述，且將對(duì)于本領(lǐng)域普通技術(shù)人員在研究下文后部分地變得明顯，或者可以根據(jù)本專利技術(shù)的實(shí)踐而獲知。本專利技術(shù)的目的和其它優(yōu)點(diǎn)可以通過(guò)在說(shuō)明書以及附圖中具體指出的結(jié)構(gòu)實(shí)現(xiàn)到并獲得。
14、本領(lǐng)域技術(shù)人員將會(huì)理解的是，能夠用本專利技術(shù)實(shí)現(xiàn)的目的和優(yōu)點(diǎn)不限于以上具體所述，并且根據(jù)以下詳細(xì)說(shuō)明將更清楚地理解本專利技術(shù)能夠?qū)崿F(xiàn)的上述和其他目的。
本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括基于眼動(dòng)數(shù)據(jù)計(jì)算第二注意力測(cè)評(píng)結(jié)果，該步驟包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，計(jì)算眼動(dòng)數(shù)據(jù)與所述視覺(jué)目標(biāo)的移動(dòng)路徑重合度，通過(guò)計(jì)算軌跡重合度的方式、統(tǒng)計(jì)注視區(qū)域的方式和/或計(jì)算熱力圖中重合度的方式實(shí)現(xiàn)；其中，
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括基于腦電數(shù)據(jù)計(jì)算第三注意力測(cè)評(píng)結(jié)果，該步驟包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述ERP波形和所述相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果，包括：基于所述功率譜密度計(jì)算腦電數(shù)據(jù)在各個(gè)頻段在不同試次的平均功率；比較任務(wù)目標(biāo)出現(xiàn)前后的各個(gè)頻段的平均功率，使用統(tǒng)計(jì)測(cè)試方式評(píng)估平均功率是否存在顯著變化；基于統(tǒng)計(jì)測(cè)試評(píng)估結(jié)果、ERP波形和相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述眼動(dòng)數(shù)據(jù)提取眼動(dòng)數(shù)據(jù)特征，包括：以移動(dòng)平均方式或高斯濾波方式對(duì)所述眼動(dòng)數(shù)據(jù)進(jìn)行平滑處理；對(duì)平滑處理后的眼動(dòng)數(shù)據(jù)進(jìn)行特征提取，得到所述眼動(dòng)數(shù)據(jù)特征；和/或，
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述眼動(dòng)數(shù)據(jù)特征包含平均注視持續(xù)時(shí)間和注視點(diǎn)位置的標(biāo)準(zhǔn)差，所述腦電數(shù)據(jù)特征包含α波功率和β波功率；眼動(dòng)數(shù)據(jù)特征和腦電數(shù)據(jù)特征之間的相關(guān)性包括正相關(guān)關(guān)系和負(fù)相關(guān)關(guān)系；
8.一種電子設(shè)備，包括處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序/指令，其特征在于，所述處理器用于執(zhí)行所述計(jì)算機(jī)程序/指令，當(dāng)所述計(jì)算機(jī)程序/指令被執(zhí)行時(shí)該系統(tǒng)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
9.一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)系統(tǒng)，其特征在于，包括眼動(dòng)追蹤器、腦電設(shè)備和權(quán)利要求8所述的電子設(shè)備，所述眼動(dòng)追蹤器用于采集被試的眼動(dòng)數(shù)據(jù)，所述腦電設(shè)備用于采集被試的腦電數(shù)據(jù)。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
...
【技術(shù)特征摘要】
1.一種基于多模態(tài)生理信號(hào)的注意力測(cè)評(píng)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括基于眼動(dòng)數(shù)據(jù)計(jì)算第二注意力測(cè)評(píng)結(jié)果，該步驟包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，計(jì)算眼動(dòng)數(shù)據(jù)與所述視覺(jué)目標(biāo)的移動(dòng)路徑重合度，通過(guò)計(jì)算軌跡重合度的方式、統(tǒng)計(jì)注視區(qū)域的方式和/或計(jì)算熱力圖中重合度的方式實(shí)現(xiàn)；其中，
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括基于腦電數(shù)據(jù)計(jì)算第三注意力測(cè)評(píng)結(jié)果，該步驟包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述erp波形和所述相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果，包括：基于所述功率譜密度計(jì)算腦電數(shù)據(jù)在各個(gè)頻段在不同試次的平均功率；比較任務(wù)目標(biāo)出現(xiàn)前后的各個(gè)頻段的平均功率，使用統(tǒng)計(jì)測(cè)試方式評(píng)估平均功率是否存在顯著變化；基于統(tǒng)計(jì)測(cè)試評(píng)估結(jié)果、erp波形和相位同步度計(jì)算第三注意力測(cè)評(píng)結(jié)果。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述眼動(dòng)數(shù)據(jù)提取眼動(dòng)數(shù)據(jù)特征，包括：以移動(dòng)平...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，
申請(qǐng)(專利權(quán))人：北京津發(fā)科技股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。