【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及圖像處理，尤其涉及一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法。
技術(shù)介紹
1、為了研究智慧課堂環(huán)境教學(xué)環(huán)境下學(xué)習(xí)者的課堂專注度、投入度、活躍度等相關(guān)課堂表現(xiàn)狀態(tài)，目前通常采集教學(xué)場(chǎng)景下的學(xué)習(xí)者視頻數(shù)據(jù)進(jìn)行分析和研究，進(jìn)而從學(xué)習(xí)者的凝視方向，也即跟隨學(xué)習(xí)者的目光注視方向分析學(xué)生在課堂上的注意力狀態(tài)。然而學(xué)習(xí)者在課堂下的目光注視情況通常是多變的，且每種目光注視情況的持續(xù)時(shí)間短暫，難以捕獲到學(xué)生在一段時(shí)間內(nèi)的目光注視情況的，當(dāng)學(xué)習(xí)者注意力不集中時(shí)，往往伴隨著注意力的偏移，這種偏移是教師所不易察覺的，也就難以判斷學(xué)生的實(shí)際學(xué)習(xí)狀態(tài)。
2、目前，課堂中的學(xué)習(xí)者凝視標(biāo)記，也即學(xué)習(xí)者的目光注視方向通常采用人工標(biāo)記的方式進(jìn)行，這種方式會(huì)導(dǎo)致學(xué)習(xí)者的凝視標(biāo)記存在一定的誤差和主觀性，容易受到標(biāo)記人員個(gè)人經(jīng)驗(yàn)的影響，不同標(biāo)記人員對(duì)同一種待標(biāo)記圖像可能會(huì)出現(xiàn)不同的標(biāo)記結(jié)果，導(dǎo)致標(biāo)記出現(xiàn)歧義，而且人工標(biāo)記會(huì)耗費(fèi)大量的人力物力。再有，由于光線的變化采集的圖像中可能存在噪點(diǎn)存在噪聲問題，進(jìn)而影響凝視計(jì)算的準(zhǔn)確度。
3、因此，目前采集圖像的清晰度的局限性以及人工對(duì)圖像進(jìn)行標(biāo)記的主觀性、歧義性在一定程度上會(huì)對(duì)學(xué)習(xí)者凝視狀態(tài)的分析產(chǎn)生影響，也就不能客觀、準(zhǔn)確的判斷學(xué)生在課堂中的注意力情況。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，用以解決上述相關(guān)技術(shù)中的缺陷，所述技術(shù)方案如下：
2、第一方面，本申請(qǐng)實(shí)施例提供一種基于元空間自反饋學(xué)習(xí)的
3、獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列；
4、將所述人臉圖像序列中的每個(gè)圖像幀輸入元空間編碼器中，提取得到每個(gè)所述圖像幀對(duì)應(yīng)的凝視特征；
5、將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模型中，通過所述擬態(tài)圖像生成模型結(jié)合帶凝視方向標(biāo)簽的預(yù)設(shè)圖像生成擬態(tài)圖像；
6、對(duì)所述擬態(tài)圖像進(jìn)行特征提取得到擬態(tài)凝視特征，對(duì)所述擬態(tài)凝視特征和所述凝視特征進(jìn)行特征拼接，輸出拼接后的凝視特征；
7、基于所述拼接后的凝視特征計(jì)算得到所述目標(biāo)學(xué)習(xí)者的凝視方向，基于所述凝視方向標(biāo)記對(duì)應(yīng)的圖像幀得到凝視標(biāo)記圖像。
8、在第一方面的一種可選方案中，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列，包括：
9、獲取所述目標(biāo)學(xué)習(xí)者的圖像序列，對(duì)所述圖像序列中的每個(gè)圖像幀進(jìn)行人臉檢測(cè)，并分別基于所述人臉檢測(cè)的結(jié)果對(duì)所述圖像序列中的每個(gè)圖像幀進(jìn)行裁剪，輸出對(duì)應(yīng)的人臉圖像序列。
10、在第一方面的一種可選方案中，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列之后，還包括：
11、通過訓(xùn)練好的擴(kuò)散模型對(duì)所述人臉圖像序列中的每個(gè)圖像幀進(jìn)行去噪處理，得到去噪后的純化圖像序列；
12、基于所述純化圖像序列執(zhí)行所述將所述人臉圖像序列中的每個(gè)圖像幀輸入元空間編碼器中，提取得到每個(gè)所述圖像幀對(duì)應(yīng)的凝視特征的步驟。
13、在第一方面的一種可選方案中，所述得到去噪后的純化圖像序列之后，還包括：
14、將所述純化圖像序列和對(duì)應(yīng)的人臉圖像序列分別輸入所述元空間編碼器中，執(zhí)行所述提取得到每個(gè)所述圖像幀對(duì)應(yīng)的凝視特征的步驟，直至計(jì)算得到所述目標(biāo)學(xué)習(xí)者在所述純化圖像序列的圖像幀中的第一凝視方向，以及所述目標(biāo)學(xué)習(xí)者在所述人臉圖像序列的圖像幀中的第二凝視方向；
15、計(jì)算所述第一凝視方向和所述第二凝視方向的凝視方向差值，若所述凝視方向差值大于預(yù)設(shè)閾值，則將所述純化圖像序列重新輸入所述元空間編碼器中，輸出基于所述純化圖像序列的圖像幀計(jì)算得到的凝視方向。
16、在第一方面的一種可選方案中，所述將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模型中，通過所述擬態(tài)圖像生成模型結(jié)合帶凝視方向標(biāo)簽的預(yù)設(shè)圖像生成擬態(tài)圖像，包括：
17、將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模型中，通過所述擬態(tài)圖像生成模型提取所述凝視特征中的眼部特征，并調(diào)整所述眼部特征和除所述眼部特征外的其他特征的分布情況，使得所述凝視特征對(duì)應(yīng)的圖像幀與所述帶凝視方向標(biāo)簽的預(yù)設(shè)圖像的特征分布情況相同；
18、結(jié)合所述凝視特征中的眼部特征以及所述帶凝視方向標(biāo)簽的預(yù)設(shè)圖像中除眼部特征以外的其他特征生成對(duì)應(yīng)的擬態(tài)圖像；
19、其中，所述訓(xùn)練好的擬態(tài)圖像生成模型基于所述帶凝視方向標(biāo)簽的預(yù)設(shè)圖像訓(xùn)練得到。
20、在第一方面的一種可選方案中，所述方法還包括：
21、基于所述目標(biāo)學(xué)習(xí)者在預(yù)設(shè)時(shí)段內(nèi)多個(gè)時(shí)刻的凝視標(biāo)記圖像，確定所述目標(biāo)學(xué)習(xí)者在所述預(yù)設(shè)時(shí)段內(nèi)的凝視方向變化情況；
22、比較所述凝視方向變化情況與凝視方向變化閾值，基于比較結(jié)果判斷所述目標(biāo)學(xué)習(xí)者在所述預(yù)設(shè)時(shí)段內(nèi)的注意力狀態(tài)。
23、第二方面，本申請(qǐng)實(shí)施例還提供一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記裝置，包括：
24、圖像序列獲取模塊，用于獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列；
25、第一凝視特征提取模塊，用于將所述人臉圖像序列中的每個(gè)圖像幀輸入元空間編碼器中，提取得到每個(gè)所述圖像幀對(duì)應(yīng)的凝視特征；
26、擬態(tài)圖像生成模塊，用于將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模型中，通過所述擬態(tài)圖像生成模型結(jié)合帶凝視方向標(biāo)簽的預(yù)設(shè)圖像生成擬態(tài)圖像；
27、第二凝視特征提取模塊，用于對(duì)所述擬態(tài)圖像進(jìn)行特征提取得到擬態(tài)凝視特征，對(duì)所述擬態(tài)凝視特征和所述凝視特征進(jìn)行特征拼接，輸出拼接后的凝視特征；
28、凝視方向標(biāo)記模塊，用于基于所述拼接后的凝視特征計(jì)算得到所述目標(biāo)學(xué)習(xí)者的凝視方向，基于所述凝視方向標(biāo)記對(duì)應(yīng)的圖像幀得到凝視標(biāo)記圖像。
29、第三方面，本申請(qǐng)實(shí)施例還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面或第一方面的任意一種實(shí)現(xiàn)方式提供的方法。
30、第四方面，本申請(qǐng)還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面或第一方面的任意一種實(shí)現(xiàn)方式提供的方法。
31、本申請(qǐng)一些實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：
32、本申請(qǐng)實(shí)施例通過采集教室內(nèi)每個(gè)學(xué)生的圖像數(shù)據(jù)，基于視頻數(shù)據(jù)分析學(xué)生的凝視方向，可以為學(xué)習(xí)注意力的評(píng)估提供了更豐富的數(shù)據(jù)支持，從而更準(zhǔn)確地評(píng)估每個(gè)學(xué)生的學(xué)習(xí)注意力。通過簡(jiǎn)單的布置，實(shí)現(xiàn)了對(duì)課堂上每個(gè)學(xué)習(xí)者凝視方向的識(shí)別，從而可以確認(rèn)每個(gè)學(xué)生在課堂上的狀態(tài)，避免了識(shí)別凝視方向的主觀性，而且能夠批量的對(duì)大規(guī)模的圖像數(shù)據(jù)進(jìn)行分別標(biāo)記，能讓教學(xué)人員專注于提高教學(xué)效果，提高教學(xué)人員的教研效率。
33、本申請(qǐng)實(shí)施例基于采集到的學(xué)習(xí)者人臉圖像序列結(jié)合帶凝視方向標(biāo)簽的預(yù)設(shè)圖像生成擬態(tài)圖像，該擬態(tài)圖像包含待標(biāo)記圖像的眼部特征，其背景、光照等其他特征都是帶凝視方向標(biāo)簽的預(yù)設(shè)圖像中的原始信息，通過這樣的方式，可以提高提取擬態(tài)圖像的凝視特征的準(zhǔn)確度并本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列，包括：
3.根據(jù)權(quán)利要求1所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列之后，還包括：
4.根據(jù)權(quán)利要求3所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述得到去噪后的純化圖像序列之后，還包括：
5.根據(jù)權(quán)利要求3所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模型中，通過所述擬態(tài)圖像生成模型結(jié)合帶凝視方向標(biāo)簽的預(yù)設(shè)圖像生成擬態(tài)圖像，包括：
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述方法還包括：
7.一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記裝置，其特征在于，包括：
8.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程
9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述方法的步驟。
...【技術(shù)特征摘要】
1.一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列，包括：
3.根據(jù)權(quán)利要求1所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述獲取目標(biāo)學(xué)習(xí)者的人臉圖像序列之后，還包括：
4.根據(jù)權(quán)利要求3所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述得到去噪后的純化圖像序列之后，還包括：
5.根據(jù)權(quán)利要求3所述的一種基于元空間自反饋學(xué)習(xí)的凝視圖像標(biāo)記方法，其特征在于，所述將所述凝視特征輸入訓(xùn)練好的擬態(tài)圖像生成模...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉海，宋裕，吳砥，劉志冰，劉婷婷，王敏紅，張昭理，李友福，卞羿琳，
申請(qǐng)(專利權(quán))人：華中師范大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。