【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及眼睛檢測，尤其涉及一種眼睛狀態(tài)檢測方法、裝置、顯示界面、設(shè)備及介質(zhì)。
技術(shù)介紹
1、眨眼是眼睛健康維護(hù)的重要生理反應(yīng)，涉及眼球表面的清潔與保濕。此外，眨眼頻率還與個(gè)體的注意力、疲勞程度及眼科疾病密切相關(guān)。因此，自動化的眨眼檢測技術(shù)具有廣泛應(yīng)用，包括駕駛員疲勞監(jiān)測、注意力狀態(tài)評估等。現(xiàn)有眨眼檢測方法可分為兩類：基于生物信號和基于視頻的檢測。基于生物信號的方法通常依賴于眼電圖(eog)，盡管檢測準(zhǔn)確，但需要復(fù)雜的傳感器設(shè)備，使用場景有限。相較之下，基于視頻的方法通過分析眼部圖像或視頻，使用圖像處理技術(shù)來檢測眨眼。現(xiàn)有的視頻方法主要基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)等深度學(xué)習(xí)模型。
2、然而現(xiàn)有技術(shù)中，基于視頻的眨眼檢測存在以下主要問題：首先，許多深度學(xué)習(xí)模型，如基于長短時(shí)記憶(lstm)或復(fù)雜卷積網(wǎng)絡(luò)的模型，計(jì)算量大，對硬件要求高，無法滿足實(shí)時(shí)檢測的需求；其次，在光照變化、頭部運(yùn)動等復(fù)雜環(huán)境下，現(xiàn)有方法的檢測準(zhǔn)確性下降，尤其是在快速眨眼的情況下；最后，一些模型參數(shù)過多，訓(xùn)練和部署成本高，難以在資源受限的設(shè)備上實(shí)現(xiàn)。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述模型復(fù)雜、計(jì)算成本高、檢測魯棒性不夠、檢測精準(zhǔn)度不高的問題，本申請?zhí)峁┝艘环N眼睛狀態(tài)檢測方法、裝置、顯示界面、設(shè)備及介質(zhì)。
2、本申請第一方面提供了一種眼睛狀態(tài)檢測方法，所述方法包括：
3、獲取多幀目標(biāo)眼部圖像；
4、將每一幀所述目標(biāo)眼部圖像輸入訓(xùn)練好的預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛
5、基于所述眼睛狀態(tài)的概率識別眨眼事件。
6、在本申請的一些實(shí)施例中，所述預(yù)設(shè)分類網(wǎng)絡(luò)包括一個(gè)全局平均池化層；所述將所述目標(biāo)眼部圖像輸入預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
7、將所述目標(biāo)眼部圖像輸入所述特征提取模塊進(jìn)行特征提取，得到第一特征圖；
8、將所述第一特征圖輸入所述全局平均池化層進(jìn)行池化操作，得到第二特征圖；
9、基于所述第二特征圖進(jìn)行歸一化操作，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率。
10、在本申請的一些實(shí)施例中，所述預(yù)設(shè)分類網(wǎng)絡(luò)還包括線性模塊，所述線性模塊包含2個(gè)連續(xù)的全連接層；所述基于所述第二特征圖進(jìn)行歸一化操作，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
11、將所述第二特征圖輸入到所述線性模塊，輸出目標(biāo)向量；
12、將所述目標(biāo)向量經(jīng)過歸一化操作得到眼部處于眼睛不同狀態(tài)的概率。
13、在本申請的一些實(shí)施例中，所述基于所述眼睛狀態(tài)的概率識別眨眼事件，包括：
14、針對當(dāng)前幀目標(biāo)眼部圖像，比較與當(dāng)前幀目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率與第一概率閾值，若所述眼睛狀態(tài)的概率大于或等于第一概率閾值，則確定所述眼睛狀態(tài)是閉合狀態(tài)；
15、通過當(dāng)前幀目標(biāo)眼部圖像的前n幀圖像，確定第二概率閾值，其中n大于或等于1；
16、將所述眼睛狀態(tài)的概率和所述第二概率閾值進(jìn)行比較，根據(jù)比較結(jié)果識別眨眼事件。
17、在本申請的一些實(shí)施例中，所述通過當(dāng)前幀目標(biāo)眼部圖像的前n幀圖像，確定第二概率閾值，包括：
18、根據(jù)前n幀圖像中每一幀對應(yīng)的眼睛狀態(tài)的概率，計(jì)算前n幀眼睛狀態(tài)概率的平均值；
19、基于所述平均值，結(jié)合一個(gè)預(yù)設(shè)的偏移量，得到所述第二概率閾值。
20、在本申請的一些實(shí)施例中，所述將所述眼睛狀態(tài)的概率和所述第二概率閾值進(jìn)行比較，根據(jù)比較結(jié)果識別眨眼事件，包括：
21、若所述眼睛狀態(tài)的概率大于或等于所述第二概率閾值，則判定所述當(dāng)前幀目標(biāo)眼部圖像為閉合狀態(tài)，并確定所述當(dāng)前幀目標(biāo)眼部圖像對應(yīng)于眨眼事件。
22、在本申請的一些實(shí)施例中，所述預(yù)設(shè)分類網(wǎng)絡(luò)的訓(xùn)練方法包括：
23、獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括訓(xùn)練集和驗(yàn)證集；
24、通過所述訓(xùn)練集訓(xùn)練所述預(yù)設(shè)分類網(wǎng)絡(luò)，利用反向傳播算法對所述預(yù)設(shè)分類網(wǎng)絡(luò)的參數(shù)進(jìn)行更新；
25、使用預(yù)設(shè)優(yōu)化器對所述預(yù)設(shè)分類網(wǎng)絡(luò)的權(quán)重進(jìn)行優(yōu)化，并最小化通過交叉熵?fù)p失函數(shù)計(jì)算得到的預(yù)測誤差；
26、在每個(gè)訓(xùn)練周期結(jié)束后，使用所述驗(yàn)證集評估所述預(yù)設(shè)分類網(wǎng)絡(luò)的性能，在完成預(yù)設(shè)數(shù)量的周期且所述預(yù)設(shè)分類網(wǎng)絡(luò)達(dá)到收斂后終止訓(xùn)練。
27、在本申請的一些實(shí)施例中，所述獲取目標(biāo)眼部圖像，包括：
28、接收由攝像機(jī)捕獲的眼部視頻；
29、提取所述眼部視頻中的多幀連續(xù)的眼部圖像，將所述多幀連續(xù)的眼部圖像作為多幀目標(biāo)眼部圖像。
30、本申請第二方面提供了一種眼睛狀態(tài)檢測裝置，所述裝置包括：
31、獲取模塊，用于獲取目標(biāo)眼部圖像；
32、分類模塊，用于將所述目標(biāo)眼部圖像輸入預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率；其中，所述預(yù)設(shè)分類網(wǎng)絡(luò)是輕量級卷積神經(jīng)網(wǎng)絡(luò)，所述輕量級卷積神經(jīng)網(wǎng)絡(luò)包括特征提取模塊，所述特征提取模塊包括3個(gè)卷積層、2個(gè)最大池化層；
33、識別模塊，用于基于所述眼睛狀態(tài)的概率識別眨眼事件。
34、本申請第三方面提供了一種顯示界面，所述顯示界面用于顯示實(shí)施例中所述眼睛狀態(tài)檢測裝置的檢測結(jié)果，所述檢測結(jié)果包括預(yù)設(shè)時(shí)間段內(nèi)的眨眼次數(shù)和眨眼率。
35、本申請第四方面提供了一種電子設(shè)備，包括存儲器和處理器，存儲器中存儲有計(jì)算機(jī)可讀指令，計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)，使得處理器執(zhí)行本申請各實(shí)施例中所述的眼睛狀態(tài)檢測方法。
36、本申請第五方面提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請各實(shí)施例中所述的眼睛狀態(tài)檢測方法。
37、本申請實(shí)施例中提供的技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：
38、本申請各實(shí)施例中的所述眼睛狀態(tài)檢測方法，獲取多幀目標(biāo)眼部圖像，將每一幀所述目標(biāo)眼部圖像輸入訓(xùn)練好的預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，其中，所述預(yù)設(shè)分類網(wǎng)絡(luò)是輕量級卷積神經(jīng)網(wǎng)絡(luò)，所述輕量級卷積神經(jīng)網(wǎng)絡(luò)包括特征提取模塊，所述特征提取模塊包括3個(gè)卷積層、2個(gè)最大池化層，基于所述眼睛狀態(tài)的概率識別眨眼事件，如此，本申請運(yùn)用輕量級卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，針對每一幀圖像準(zhǔn)確預(yù)測眼睛的開閉狀態(tài)，在實(shí)時(shí)監(jiān)測的基礎(chǔ)上，確切區(qū)分自然眨眼與非眨眼活動，提高了方法的實(shí)用性。不僅如此，本申請根據(jù)眼睛狀態(tài)概率與預(yù)設(shè)閾值的比較，實(shí)現(xiàn)了對眨眼狀態(tài)的準(zhǔn)確判定，增強(qiáng)了檢測方法的靈敏度與準(zhǔn)確率，通過精細(xì)的邏輯計(jì)算，區(qū)分正常眼動和眨眼信號，有效了減少誤判。
39、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種眼睛狀態(tài)檢測方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的眼睛狀態(tài)檢測方法，其特征在于，所述預(yù)設(shè)分類網(wǎng)絡(luò)包括一個(gè)全局平均池化層；所述將所述目標(biāo)眼部圖像輸入預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
3.根據(jù)權(quán)利要求2所述的眼睛狀態(tài)檢測方法，其特征在于，所述預(yù)設(shè)分類網(wǎng)絡(luò)還包括線性模塊，所述線性模塊包含2個(gè)連續(xù)的全連接層；所述基于所述第二特征圖進(jìn)行歸一化操作，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
4.根據(jù)權(quán)利要求1所述的眼睛狀態(tài)檢測方法，其特征在于，所述基于所述眼睛狀態(tài)的概率識別眨眼事件，包括：
5.根據(jù)權(quán)利要求4所述的眼睛狀態(tài)檢測方法，其特征在于，所述通過當(dāng)前幀目標(biāo)眼部圖像的前N幀圖像，確定第二概率閾值，包括：
6.根據(jù)權(quán)利要求4所述的眼睛狀態(tài)檢測方法，其特征在于，所述將所述眼睛狀態(tài)的概率和所述第二概率閾值進(jìn)行比較，根據(jù)比較結(jié)果識別眨眼事件，包括：
7.根據(jù)權(quán)利要求1所述的眼睛狀態(tài)檢測方法，其特征在于，所述預(yù)設(shè)分類網(wǎng)絡(luò)的訓(xùn)練方法包括：
8.根據(jù)權(quán)利
9.一種眼睛狀態(tài)檢測裝置，其特征在于，所述裝置包括：
10.一種顯示界面，其特征在于，所述顯示界面用于顯示如權(quán)利要求9所述眼睛狀態(tài)檢測裝置的檢測結(jié)果，所述檢測結(jié)果包括預(yù)設(shè)時(shí)間段內(nèi)的眨眼次數(shù)和眨眼率。
11.一種電子設(shè)備，包括存儲器和處理器，其特征在于，存儲器中存儲有計(jì)算機(jī)可讀指令，計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)，使得處理器執(zhí)行如權(quán)利要求1-8任一所述的眼睛狀態(tài)檢測方法。
12.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8任一所述的眼睛狀態(tài)檢測方法。
...【技術(shù)特征摘要】
1.一種眼睛狀態(tài)檢測方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的眼睛狀態(tài)檢測方法，其特征在于，所述預(yù)設(shè)分類網(wǎng)絡(luò)包括一個(gè)全局平均池化層；所述將所述目標(biāo)眼部圖像輸入預(yù)設(shè)分類網(wǎng)絡(luò)，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
3.根據(jù)權(quán)利要求2所述的眼睛狀態(tài)檢測方法，其特征在于，所述預(yù)設(shè)分類網(wǎng)絡(luò)還包括線性模塊，所述線性模塊包含2個(gè)連續(xù)的全連接層；所述基于所述第二特征圖進(jìn)行歸一化操作，得到所述目標(biāo)眼部圖像對應(yīng)的眼睛狀態(tài)的概率，包括：
4.根據(jù)權(quán)利要求1所述的眼睛狀態(tài)檢測方法，其特征在于，所述基于所述眼睛狀態(tài)的概率識別眨眼事件，包括：
5.根據(jù)權(quán)利要求4所述的眼睛狀態(tài)檢測方法，其特征在于，所述通過當(dāng)前幀目標(biāo)眼部圖像的前n幀圖像，確定第二概率閾值，包括：
6.根據(jù)權(quán)利要求4所述的眼睛狀態(tài)檢測方法，其特征在于，所述將所述眼睛狀態(tài)的概率和所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張沕琳，劉天毅，吳凌沨，
申請(專利權(quán))人：清華大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。