【技術實現步驟摘要】
本專利技術主要涉及圖像處理技術，具體涉及一種基于面部多特征的學習者瞌睡狀態檢測算法。
技術介紹
1、傳統的教學模式中，處在真實的教室環境，老師可以及時觀察到學生的學習狀態而后及時對學生的不積極學習狀態進行干預，有利于教學的展開。而盡管當前的網絡教學模式改革帶來了相比傳統教學極高的靈活性的同時，由于時空分離，在線上課堂缺乏實時的反饋和互動，老師對學生學習時的干預作用減弱，學生之間的交互性較差，不利于老師對學生學習進程的把握。在學習者在自我管理能力有所欠缺的情況下，可以通過攝像頭記錄學習者在課堂上的相關信息，通過特定的課中狀態識別算法，在學習者出現消極的課堂行為時對其予以提醒，也便于課后對于課堂教學情況的復盤，實現良好的師生交互。
2、有研究表明，在教育場景中，學習者的清醒狀態與學習效果成正相關的關系，學生在課堂上出現瞌睡狀態時就意味著此時無法全神貫注，會極大地影響學習效果。常見的課堂瞌睡行為表現為眼神飄忽，眼睛出現不規律眨眼行為，即試圖使自己清醒的眨眼行為，頭部出現規律性的點頭，以及頻繁打哈欠等行為。因此，基于對學習者的課堂瞌睡行為的分析，本文通過pfld關鍵點模型定位出眼部區域，計算眼睛隨時間變化的睜開閉合行為，構建眨眼率指標，對學習者是否出現了困倦狀態下的眨眼動作進行判定；同時利用頭部姿態估計模型計算出描述頭部偏移情況的歐拉角，構建頭部的運動時序特征；以及計算學習者嘴部在運動速度及運動幅度兩個維度上的特征，來對學習者的哈欠行為進行全面的分析。
技術實現思路
1、專利技
2、本專利技術采用的技術方案如下：
3、步驟1，對于學習者在線課堂的視頻幀圖像，利用pfld對圖像中的面部進行關鍵點提取，獲得98個人臉關鍵點。
4、步驟2，利用步驟1得到的關鍵點定位眼部區域，通過計算眼部縱橫比，繪制眼睛睜開閉合程度隨時間的變化曲線。
5、步驟3，由步驟2得到的眼部縱橫比曲線，定義er區間，該區間表示曲線上相鄰兩個波峰之間所經過的時間，即學習者每發生一次眨眼行為經過的時間。通過測量每眨一次眼的時間間隔，以及時間間隔的變化情況，從而得到評估眨眼頻率和規律性的指標，構建眨眼變化狀態模型。
6、步驟4，基于步驟3得到的眨眼速率指標與前后幀的數據進行比對，得到眨眼速率的波動情況，對眼部活動進行進一步的定量分析。
7、步驟5，基于步驟1提取的98個人臉關鍵點對數百張具有不同頭部姿態的人臉圖片進行訓練，構建頭部姿態識別模型。
8、步驟6，將待處理圖像輸入步驟3擬合的數學模型，得到學習者的歐拉角，分別為俯仰角(pitch)、偏航角(yaw)和滾動角(roll)，并對其進行相應處理。
9、步驟7，依據步驟4得到的歐拉角數據構建時序特征即頭部歐拉角在單位時間內的變化情況，以此判定學習者是否發生瞌睡狀態下的頭部異常行為。
10、步驟8，根據步驟1提取的人臉模型定位出嘴部區域，利用幀間嘴部對應關鍵點的位置關系估算單位時間內嘴巴移動的距離，作為哈欠狀態的特征之一。
11、步驟9，為了使哈欠狀態識別更精確，在步驟8的基礎上加入嘴部開合比特征，通過計算嘴巴區域內的像素點數目得到嘴巴張開和閉合時的面積，并計算其比例來實現。
12、步驟10，通過方差分析和梯度特征消除等方法，對之前獲取的眼部眨眼率特征、頭部運動時序特征和哈欠狀態特征等信息進行處理，以消除屬性之間的共線性。
13、步驟11，經過步驟7中對數據的處理后，將構成的面部多特征數據輸入到xgboost模型，并通過參數調整和模型融合得到最終的瞌睡狀態標簽。
本文檔來自技高網...【技術保護點】
1.一種基于面部多特征的學習者瞌睡狀態識別算法，其特征在于，包括面部多特征提取和模型訓練兩部分。
2.如權利要求1所述的特征提取方法，其特征在于，包括眼部眨眼變化狀態特征提取、頭部運動時序特征提取、哈欠狀態特征提取。
3.如權利要求2所述的眼部特征提取，其特征在于，根據人臉關鍵點定位眼部區域，通過計算眼部縱橫比，繪制眼睛睜開閉合程度隨時間的變化曲線。根據相鄰波峰的時間間隔得到評估眨眼頻率和規律性的指標，得到眨眼變化狀態模型。
4.如權利要求2所述的頭部姿態特征提取，其特征在于，利用提取出來的98個人臉關鍵點對數百張包含不同頭部姿態的人臉圖片進行擬合，得到的頭部姿態識別模型，提取出學習者的俯航角pitch，偏航角yaw，滾動角roll。根據所獲得的pitch角，構建具有時序特征的俯航角變化角特征，根據此特征來判定學習者的頭部是否發生了瞌睡狀態下的異常運動狀態。
5.如權利要求2所述的哈欠狀態特征提取，其特征在于，通過人臉關鍵點定位技術準確定位嘴部區域，利用前后兩幀的關鍵點位置計算嘴巴的移動距離，然后，計算嘴巴區域內的像素點數目得到嘴巴
6.如權利要求2所述的模型訓練方法，其特征在于，通過方差分析和梯度特征消除等方法，對之前獲取的眼部眨眼變化特征、頭部運動時序特征和哈欠狀態特征等信息進行處理，以消除屬性之間的共線性，將構成的面部多特征數據輸入到XGBoost模型，并通過參數調整和模型融合得到最終的瞌睡狀態標簽。
...【技術特征摘要】
1.一種基于面部多特征的學習者瞌睡狀態識別算法，其特征在于，包括面部多特征提取和模型訓練兩部分。
2.如權利要求1所述的特征提取方法，其特征在于，包括眼部眨眼變化狀態特征提取、頭部運動時序特征提取、哈欠狀態特征提取。
3.如權利要求2所述的眼部特征提取，其特征在于，根據人臉關鍵點定位眼部區域，通過計算眼部縱橫比，繪制眼睛睜開閉合程度隨時間的變化曲線。根據相鄰波峰的時間間隔得到評估眨眼頻率和規律性的指標，得到眨眼變化狀態模型。
4.如權利要求2所述的頭部姿態特征提取，其特征在于，利用提取出來的98個人臉關鍵點對數百張包含不同頭部姿態的人臉圖片進行擬合，得到的頭部姿態識別模型，提取出學習者的俯航角pitch，偏航角yaw，滾動角roll。根據所獲得的pitch角，構建具有時序特征的俯航角變化角特征，根據此特征來判...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。