【技術實現(xiàn)步驟摘要】
本專利技術涉及疲勞駕駛，特別涉及一種駕駛員疲勞監(jiān)測方法、裝置、計算機設備及介質。
技術介紹
1、隨著汽車的普及和道路交通的日益繁忙，駕駛員疲勞駕駛導致的交通事故頻發(fā)，成為道路交通安全的重要隱患。
2、現(xiàn)有駕駛員疲勞檢測技術大多是基于面部關鍵點的檢測，得到眼部和嘴部的關鍵點信息，然后計算其開合度來判斷駕駛員是否處于疲勞狀態(tài)，這種基于淺層面部特征的技術，常常會將一些在圖像成像層面上眼部開合度小的情形進行錯誤檢測，比如會將“向下看”狀態(tài)錯誤識別為“疲勞”，導致出現(xiàn)疲勞誤報。另外，也有一些基于卷積網(wǎng)絡進行高層特征提取并再利用時序網(wǎng)絡進行多幀特征信息輸入來判斷疲勞的技術，但由于高層特征提取是基于整個面部，其對疲勞特征的捕捉并不如眼部區(qū)域，即使卷積網(wǎng)絡中加入注意力機制，也常常會在新場景上出現(xiàn)較差的泛化性，導致出現(xiàn)疲勞漏報。
3、專利cn202210679109.7提出了一種基于時序的端到端疲勞駕駛檢測方法，該方法使用帶有注意力機制的卷積網(wǎng)絡提取各幀圖像的高層特征，然后將連續(xù)幀的高層特征輸入到長短時記憶神經(jīng)網(wǎng)絡，得到疲勞的預測結果。為了使得基于時序預測的疲勞檢測在一些復雜場景能有一定的泛化性，該方法雖然通過模擬光照變化和相機位置變化對訓練集進行了拓展，基于原有訓練集訓練好模型后，再使用拓展的訓練集二次訓練了模型，泛化能力其實改善有限。一方面是由于擴展的數(shù)據(jù)集并不能模擬各種復雜環(huán)境，二方面是由于駕駛員面部信息豐富，且不同駕駛員的疲勞形態(tài)也存在差異，僅基于面部特征進行高層特征提取較難捕捉到抽象的疲勞特征，即使加入注意力機制
4、因此，開發(fā)一種基于時序且多特征融合的駕駛員疲勞檢測系統(tǒng)，實現(xiàn)對駕駛員疲勞狀態(tài)的全面、精準檢測，對于提高駕駛員安全性具有重要的現(xiàn)實意義和應用價值。
技術實現(xiàn)思路
1、有鑒于此，本專利技術實施例提供了提出一種新型時序網(wǎng)絡的駕駛員疲勞監(jiān)測方法，以解決現(xiàn)有疲勞檢測技術中的誤報和漏報問題。
2、為了達成上述目的，本專利技術提供了一種駕駛員疲勞監(jiān)測方法，包括：
3、針對每幀駕駛員的上半身圖像，通過人臉關鍵點檢測網(wǎng)絡得到該幀圖像的駕駛員的人臉關鍵點，基于所述人臉關鍵點確定出該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域，基于所述人臉關鍵點判斷該幀圖像的眼部狀態(tài)和嘴部狀態(tài)；
4、將該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域輸入特征提取模型，提取各自區(qū)域的高層特征，并將各區(qū)域的高層特征進行融合獲得該幀圖像的組合特征；
5、將連續(xù)多幀的圖像的組合特征輸入到反饋式時序網(wǎng)絡中，進行特征反饋預測，獲得初始疲勞狀態(tài)；
6、根據(jù)連續(xù)多幀的圖像的眼部狀態(tài)和嘴部狀態(tài)，確定初始眼部狀態(tài)和初始嘴部狀態(tài)；
7、將所述初始眼部狀態(tài)、所述初始嘴部狀態(tài)和所述初始疲勞狀態(tài)進行加權整合，得到最終的疲勞估計結果。
8、本專利技術所提供的駕駛員疲勞監(jiān)測方法，還具有這樣的特征，所述基于所述人臉關鍵點確定出該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域，包括：
9、基于所述人臉關鍵點中所有面部輪廓關鍵點形成的最小外接矩形確定出該幀圖像的面部roi區(qū)域，基于所述人臉關鍵點中所有眼部關鍵點形成的最小外接矩形確定出眼部roi區(qū)域，基于所述人臉關鍵點中所有嘴部關鍵點形成的最小外接矩形確定出嘴部roi區(qū)域。
10、本專利技術所提供的駕駛員疲勞監(jiān)測方法，還具有這樣的特征，基于所述人臉關鍵點中所有面部輪廓關鍵點形成的最小外接矩形確定出該幀圖像的面部roi區(qū)域，基于所述人臉關鍵點中所有眼部關鍵點形成的最小外接矩形確定出眼部roi區(qū)域，基于所述人臉關鍵點中所有嘴部關鍵點形成的最小外接矩形確定出嘴部roi區(qū)域，包括：
11、面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域分別通過以下公式確定：
12、region(eye)＝rect(eye)+d1
13、region(mouth)＝rect(mouth)+d2
14、region(face)＝rect(face)+d3
15、d1＝{(-0.2d1,-0.2d1),(0.2d1,0.2d1)}
16、d2＝{(-0.2d2,-0.2d2),(0.2d2,0.2d2)}
17、d3＝{(-0.2d3,-0.2d4),(0.2d3,0.2d4)}
18、其中，region(eye)為眼部roi區(qū)域、region(mouth)為嘴部roi區(qū)域、region(face)為面部roi區(qū)域，di(i＝1,2,3)分別表示對rect(eye)、rect(mouth)、rect(face)的區(qū)域擴邊，使得三個roi區(qū)域能包含眼部、嘴部、面部和附近像素，d1表示眼寬，即眼部最小外接矩形rect(eye)的寬度；d2表示嘴寬，即嘴部最小外接矩形rect(mouth)的寬度；d3表示面寬，即面部最小外接矩形rect(face)的寬度；d4表示面高，即面部最小外接矩形rect(face)的高度。
19、本專利技術所提供的駕駛員疲勞監(jiān)測方法，還具有這樣的特征，所述將該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域輸入特征提取模型，提取各自區(qū)域的高層特征，并將各區(qū)域的高層特征進行融合獲得該幀圖像的組合特征，包括：
20、將面部roi區(qū)域輸入所述特征提取模型中的第一多層卷積層，提取得到第一高層特征；將眼部roi區(qū)域輸入所述特征提取模型中的第二多層卷積層，提取得到第二高層特征；將嘴部roi區(qū)域輸入所述特征提取模型中的第三多層卷積層，提取得到第三高層特征，其中，所述第一多層卷積層、所述第二多層卷積層和所述第三多層卷積層之間是權重參數(shù)共享的；
21、將所述第一高層特征、所述第二高層特征和所述第三高層特征進行組合，獲得該幀圖像的組合特征。
22、本專利技術所提供的駕駛員疲勞監(jiān)測方法，還具有這樣的特征，所述將連續(xù)多幀的圖像的組合特征輸入到反饋式時序網(wǎng)絡中，進行特征反饋，獲得初始疲勞狀態(tài)，包括：
23、連續(xù)多幀的圖像的所述組合特征形成預設長度的時序序列，在每個時序窗口中，反饋式時序網(wǎng)絡輸出當前時序窗口下的輸出時序特征、疲勞預測概率值和非疲勞概率預測值，并將當前時序窗口下的輸出時序特征和下一時序窗口下需輸入的時序序列，在下一個時序窗口中同時輸入所述反饋式時序網(wǎng)絡，直至推理迭代預設次數(shù)，輸出所述初始疲勞狀態(tài)，所述初始疲勞狀態(tài)包括初始疲勞預測概率值和初始非疲勞概率預測值，所述預設次數(shù)與連續(xù)多幀的圖像的數(shù)量相同。
24、本專利技術所提供的駕駛員疲勞監(jiān)測方法，還具有這樣的特征，將所述初始眼部狀態(tài)、所述初始嘴部狀態(tài)和所述初始疲勞狀態(tài)進行加權整合，得到最終的疲勞估計結果，包括：
25、將所述初始疲勞狀態(tài)中的初始疲勞預測概率值與所述初始眼部狀態(tài)中的閉眼狀態(tài)值和瞇眼狀態(tài)值進行加權組合，得到閉本文檔來自技高網(wǎng)...
【技術保護點】
1.一種駕駛員疲勞監(jiān)測方法，其特征在于，包括：
2.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述基于所述人臉關鍵點確定出該幀圖像的面部ROI區(qū)域、眼部ROI區(qū)域和嘴部ROI區(qū)域，包括：
3.根據(jù)權利要求1所述駕駛員疲勞監(jiān)測方法，其特征在于，
4.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述將該幀圖像的面部ROI區(qū)域、眼部ROI區(qū)域和嘴部ROI區(qū)域輸入特征提取模型，提取各自區(qū)域的高層特征，并將各區(qū)域的高層特征進行融合獲得該幀圖像的組合特征，包括：
5.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述將連續(xù)多幀的圖像的組合特征輸入到反饋式時序網(wǎng)絡中，進行特征反饋，獲得初始疲勞狀態(tài)，包括：
6.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，將所述初始眼部狀態(tài)、所述初始嘴部狀態(tài)和所述初始疲勞狀態(tài)進行加權整合，得到最終的疲勞估計結果，包括：
7.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，根據(jù)所述閉眼疲勞最終狀態(tài)值與第一閾值的大小關系，或所述打哈欠疲勞最終狀態(tài)值與第二閾值的
8.一種駕駛員疲勞監(jiān)測裝置，其特征在于，包括：
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權利要求1至7中任一項所述的駕駛員疲勞監(jiān)測方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執(zhí)行權利要求1至7中任一項所述的駕駛員疲勞監(jiān)測方法。
...【技術特征摘要】
1.一種駕駛員疲勞監(jiān)測方法，其特征在于，包括：
2.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述基于所述人臉關鍵點確定出該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域，包括：
3.根據(jù)權利要求1所述駕駛員疲勞監(jiān)測方法，其特征在于，
4.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述將該幀圖像的面部roi區(qū)域、眼部roi區(qū)域和嘴部roi區(qū)域輸入特征提取模型，提取各自區(qū)域的高層特征，并將各區(qū)域的高層特征進行融合獲得該幀圖像的組合特征，包括：
5.根據(jù)權利要求1所述的駕駛員疲勞監(jiān)測方法，其特征在于，所述將連續(xù)多幀的圖像的組合特征輸入到反饋式時序網(wǎng)絡中，進行特征反饋，獲得初始疲勞狀態(tài)，包括：
6.根據(jù)權利要求1所述的駕駛...
【專利技術屬性】
技術研發(fā)人員：馬村，周偉松，王雅儒，王述良，程建偉，
申請(專利權)人：武漢極目智能技術有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。