【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于駕駛員異態(tài)檢測(cè)技術(shù)，具體為一種基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法。
技術(shù)介紹
1、近年來，我國(guó)自動(dòng)駕駛技術(shù)得到了突飛猛進(jìn)的增長(zhǎng)，以其智能化和高效化給現(xiàn)代車輛交通帶來了嶄新的生產(chǎn)創(chuàng)造活力，極大地促進(jìn)了國(guó)內(nèi)智能網(wǎng)聯(lián)的穩(wěn)步發(fā)展。當(dāng)前國(guó)家極大鼓勵(lì)各研究企業(yè)投入自動(dòng)駕駛技術(shù)的開發(fā)，且為l3、l4級(jí)自動(dòng)駕駛的合法上路提供了政策支持，同時(shí)目前對(duì)于駕駛普通車輛的異態(tài)檢測(cè)預(yù)警在視覺方面也具備相對(duì)成熟的研究。但由于l3相比于之前的普通駕駛和輔助駕駛具有不同的駕駛模式，僅僅依靠視覺檢測(cè)是無法應(yīng)對(duì)自動(dòng)駕駛模式下駕駛員松懈的程度判斷。然而若駕駛員在自動(dòng)駕駛模式時(shí)過于懈怠導(dǎo)致沒有及時(shí)回應(yīng)車輛接管模式的請(qǐng)求，則很有可能給道路交通安全帶來潛在的極大隱患，這也是自動(dòng)駕駛技術(shù)想要全面推廣上路所必須思考和解決的駕駛安全挑戰(zhàn)。
2、由于當(dāng)前駕駛員異態(tài)檢測(cè)預(yù)警大多仍處于視覺檢測(cè)的階段，只能反映表面的生理指標(biāo)，無法深入了解駕駛員具體產(chǎn)生異態(tài)的原因。在自動(dòng)駕駛模式時(shí)由于駕駛員可能長(zhǎng)時(shí)間處于閉眼閉嘴且頭倚靠在座椅上的休息狀態(tài)，視覺手段難以判斷駕駛員是否進(jìn)入了無法回應(yīng)接管請(qǐng)求的深度松弛狀態(tài)，因此l3自動(dòng)駕駛技術(shù)需要一種能在兩種駕駛模式都能檢測(cè)出駕駛員異態(tài)的新型檢測(cè)方法，從而滿足自動(dòng)駕駛的安全需求。
技術(shù)實(shí)現(xiàn)思路
1、為了解決自動(dòng)駕駛技術(shù)在異態(tài)檢測(cè)預(yù)警上的不足，本專利技術(shù)提出了一種基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法。
2、實(shí)現(xiàn)本專利技術(shù)目的的技術(shù)方案為：一種基
3、步驟1：實(shí)時(shí)獲取駕駛員的面部圖像和腦電信號(hào)并在面部圖像上提取駕駛員面部特征點(diǎn)；
4、步驟2：實(shí)時(shí)計(jì)算駕駛員各類面部判斷指標(biāo)；
5、步驟3：實(shí)時(shí)對(duì)提取的腦電信號(hào)進(jìn)行去偽降噪；
6、步驟4：將計(jì)算出的面部判斷指標(biāo)和降噪后的腦電信號(hào)分別用來與正常的面部特征和腦電信號(hào)進(jìn)行對(duì)比；
7、步驟5：根據(jù)對(duì)比結(jié)果判斷駕駛員在接管駕駛和自動(dòng)駕駛下是否進(jìn)入異常狀態(tài)，并進(jìn)行預(yù)警。
8、優(yōu)選地，提取駕駛員面部特征點(diǎn)的具體步驟為：
9、初始化dlib模型人臉檢測(cè)器，創(chuàng)建面部標(biāo)志物預(yù)測(cè)；
10、使用dlib模型獲得臉部位置檢測(cè)器；
11、確定臉部位置后，使用dlib模型獲得臉部特征位置檢測(cè)器；
12、通過臉部特征位置檢測(cè)器獲取駕駛員面部特征點(diǎn)的像素坐標(biāo)，所述面部特征點(diǎn)包括左右眼輪廓特征點(diǎn)、嘴部輪廓特征點(diǎn)。
13、優(yōu)選地，各類面部判斷指標(biāo)包括：前后幀眼睛寬高比差值的絕對(duì)值ear、前后幀嘴部長(zhǎng)寬比差值的絕對(duì)值mar、前后幀頭部俯仰旋轉(zhuǎn)數(shù)據(jù)hpe、前后幀瞳孔與眼角點(diǎn)定位推理跟蹤視線方向gaze。
14、優(yōu)選地，各類面部判斷指標(biāo)的計(jì)算方法分別為：
15、根據(jù)左右眼輪廓特征點(diǎn)計(jì)算眼睛寬高比ear，具體計(jì)算公式如下：
16、
17、式中，p1～p6為左右眼各特征點(diǎn)坐標(biāo)；
18、根據(jù)嘴部輪廓特征點(diǎn)，計(jì)算嘴部長(zhǎng)寬比，具體計(jì)算公式如下：
19、
20、式中，m1～m6為嘴部各特征點(diǎn)坐標(biāo)；
21、將面部特征點(diǎn)與3d人臉模型進(jìn)行匹配；
22、求解3d世界空間坐標(biāo)和對(duì)應(yīng)2d像素點(diǎn)坐標(biāo)的轉(zhuǎn)換關(guān)系，并根據(jù)轉(zhuǎn)換關(guān)系中的旋轉(zhuǎn)矩陣求解頭部的低頭歐拉角和旋轉(zhuǎn)歐拉角，計(jì)算公式如下：
23、
24、roll＝atan(-r12,r22)
25、其中，r3×3表示旋轉(zhuǎn)矩陣，r00～r22為旋轉(zhuǎn)矩陣內(nèi)各常數(shù)值，pich指低頭歐拉角，roll指旋轉(zhuǎn)歐拉角；
26、前后幀頭部俯仰旋轉(zhuǎn)數(shù)據(jù)hpe由低頭歐拉角和旋轉(zhuǎn)歐拉角組成；
27、采用星射線迭代鎖定瞳孔中心位置，以瞳孔中心為動(dòng)點(diǎn)，眼角為定點(diǎn)，確定瞳孔中心和眼角相對(duì)位置來確定視線方向gaze。
28、優(yōu)選地，對(duì)提取的腦電信號(hào)進(jìn)行去偽降噪，具體步驟為：
29、3.1、令提取的腦電信號(hào)作為初始的估計(jì)向量w(0)，使其模值為1，令k＝1；
30、3.2、令w(k)＝e[x(w(k-1)tx)3]-3w(k-1)，x表示腦電信號(hào)的過渡向量；
31、3.3、若||w(k)tw(k-1)-1||＞δ，δ為設(shè)定的閾值，則令k＝k+1，并返回到步驟3.2執(zhí)行，反之則輸出向量w(k)，w(k)即為去偽降噪后的腦電信號(hào)。
32、優(yōu)選地，將計(jì)算出的面部判斷指標(biāo)和降噪后的腦電信號(hào)分別用來與正常的面部特征和腦電信號(hào)進(jìn)行對(duì)比，獲得對(duì)比結(jié)果的具體方法為：
33、當(dāng)ear值下降至設(shè)定閾值之下，又上升至這一設(shè)定閾值之上，則判斷為一次眨眼，若在1min內(nèi)眨眼的頻率高于設(shè)定頻次，判定為當(dāng)前駕駛狀態(tài)異常；
34、將mar值從小于閾值到大于閾值，再?gòu)拇笥陂撝档叫∮陂撝担⑶页掷m(xù)時(shí)間超過3s的過程記為一次打哈欠過程，同時(shí)設(shè)定當(dāng)1min內(nèi)打哈欠次數(shù)超過設(shè)定次數(shù)時(shí)，判定為當(dāng)前駕駛狀態(tài)異常；
35、在一個(gè)時(shí)間段，當(dāng)?shù)皖^歐拉角|pich|≥20°或者頭部?jī)A斜歐拉角|roll|≥20°的時(shí)間比例超過設(shè)定時(shí)長(zhǎng)時(shí)，則認(rèn)為當(dāng)前駕駛狀態(tài)異常；
36、當(dāng)1min內(nèi)視線方向gaze停滯于一個(gè)方向超過設(shè)定時(shí)間的次數(shù)大于設(shè)定次數(shù)時(shí)，則認(rèn)為當(dāng)前駕駛狀態(tài)異常；
37、腦電圖eeg或者腦磁圖meg中θ波與α波的比值超過1.5，或者腦血氧水平nirs中血氧飽和度低于95％，則認(rèn)為當(dāng)前駕駛狀態(tài)異常。
38、優(yōu)選地，根據(jù)對(duì)比結(jié)果判斷駕駛員在接管駕駛和自動(dòng)駕駛下是否進(jìn)入異常狀態(tài)，并進(jìn)行預(yù)警的具體方法為：
39、當(dāng)車輛處于接管駕駛模式時(shí)，若任一面部判斷指標(biāo)判斷當(dāng)前駕駛狀態(tài)異常，則確定為駕駛異常，并進(jìn)行語音警告；當(dāng)車輛處于自動(dòng)駕駛模式時(shí)，若任一腦電信號(hào)判斷為當(dāng)前駕駛狀態(tài)異常，則則確定為駕駛異常，并進(jìn)行座椅震動(dòng)刺激意識(shí)。
40、本專利技術(shù)與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為：
41、(1)本專利技術(shù)填補(bǔ)了l3自動(dòng)駕駛技術(shù)在駕駛員異態(tài)檢測(cè)預(yù)警的空白，充分思考分析了未來自動(dòng)駕駛時(shí)代雙駕駛模式下異態(tài)檢測(cè)評(píng)判指標(biāo)的差異；
42、(2)本專利技術(shù)在視覺檢測(cè)方面擴(kuò)充了檢測(cè)駕駛員異態(tài)的各類指標(biāo)，保證了接管駕駛模式下對(duì)駕駛異態(tài)進(jìn)行預(yù)警的準(zhǔn)確率；
43、(3)本專利技術(shù)吸納了腦機(jī)接口技術(shù)，并將腦電信號(hào)里的一些生理指標(biāo)與駕駛異態(tài)聯(lián)系了起來，彌補(bǔ)了自動(dòng)駕駛模式檢測(cè)駕駛員異態(tài)的難點(diǎn)；
44、(4)本專利技術(shù)將視覺感知與腦機(jī)接口進(jìn)行了合理的技術(shù)融合，能一定程度上降低駕駛異態(tài)的漏檢率。
45、本專利技術(shù)的其他特征將在隨后的說明書中闡述，并且，部分的從說明書中變得顯而易見。本專利技術(shù)的目的可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，提取駕駛員面部特征點(diǎn)的具體步驟為：
3.根據(jù)權(quán)利要求1所述的基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，各類面部判斷指標(biāo)包括：前后幀眼睛寬高比差值的絕對(duì)值EAR、前后幀嘴部長(zhǎng)寬比差值的絕對(duì)值MAR、前后幀頭部俯仰旋轉(zhuǎn)數(shù)據(jù)HPE、前后幀瞳孔與眼角點(diǎn)定位推理跟蹤視線方向GAZE。
4.根據(jù)權(quán)利要求1所述的基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，各類面部判斷指標(biāo)的計(jì)算方法分別為：
5.根據(jù)權(quán)利要求1所述的基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，對(duì)提取的腦電信號(hào)進(jìn)行去偽降噪，具體步驟為：
6.根據(jù)權(quán)利要求1所述的基于L3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，將計(jì)算出的面部判斷指標(biāo)和降噪后的腦電信號(hào)分別用來與正常的面部特征和腦電信號(hào)進(jìn)行對(duì)比，獲得對(duì)比結(jié)果的具體方法為：<...
【技術(shù)特征摘要】
1.一種基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，提取駕駛員面部特征點(diǎn)的具體步驟為：
3.根據(jù)權(quán)利要求1所述的基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征在于，各類面部判斷指標(biāo)包括：前后幀眼睛寬高比差值的絕對(duì)值ear、前后幀嘴部長(zhǎng)寬比差值的絕對(duì)值mar、前后幀頭部俯仰旋轉(zhuǎn)數(shù)據(jù)hpe、前后幀瞳孔與眼角點(diǎn)定位推理跟蹤視線方向gaze。
4.根據(jù)權(quán)利要求1所述的基于l3自動(dòng)駕駛技術(shù)的腦視融合駕駛員異態(tài)檢測(cè)預(yù)警方法，其特征...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭唐儀，彭勃碩，陳觀遙，
申請(qǐng)(專利權(quán))人：南京理工大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。