【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及駕駛行為監(jiān)測，具體涉及基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法與系統(tǒng)。
技術(shù)介紹
1、隨著汽車工業(yè)的發(fā)展和機動車保有量的增加，道路交通安全問題日益凸顯。駕駛過程中的異常駕駛行為，如急剎車、急加速、急轉(zhuǎn)彎等，往往是事故發(fā)生的重要前兆，嚴重威脅著人們的生命和財產(chǎn)安全。及時、準確地監(jiān)測和識別這些異常駕駛狀態(tài)，能夠有效預(yù)防事故的發(fā)生，提升道路交通的整體安全性。目前對于駕駛異常狀態(tài)的監(jiān)測方法分為兩類，為可穿戴設(shè)備和非可穿戴設(shè)備。可穿戴設(shè)備會對駕駛員的舒適度造成影響，且設(shè)備的購置和維護成本相對較高，限制了其普及性。非可穿戴設(shè)備包括在車內(nèi)安裝攝像頭、紅外傳感器和環(huán)境檢測傳感器等。車內(nèi)攝像頭通過對駕駛員面部表情的分析，包括嘴巴的開合度等特征來判斷駕駛員的駕駛狀態(tài)；紅外傳感器監(jiān)測駕駛員的眼睛閉合狀態(tài)，識別瞌睡或注意力不集中；環(huán)境檢測傳感器通過監(jiān)測周圍交通狀況、天氣和路況，輔助評估駕駛員的反應(yīng)能力和安全風(fēng)險。然而，這幾種非可穿戴設(shè)備的監(jiān)測，數(shù)據(jù)多為圖像形式，數(shù)據(jù)量大，同時受車載設(shè)備的性能影響，即使采用gan等數(shù)據(jù)壓縮算法，實時性仍舊較差，且監(jiān)測效果單一，效率低，僅能監(jiān)測駕駛員的狀態(tài)，無法監(jiān)測車輛狀態(tài)。
技術(shù)實現(xiàn)思路
1、針對可穿戴設(shè)備的成本過高、無法大范圍開展，非可穿戴設(shè)備的實時性差、計算量大、監(jiān)測效果單一的問題；本專利技術(shù)提供基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法與系統(tǒng)，在非可穿戴設(shè)備的方向中拓展，為了讀取每一時刻的隱藏狀態(tài)，使用長短期記憶網(wǎng)絡(luò)來處理連續(xù)序列的數(shù)據(jù)，提取信息；
2、本專利技術(shù)解決其技術(shù)問題所采用的技術(shù)方案是：
3、基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，所述方法包括以下步驟：
4、步驟1)在汽車行駛過程中實時讀取imu傳感器、can總線的數(shù)據(jù)，定時進行實時監(jiān)測評價。
5、步驟2)對采集到的數(shù)據(jù)進行預(yù)處理，預(yù)處理步驟包括了基于z-score方法的異常值處理、不同頻率數(shù)據(jù)的下采樣數(shù)據(jù)對齊。
6、步驟3)對imu傳感器采集的數(shù)據(jù)進行自適應(yīng)的擴展卡爾曼濾波，對can總線采集的數(shù)據(jù)使用二階巴特沃斯濾波。
7、步驟4)將can總線濾波后的油門、踏板和方向盤數(shù)據(jù)，進行特征提取。
8、步驟5)將提取出的油門踏板開度均值、油門踏板開度標(biāo)準差、油門踏板開度樣本熵、剎車踏板開度均值、剎車踏板開度標(biāo)準差、剎車踏板開度樣本熵、車輛轉(zhuǎn)向頻率、車速均值數(shù)據(jù)和imu采集的三軸角速度、三軸加速度數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)cnn、長短時記憶網(wǎng)絡(luò)lstm、多查詢注意力機制mqa，來建立車輛異常駕駛行為的監(jiān)測模型。
9、步驟6)實車運行中，將實時的can總線數(shù)據(jù)和imu數(shù)據(jù)作為監(jiān)測模型輸入，得到異常狀態(tài)判斷結(jié)果；若當(dāng)前車輛處于異常狀態(tài)，則上報數(shù)據(jù)和記錄至在線平臺。
10、執(zhí)行步驟1)–6)，從而實現(xiàn)基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法與系統(tǒng)，來及時提示和預(yù)測司機異常的駕駛狀態(tài)。
11、進一步的，所述步驟1)中，讀取imu傳感器、can總線數(shù)據(jù)，imu采集的數(shù)據(jù)包括x軸加速度、y軸加速度、z軸加速度、x軸角速度、y軸角速度、z軸角速度，can總線傳輸?shù)臄?shù)據(jù)包括時間戳、車輛制動指數(shù)、車輛油門指數(shù)、車輛轉(zhuǎn)向指數(shù)和車速，imu傳感器采樣頻率為100hz，can總線的數(shù)據(jù)獲取頻率為1000hz，每2秒進行一次監(jiān)測。
12、進一步的，所述步驟2)中，所述的預(yù)處理為：基于z-score方法的異常值處理。數(shù)據(jù)對齊包括了imu傳感器數(shù)據(jù)的時間戳與can采集的數(shù)據(jù)的時間戳對齊，由于can總線獲取頻率大于imu頻率，所以對can數(shù)據(jù)進行下采樣。
13、進一步的，所述步驟3)中，所述的針對imu的自適應(yīng)擴展卡爾曼濾波，其中對三軸加速度進行自適應(yīng)卡爾曼率濾波；對三軸角速度轉(zhuǎn)換為四元數(shù)后，進行自適應(yīng)擴展卡爾曼濾波；對can總線采集的數(shù)據(jù)的濾波方法為巴特沃斯低通濾波器。
14、進一步的，所述步驟4)中，所述的擴展數(shù)據(jù)為將濾波后的數(shù)據(jù)進行特征提取，生成如下數(shù)據(jù)：
15、油門踏板開度均值、油門踏板開度標(biāo)準差、油門踏板開度樣本熵、剎車踏板開度均值、剎車踏板開度標(biāo)準差、剎車踏板開度樣本熵、車輛轉(zhuǎn)向頻率、車速均值。
16、進一步的，所述步驟5)中，步驟四生成的數(shù)據(jù)，在建模前標(biāo)注處于異常狀態(tài)下的數(shù)據(jù)集，然后使用這些數(shù)據(jù)，借助cnn來提取數(shù)據(jù)特征；cnn輸出的特征數(shù)據(jù)進入lstm層，進一步捕捉在車輛行駛過程中，長時間與短時間序列內(nèi)的車身數(shù)據(jù)依賴關(guān)系，具體操作包括：順序經(jīng)過輸入門、遺忘門和輸出，逐步生成對異常狀態(tài)判別有用的高層次特征表示；lstm層后使用mqa層來彌補車輛行駛過程中的全局依賴關(guān)系；最后將結(jié)果ft輸入到分類器中，判斷是否存在急剎車、急轉(zhuǎn)彎、急加速、側(cè)翻和疲勞狀態(tài)。
17、本專利技術(shù)的有益效果主要表現(xiàn)在：通過對can總線和imu傳感器中的數(shù)據(jù)進行處理，判斷了駕駛過程中的異常行為，包括了急剎車、急轉(zhuǎn)彎、急加速、側(cè)翻和疲勞駕駛。相比現(xiàn)有的評價方法，該方法便于融合多個傳感器信息，使用了統(tǒng)一的cnn-lstm-mqa評價模型來同時監(jiān)測多個異常行為，降低檢測成本、增加檢測靈活性、減少計算量。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述方法包括以下步驟：
2.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟1)中，所述讀取IMU傳感器的數(shù)據(jù)包括X軸加速度、Y軸加速度、Z軸加速度、X軸角速度、Y軸角速度、Z軸角速度；
3.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟2)中，所述基于Z-Score方法的異常值處理如下：
4.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟3)中，所述的針對IMU的自適應(yīng)擴展卡爾曼濾波，其中對三軸加速度進行自適應(yīng)卡爾曼率濾波，步驟如下：
5.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟4)中，將濾波后的數(shù)據(jù)進行特征提取，包括：
6.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟5)中，將油門踏板開度均值、油門踏板開度標(biāo)準差、油門踏板開度樣本熵、剎車踏板開度均值、剎車踏板開度
7.基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測系統(tǒng)，其特征在于：包含以下模塊：
...【技術(shù)特征摘要】
1.基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述方法包括以下步驟：
2.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟1)中，所述讀取imu傳感器的數(shù)據(jù)包括x軸加速度、y軸加速度、z軸加速度、x軸角速度、y軸角速度、z軸角速度；
3.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟2)中，所述基于z-score方法的異常值處理如下：
4.如權(quán)利要求1所述的基于多模態(tài)記憶融合的高效異常駕駛狀態(tài)監(jiān)測方法，其特征在于：所述步驟3)中，所述的針對imu的自適應(yīng)擴展卡爾曼濾波，其中對...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張文安，吳耀輝，胡佛，劉浩淼，沈林強，季華，尤勝坤，
申請(專利權(quán))人：浙江工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。