【技術(shù)實現(xiàn)步驟摘要】
本申請涉及輔助駕駛，尤其涉及一種基于面部識別的疲勞駕駛干預(yù)方法、裝置、系統(tǒng)及設(shè)備。
技術(shù)介紹
1、在道路交通安全中，需要確保駕駛員在行駛過程中保持清醒狀態(tài)。例如可以通過實時監(jiān)督并分析駕駛員的面部表情來判斷其是否處于疲勞駕駛狀態(tài)，并基于監(jiān)督分析結(jié)果自動調(diào)整車內(nèi)環(huán)境以實現(xiàn)疲勞駕駛干預(yù)，確保駕駛員的行車安全。
2、然而，由于傳統(tǒng)的面部表情識別方式(fer)通常只注重于基于面部整體來識別面部表情類別，識別結(jié)果的魯棒性較差，未能考慮到在車輛行駛過程中駕駛員會受到不同光照和遮擋情況的影響。因此基于傳統(tǒng)fer難以準(zhǔn)確識別駕駛員的面部表情，進而影響疲勞干預(yù)措施及時響應(yīng)執(zhí)行。
技術(shù)實現(xiàn)思路
1、本申請的主要目的在于提供一種基于面部識別的疲勞駕駛干預(yù)方法、裝置、系統(tǒng)及設(shè)備，旨在解決傳統(tǒng)的fer魯棒性較差，難以識別變化場景下駕駛員的面部表情，從而導(dǎo)致疲勞干預(yù)措施響應(yīng)不及時的技術(shù)問題。
2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N基于面部識別的疲勞駕駛干預(yù)方法，所述基于面部識別的疲勞駕駛干預(yù)方法包括：
3、獲取駕駛員的面部圖像序列，并基于所述面部圖像序列確定對應(yīng)的局部區(qū)域圖像序列；
4、將所述面部圖像序列以及所述局部區(qū)域圖像序列輸入至預(yù)設(shè)面部表情識別模型，獲得所述駕駛員的面部表情類別，其中，所述預(yù)設(shè)面部表情識別模型包括局部特征提取模塊以及全局特征提取模塊，所述局部特征提取模塊用于基于長短期記憶神經(jīng)網(wǎng)絡(luò)塊對所述局部區(qū)域圖像序列進行特征提取，獲得局部動態(tài)特征，所述全局特征
5、根據(jù)所述面部表情類別確定對應(yīng)的疲勞駕駛干預(yù)措施，并生成所述疲勞駕駛干預(yù)措施的執(zhí)行指令。
6、在一實施例中，所述預(yù)設(shè)面部表情識別模型還包括共享淺層特征模塊以及融合輸出模塊；
7、所述將所述面部圖像序列以及所述局部區(qū)域圖像序列輸入至預(yù)設(shè)面部表情識別模型，獲得所述駕駛員的面部表情類別的步驟，包括：
8、通過所述共享淺層特征模塊對所述面部圖像序列以及所述局部區(qū)域圖像序列進行基礎(chǔ)特征提取，獲得若干低級特征；
9、通過所述局部特征提取模塊對各所述低級特征采用長短期記憶神經(jīng)網(wǎng)絡(luò)塊進行特征提取，獲得局部動態(tài)特征；
10、通過所述全局特征提取模塊對各所述低級特征采用可變形卷積進行特征提取，獲得全局外觀特征；
11、通過所述融合輸出模塊對所述局部動態(tài)特征和所述全局外觀特征進行平均處理，獲得融合分?jǐn)?shù)，并根據(jù)所述融合分?jǐn)?shù)確定所述駕駛員的面部表情類別。
12、在一實施例中，所述通過所述局部特征提取模塊對各所述低級特征采用長短期記憶神經(jīng)網(wǎng)絡(luò)塊進行特征提取，獲得局部表情特征的步驟，包括：
13、通過長短期記憶神經(jīng)網(wǎng)絡(luò)塊對關(guān)聯(lián)所述局部區(qū)域圖像序列的初級特征進行特征提取，獲得不同局部區(qū)域?qū)?yīng)的時間特征；
14、將所述不同局部區(qū)域?qū)?yīng)的時間特征進行連接整合，獲得局部動態(tài)特征，并確定為局部高級特征。
15、在一實施例中，所述通過所述全局特征提取模塊對各所述低級特征采用可變形卷積進行特征提取，獲得全局外觀特征的步驟，包括：
16、基于自適應(yīng)選擇采樣方式，采用可變形卷積對關(guān)聯(lián)所述面部圖像序列的初級特征進行特征提取，獲得若干空間表達(dá)特征，并將各所述空間表達(dá)特征整合為全局外觀特征。
17、在一實施例中，所述通過所述融合輸出模塊對所述局部動態(tài)特征和所述全局外觀特征進行平均處理，獲得融合分?jǐn)?shù)，并根據(jù)所述融合分?jǐn)?shù)確定所述駕駛員的面部表情類別的步驟，包括：
18、對所述局部動態(tài)特征和所述全局外觀特征進行平均處理，計算不同面部表情類別對應(yīng)的融合分?jǐn)?shù)；
19、在各所述面部表情類別對應(yīng)的融合分?jǐn)?shù)中確定最大融合分?jǐn)?shù)，并將所述最大融合分?jǐn)?shù)對應(yīng)的面部表情類別作為所述駕駛員的面部表情類別；
20、其中，確定所述最大融合分?jǐn)?shù)的計算公式為：
21、
22、式中，ο為最大融合分?jǐn)?shù)對應(yīng)的面部表情類別，為平衡參數(shù)，plocal(i)為局部動態(tài)特征在面部表情類別i上的預(yù)測概率，pglobal(i)為全局外觀特征在面部表情類別i上的預(yù)測概率。
23、在一實施例中，所述根據(jù)所述面部表情類別確定對應(yīng)的疲勞駕駛干預(yù)措施，并生成所述疲勞駕駛干預(yù)措施的執(zhí)行指令的步驟，包括：
24、根據(jù)所述面部表情類別確定所述駕駛員的當(dāng)前清醒狀態(tài)，并根據(jù)所述當(dāng)前清醒狀態(tài)判斷所述駕駛員是否處于疲勞駕駛情況；
25、若是，則在預(yù)設(shè)疲勞駕駛干預(yù)措施表中查詢所述當(dāng)前清醒狀態(tài)對應(yīng)的疲勞駕駛干預(yù)措施，并生成所述疲勞駕駛干預(yù)措施的執(zhí)行指令。
26、在一實施例中，所述疲勞駕駛干預(yù)措施包括：空調(diào)調(diào)節(jié)措施以及車窗控制措施。
27、此外，為實現(xiàn)上述目的，本申請還提出一種基于面部識別的疲勞駕駛干預(yù)裝置，所述裝置包括：
28、圖像處理模塊，用于獲取駕駛員的面部圖像序列，并基于所述面部圖像序列確定對應(yīng)的局部區(qū)域圖像序列；
29、表情識別模塊，用于將所述面部圖像序列以及所述局部區(qū)域圖像序列輸入至預(yù)設(shè)面部表情識別模型，獲得所述駕駛員的面部表情類別，其中，所述預(yù)設(shè)面部表情識別模型包括局部特征提取模塊以及全局特征提取模塊，所述局部特征提取模塊用于基于長短期記憶神經(jīng)網(wǎng)絡(luò)塊對所述局部區(qū)域圖像序列進行特征提取，獲得局部動態(tài)特征，所述全局特征提取模塊用于基于可變形卷積對所述面部圖像序列進行特征提取，獲得全局外觀特征；
30、環(huán)境控制模塊，用于根據(jù)所述面部表情類別確定對應(yīng)的疲勞駕駛干預(yù)措施，并生成所述疲勞駕駛干預(yù)措施的執(zhí)行指令。
31、此外，為實現(xiàn)上述目的，本申請還提出一種基于面部識別的疲勞駕駛干預(yù)系統(tǒng)，所述系統(tǒng)包括：攝像頭、環(huán)境響應(yīng)裝置以及如上文所述的基于面部識別的疲勞駕駛干預(yù)裝置，所述疲勞駕駛調(diào)節(jié)裝置分別與所述攝像頭以及所述環(huán)境響應(yīng)裝置電連接；
32、所述攝像頭，用于實時采集所述駕駛員的面部圖像，獲得面部圖像序列，并將所述面部圖像序列發(fā)送至所述圖像處理模塊；
33、所述環(huán)境響應(yīng)裝置，用于接收所述環(huán)境控制模塊發(fā)送的執(zhí)行指令，執(zhí)行對應(yīng)的疲勞駕駛干預(yù)措施。
34、此外，為實現(xiàn)上述目的，本申請還提出一種基于面部識別的疲勞駕駛干預(yù)設(shè)備，所述基于面部識別的疲勞駕駛干預(yù)設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于面部識別的疲勞駕駛干預(yù)程序，所述基于面部識別的疲勞駕駛干預(yù)程序被所述處理器執(zhí)行時實現(xiàn)如上文所述的基于面部識別的疲勞駕駛干預(yù)方法的步驟。
35、本申請?zhí)峁┮环N基于面部識別的疲勞駕駛干預(yù)方法，通過獲取駕駛員的面部圖像序列，并基于所述面部圖像序列確定對應(yīng)的局部區(qū)域圖像序列；將所述面部圖像序列以及所述局部區(qū)域圖像序列輸入至預(yù)設(shè)面部表情識別模型，獲得所述駕駛員的面部表情類別，其中，所述預(yù)設(shè)面部表情識別模型包括局部特征提取模塊本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于面部識別的疲勞駕駛干預(yù)方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)面部表情識別模型還包括共享淺層特征模塊以及融合輸出模塊；
3.如權(quán)利要求2所述的方法，其特征在于，所述通過所述局部特征提取模塊對各所述低級特征采用長短期記憶神經(jīng)網(wǎng)絡(luò)塊進行特征提取，獲得局部表情特征的步驟，包括：
4.如權(quán)利要求2所述的方法，其特征在于，所述通過所述全局特征提取模塊對各所述低級特征采用可變形卷積進行特征提取，獲得全局外觀特征的步驟，包括：
5.如權(quán)利要求2所述的方法，其特征在于，所述通過所述融合輸出模塊對所述局部動態(tài)特征和所述全局外觀特征進行平均處理，獲得融合分?jǐn)?shù)，并根據(jù)所述融合分?jǐn)?shù)確定所述駕駛員的面部表情類別的步驟，包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述面部表情類別確定對應(yīng)的疲勞駕駛干預(yù)措施，并生成所述疲勞駕駛干預(yù)措施的執(zhí)行指令的步驟，包括：
7.如權(quán)利要求6所述的方法，其特征在于，所述疲勞駕駛干預(yù)措施包括：空調(diào)調(diào)節(jié)措施以及車窗控制措施。
8.一
9.一種基于面部識別的疲勞駕駛干預(yù)系統(tǒng)，其特征在于，所述系統(tǒng)包括：攝像頭、環(huán)境響應(yīng)裝置以及如權(quán)利要求8所述的基于面部識別的疲勞駕駛干預(yù)裝置，所述疲勞駕駛調(diào)節(jié)裝置分別與所述攝像頭以及所述環(huán)境響應(yīng)裝置電連接；
10.一種基于面部識別的疲勞駕駛干預(yù)設(shè)備，其特征在于，所述基于面部識別的疲勞駕駛干預(yù)設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于面部識別的疲勞駕駛干預(yù)程序，所述基于面部識別的疲勞駕駛干預(yù)程序被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的基于面部識別的疲勞駕駛干預(yù)方法的步驟。
...【技術(shù)特征摘要】
1.一種基于面部識別的疲勞駕駛干預(yù)方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)面部表情識別模型還包括共享淺層特征模塊以及融合輸出模塊；
3.如權(quán)利要求2所述的方法，其特征在于，所述通過所述局部特征提取模塊對各所述低級特征采用長短期記憶神經(jīng)網(wǎng)絡(luò)塊進行特征提取，獲得局部表情特征的步驟，包括：
4.如權(quán)利要求2所述的方法，其特征在于，所述通過所述全局特征提取模塊對各所述低級特征采用可變形卷積進行特征提取，獲得全局外觀特征的步驟，包括：
5.如權(quán)利要求2所述的方法，其特征在于，所述通過所述融合輸出模塊對所述局部動態(tài)特征和所述全局外觀特征進行平均處理，獲得融合分?jǐn)?shù)，并根據(jù)所述融合分?jǐn)?shù)確定所述駕駛員的面部表情類別的步驟，包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述面部表情類別確定對應(yīng)的疲...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：段淞瀚，徐萌，李瑤，劉雨璇，李沐蓉，
申請(專利權(quán))人：東風(fēng)汽車集團股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。