【技術實現(xiàn)步驟摘要】
本專利技術涉及駕駛員疲勞駕駛檢測方法領域，尤其涉及一種基于tsam-atfm的駕駛員疲勞駕駛檢測方法。
技術介紹
1、隨著汽車普及率的不斷提升，因疲勞駕駛而導致的交通事故也在不斷增多。疲勞駕駛被認為是引發(fā)交通事故的重要原因之一，在某種程度上認為疲勞駕駛和酒后駕駛一樣危險，因此對駕駛員進行疲勞狀態(tài)檢測并進行報警至關重要。
2、近年來，為了保證駕駛員安全駕駛，減少交通事故的發(fā)生，人們提出許多駕駛員疲勞檢測方法。目前疲勞駕駛檢測方法主要分為三類：基于駕駛員生理信號的檢測方法、基于駕駛員車輛行為的檢測方法和基于視覺特征的檢測方法。基于駕駛員生理信號的檢測方法主要提取人體的生理特征來預測疲勞，例如心電、腦電信號，這類方法需要駕駛員佩戴檢測儀器，從而對駕駛員造成不便，因此不適合實際環(huán)境中使用。基于駕駛員車輛行為的檢測方法通過對方向盤、車道軌跡、身體姿勢等一些體現(xiàn)駕駛員狀態(tài)的車輛行為進行檢測，判斷駕駛員是否疲勞，這類方法容易受到駕駛員自身習慣以及周邊道路等環(huán)境的影響，魯棒性較差。基于視覺特征的檢測方法具有非接觸性，實時性，成本低等優(yōu)點，因此成為目前疲勞駕駛檢測中的主流方法。
3、基于視覺特征的檢測方法首先提取圖像中的疲勞特征，例如駕駛員的眼睛閉合時間、頭部的姿態(tài)和嘴部是否打哈欠，然后根據(jù)疲勞特征得到疲勞結果。有的現(xiàn)有技術采用4個網(wǎng)絡分別對駕駛員手勢、面部表情、行為特征和頭部運動做檢測得到4個模型結果，最后經(jīng)過softmax函數(shù)得到疲勞預測結果。另有現(xiàn)有技術提出一種各向同性自監(jiān)督學習方法學習圖像的強大表示，不依賴人為標注
4、上述現(xiàn)有方法雖然能很好地提取圖像的疲勞特征，但提取的特征多是空間特征。疲勞是一個持續(xù)性的狀態(tài)，單幀圖片不能代表整個疲勞狀態(tài)，缺少了時間連續(xù)性。為解決這些問題，現(xiàn)有技術通過基于視覺的檢測方法，采用靜態(tài)圖片作為處理對象，但缺乏足夠的時間特征。雖然通過lstm、rnn等模型可以提取部分時間特征，但仍沒有充分利用時間特征，依然缺乏長時間的時間特征，難以進行視頻行為識別。
5、現(xiàn)有視頻行為識別的方法主要分為兩種方法：一種是3d網(wǎng)絡，此類方法額外引入了一個時間維度，直接提取視頻時間特征，但是此類方法的參數(shù)量也大幅提升，對硬件設備要求高。另一種是雙流2d網(wǎng)絡，此類方法引入時間流網(wǎng)絡，從光流中提取視頻的時間特征，最終將空間流網(wǎng)絡和時間流網(wǎng)絡的預測結果融合在一起得到結果，然而計算和存儲代價昂貴，并且在最后的分數(shù)融合階段，不同視頻幀對疲勞預測結果的影響沒有被考慮到。
6、綜上所述，現(xiàn)有的疲勞檢測方法大多利用靜態(tài)圖像，缺乏時間特征，而基于視頻識別的3d網(wǎng)絡的參數(shù)量過多，雙流網(wǎng)絡中光流計算復雜并且忽略了不同幀對結果的影響，因此各種現(xiàn)有的疲勞駕駛檢測方法的精準度均有待提高。
技術實現(xiàn)思路
1、本專利技術的目的是提供一種基于tsam-atfm的駕駛員疲勞駕駛檢測方法，自適應提取視頻的時空特征，提高疲勞預測準確率。
2、本專利技術為解決上述技術問題所采用的技術方案是：一種基于tsam-atfm的駕駛員疲勞駕駛檢測方法，包括以下步驟：
3、步驟一、數(shù)據(jù)預處理
4、從疲勞檢測視頻數(shù)據(jù)集中獲取視頻文件，將視頻文件裁剪成時長1-4秒的視頻片段，然后對視頻片段進行跨步采樣，將視頻片段根據(jù)時間順序分解為t個幀數(shù)相同的采樣片段，然后從每一個采樣片段中隨機采樣一幀，將t個采樣幀根據(jù)采樣片段的時間順序組合成一個t幀的幀序列，再對幀序列進行視覺增強處理；
5、步驟二、通過tsnet從幀序列中提取疲勞時空特征，得到每一幀的疲勞分類分數(shù)
6、所述的tsnet（temporal?spatial?adaptive?net）包括一個頭部神經(jīng)網(wǎng)絡和七個階段神經(jīng)網(wǎng)絡，頭部神經(jīng)網(wǎng)絡為一個3×3卷積，七個階段神經(jīng)網(wǎng)絡根據(jù)序號1-7的順序依次對數(shù)據(jù)進行處理，其中1、2、3號階段神經(jīng)網(wǎng)絡由fused-mbconv模塊組成，4、5、6號階段神經(jīng)網(wǎng)絡由tsam-mbconv模塊和mbconv模塊堆疊組成，7號階段神經(jīng)網(wǎng)絡由1×1卷積層、池化層以及全連接層組成；
7、所述的tsam-mbconv模塊由時空自適應模塊（tsam）、兩個1×1卷積、一個深度可分離卷積以及一個隨機深度模塊（stochastic?depth）組成，tsam-mbconv模塊的數(shù)據(jù)處理流程為，首先通過1×1卷積對通道數(shù)進行擴展，再通過深度可分離卷積降低參數(shù)量，然后通過tsam提取幀序列的時間特征和空間特征，再通過1×1卷積對通道數(shù)進行壓縮，最后使特征通過stochastic?depth模塊并與殘差連接相加；
8、所述的fused-mbconv模塊由一個3×3卷積、一個1×1卷積以及一個隨機深度模塊（stochastic?depth）組成，fused-mbconv模塊的數(shù)據(jù)處理流程為，首先通過3×3卷積對通道數(shù)進行擴展，然后通過1×1卷積對通道數(shù)進行壓縮，最后使特征通過stochastic?depth模塊并與殘差連接相加；
9、所述的mbconv模塊由兩個1×1卷積、一個深度可分離卷積、一個se模塊以及一個隨機深度模塊（stochastic?depth）組成，mbconv模塊的數(shù)據(jù)處理流程為，首先通過1×1卷積對通道數(shù)進行擴展，再通過深度可分離卷積降低參數(shù)量，然后經(jīng)過se模塊處理后通過1×1卷積對通道數(shù)進行壓縮，最后使特征通過stochastic?depth模塊并與殘差連接相加；
10、步驟三、通過atfm融合各個幀的疲勞分類分數(shù)，得到疲勞預測結果
11、所述的atfm（adaptive?temporal?fusion?module）包括全連接層、softmax函數(shù)以及激活函數(shù)，atfm的數(shù)據(jù)處理流程為，首先輸入特征 x到全連接層學習權重，通過softmax函數(shù)對權重歸一化，然后將特征 x與權重 w逐元素相乘，得到，然后將t個時間片段通過 fusion融合為1個，最后通過全連接層得到疲勞預測結果；
12、atfm的計算流程為：
13、（10）；
14、（11）；
15、上式中，t代表時間維度，c代表類別數(shù)目，e代表逐元素相乘， fc代表全連接層，relu代表激活函數(shù)，softmax代表對權重進行歸一化， fusion代表在時間維度上融合， y代表疲勞預測結果。
16、時空自適應模塊（tsam）由局部分支 l、全局分支 g以及一個全局空間平均池化（ pool_2d）組成，局部分支 本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于TSAM-ATFM的駕駛員疲勞駕駛檢測方法，其特征在于，包括以下步驟：
2.根據(jù)權利要求1所述的一種基于TSAM-ATFM的駕駛員疲勞駕駛檢測方法，其特征在于：時空自適應模塊（TSAM）由局部分支L、全局分支G以及一個全局空間平均池化（Pool_2D）組成，局部分支L包括通道局部分支Lc和空間局部分支Ls，通道局部分支Lc包括兩個一維卷積，空間局部分支Ls包括一個二維卷積、平均池化（avg）和最大池化（max），全局分支G由全連接層組成；
3.根據(jù)權利要求2所述的一種基于TSAM-ATFM的駕駛員疲勞駕駛檢測方法，其特征在于：局部分支L的數(shù)據(jù)處理流程為，首先使特征輸入到通道局部分支Lc，得到通道注意力特征，然后將輸入特征與通道注意力特征逐元素相乘，得到特征，然后使特征輸入到空間局部分支Ls，得到空間注意力特征，最后將特征與空間注意力特征逐元素相乘，得到激勵特征V；
4.根據(jù)權利要求2所述的一種基于TSAM-ATFM的駕駛員疲勞駕駛檢測方法，其特征在于：全局分支G的數(shù)據(jù)處理流程為，首先使特征經(jīng)過兩層全連接層學習自適應卷積核參數(shù)，然后通
...【技術特征摘要】
1.一種基于tsam-atfm的駕駛員疲勞駕駛檢測方法，其特征在于，包括以下步驟：
2.根據(jù)權利要求1所述的一種基于tsam-atfm的駕駛員疲勞駕駛檢測方法，其特征在于：時空自適應模塊（tsam）由局部分支l、全局分支g以及一個全局空間平均池化（pool_2d）組成，局部分支l包括通道局部分支lc和空間局部分支ls，通道局部分支lc包括兩個一維卷積，空間局部分支ls包括一個二維卷積、平均池化（avg）和最大池化（max），全局分支g由全連接層組成；
3.根據(jù)權利要求2所述的一種基于tsam...
【專利技術屬性】
技術研發(fā)人員：鄭國強，呂香帥，張威震，翟會會，周科克，李佩佩，沈森，
申請(專利權)人：河南科技大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。