System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術屬于人臉疲勞狀態的視頻檢測領域,尤其涉及一種融合聚合模塊的人臉疲勞動態檢測方法。
技術介紹
1、人體長期處于疲勞狀態不僅會影響身心健康,還會增加事故風險,尤其是一些需要集中注意力的情況,如駕駛、操作設備等。因此,為了保障人體健康,提升人們出行安全和工作安全,人體疲勞檢測技術具有廣泛的應用前景。相對于基于生物醫學的檢測技術,如通過穿戴傳感器采集腦電、心電等信號進行人體疲勞狀態判斷,采用神經網絡模型從人臉圖片或視頻中提取人臉特征進行疲勞檢測的技術更加便捷,更容易推廣。
2、基于神經網絡的人臉疲勞狀態檢測方法的核心環節是人臉特征的提取和疲勞狀態的分析與判別。在人臉特征提取階段,比較常見方法主要分為人臉關鍵點檢測模型和目標檢測模型等。人臉關鍵點檢測模型能夠比較精確地獲取面部器官的形狀變化,但在光線不佳、關鍵點遮擋、模糊幀的情況,這類方法可能無法判斷疲勞狀態,魯棒性較差。目標檢測模型則通常采用神經網絡模型直接給出檢測目標的狀態,判斷邏輯簡單,魯棒性強,但這類方法通常針對眼睛等小目標進行檢測,而神經網絡模型在特征提取時比較容易丟失小目標特征,從而降低基于目標檢測的疲勞檢測準確率。此外,這類方法依賴數據集的數量和質量,訓練模型的時間和人工成本較高。而在疲勞判別階段,現有方法主要是采用眨眼頻率、perclos、打哈欠頻率等指標,但這些指標大多需要較長的統計時間(如統計一分鐘內的次數),疲勞判別的實時性較差。
3、現有的基于神經網絡的人臉疲勞狀態檢測方法存在如下問題:(1)對眼睛等小目標檢測能力欠缺;(2)模型訓
技術實現思路
1、針對現有技術的不足之處,提供一種融合聚合模塊的人臉疲勞動態檢測方法,其結構簡單,使用方便,結合多個判定標準,能夠通過采集的駕駛人臉圖像快速準確的判斷出駕駛人的疲勞狀態,從而配合提醒方案從而有效降低因為駕駛人疲勞導致事故的可能性。
2、為實現上述目的,本專利技術公開一種融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:
3、步驟s1:使用攝像裝置按照固定幀率實時采集人臉圖像;
4、步驟s2:對采集到的人臉圖像進行預處理,降低光線不佳的圖像和噪聲對檢測結果的影響;
5、步驟s3:構建人臉疲勞動態檢測網絡,包括特順序連接的征提取網絡、特征融合網絡以及檢測端;特征提取網絡包括卷積層cbl、最大池化層mp、elan-dilated模塊;在特征提取網絡和特征融合網絡之間還包括十字交叉注意力模塊ccnet;特征融合網絡和檢測端包括yolov7-tiny網絡neck和head部分的結構;其中,elan-dilated模塊包括普通卷積層cbl和空洞卷積層堆疊聚合的結構;
6、所述特征提取網絡包括順序連接的兩個卷積層cbl、四個elan-dilated模塊以及十字交叉注意力網絡ccnet,在elan-dilated模塊之間設置最大池化層mp;elan-dilated包括兩條分支,第一條分支經過一個1×1的卷積進行通道數的變化,第二條分支先經過一個1×1的卷積進行通道數的變化,再經過兩個大小為3×3,空洞率依次為2和5的空洞卷積,進行特征提取,最后將模塊每個卷積層的特征堆疊,并再次用一個1×1的卷積進行通道數的變化;
7、其中:
8、兩個卷積層cbl對人臉圖像進行粗略的特征提取,包括加強邊緣特征、抑制部分噪聲;
9、四個elan-dilated模塊由淺入深提取眼睛和嘴部的特征;
10、最大池化層mp用來壓縮眼睛和嘴部的特征參數以及降低維度,減少計算量;
11、十字交叉注意力模塊ccnet用來通過獲取眼睛和嘴部及其周圍豐富的上下文信息,更加高效地提取眼睛和嘴部特征;
12、步驟s4:使用經過充分訓練后的人臉疲勞動態檢測網絡提取經過預處理的人臉圖像中每幀人臉圖片眼睛和嘴部特征,包括睜眼、閉眼、打哈欠、不打哈欠;
13、步驟s5:以攝像裝置采集人臉圖像的固定幀率為基準,根據人臉疲勞動態檢測網絡提取每幀人臉圖片眼睛和嘴部特征,計算閉眼時長、閉眼時長占比perclos值和打哈欠時間間隔;
14、步驟s6:通過融合閉眼時長、閉眼時長占比perclos值和打哈欠時間間隔進行疲勞狀態分析,輸出所述疲勞狀態分析結果。
15、進一步,對采集到的人臉圖像進行預處理的具體步驟為:
16、步驟s21:對人臉圖像進行灰度處理,降低人臉疲勞檢測方法的運行內存,縮短系統得出結果的速度;
17、步驟s22:對人臉圖像進行中值濾波,去除部分噪聲;
18、步驟s23:對濾波后的人臉圖像進行分塊直方圖均衡處理,提高光線不佳的人臉圖像的對比度。
19、進一步,人臉疲勞動態檢測網絡的構建的具體步驟為:
20、步驟s31:構建提取眼睛和嘴部特征的卷積層聚合模塊elan-dilated;
21、elan-dilated模塊為空洞卷積和普通卷積堆疊構成,包括兩條分支,第一條分支經過一個1×1的卷積進行通道數的變化,第二條分支先經過一個1×1的卷積進行通道數的變化,再經過兩個大小為3×3,空洞率依次為2和5的空洞卷積,進行特征提取,最后將模塊每個卷積層的特征堆疊,并再次用一個1×1的卷積進行通道數的變化;該模塊具有較大的感受野,對多尺度上下特征的學習能力較強,可以使模型能更好地保留圖像的空間特征,減少信息的損失,有效保留眼睛、嘴部的特征;
22、步驟s32:通過堆疊elan-dilated模塊搭建特征提取網絡;
23、特征提取網絡首先經過兩個卷積層,抑制部分噪聲,增強眼睛和嘴部的邊緣特征;然后連續經過4個elan-dilated模塊,由淺到深提取眼睛、嘴部特征,并在elan-dilated模塊之間添加最大池化層,對特征進行壓縮,減少參數量和計算量;
24、步驟s33:搭建特征融合網絡;
25、特征融合網絡采用yolov7-tiny網絡neck部分的結構,包括特征金字塔fpn與panet相結合的結構,通過連續上采樣和下采樣,對特征提取網絡中后3個elan-dilated模塊提取的淺、中、深三層眼睛和嘴部的特征進行多尺度特征融合;
26、所述特征融合網絡通過多尺度特征融合,以捕捉眼睛和嘴部在不同尺度下的特征,以增強眼睛和嘴部的邊緣、紋理和形狀等特征,以提高所述融合聚合模塊的人臉疲勞動態檢測網絡對眼睛和嘴部特征的定位和檢測能力;
27、步驟s34:搭建檢測端;
28、檢測端采用yolov7-tiny網絡head部分的結構,包括從特征融合網絡的3個elan-tiny模塊分別構建一個檢測頭,每個檢測頭使用一個3×3的卷積層進行特征提取,3個檢測頭獲取的特征圖大小分別為20×20×512、40×40×25本文檔來自技高網...
【技術保護點】
1.融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:
2.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于對采集到的人臉圖像進行預處理的具體步驟為:
3.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,人臉疲勞動態檢測網絡的構建的具體步驟為:
4.根據權利要求3所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,對人臉疲勞動態檢測網絡進行訓練過程中利用損失函數來量化預測結果與實際結果的偏差,實現在人臉圖像中準確預測眼睛和嘴部特征,包括睜開的眼睛、閉上的眼睛、打哈欠的嘴部、不打哈欠的嘴部共四種目標;損失函數設計過程為;
5.根據權利要求4所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,由于眼睛和嘴部屬于小目標特征,人臉疲勞動態檢測網絡在提取眼睛和嘴部特征時仍會丟失小部分信息,更容易受到眼睛和嘴部周圍信息的干擾,如可能把黑色眼鏡上下邊框識別為閉眼特征;通過使用融合預測框與真實框的方向或角度、中心距離、形狀和交并比的損失函數,所述人臉疲勞動態檢測網絡能夠在預測框與真實框比較接近時仍然受
6.根據權利要求5所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,閉眼時長、閉眼時長占比PERCLOS值和打哈欠時間間隔的計算方法如下:
7.根據權利要求6所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,通過融合閉眼時長、閉眼時長占比PERCLOS值和打哈欠時間間隔進行疲勞狀態分析,輸出所述疲勞狀態分析結果的具體步驟包括:
...【技術特征摘要】
1.融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:
2.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于對采集到的人臉圖像進行預處理的具體步驟為:
3.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,人臉疲勞動態檢測網絡的構建的具體步驟為:
4.根據權利要求3所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,對人臉疲勞動態檢測網絡進行訓練過程中利用損失函數來量化預測結果與實際結果的偏差,實現在人臉圖像中準確預測眼睛和嘴部特征,包括睜開的眼睛、閉上的眼睛、打哈欠的嘴部、不打哈欠的嘴部共四種目標;損失函數設計過程為;
5.根據權利要求4所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,由于眼睛和嘴部屬于小目標特征,人臉疲...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。