System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 国产精品无码不卡一区二区三区,AA区一区二区三无码精片,a级毛片免费全部播放无码
  • 
    <ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>

    融合聚合模塊的人臉疲勞動態檢測方法技術

    技術編號:42325518 閱讀:12 留言:0更新日期:2024-08-14 16:04
    本發明專利技術公開一種融合聚合模塊的人臉疲勞動態檢測方法,適用于人臉疲勞狀態的視頻檢測領域。對采集的人臉圖像進行預處理,將設計的由普通卷積和空洞卷積聚合的模塊進行堆疊以提取特征;添加十字交叉注意力以提取小目標細節信息;搭建面向眼睛和嘴部特征的檢測網絡,使得該模型具備較好的眼睛和嘴部等小目標檢測能力,以從預處理后的人臉圖像中提取眼睛、嘴部的特征。利用邊界框回歸損失函數,添加角度、距離和形狀作為懲罰項,設計角度損失為線性函數,融合眼部特征和嘴部特征判斷人員的疲勞狀態,設計動態調整的閉眼時長指標來提高疲勞判別的實時性。本方法疲勞狀態檢測準確度高,訓練時間成本低,實時性良好,能減少疲勞引起的事故發生。

    【技術實現步驟摘要】

    本專利技術屬于人臉疲勞狀態的視頻檢測領域,尤其涉及一種融合聚合模塊的人臉疲勞動態檢測方法


    技術介紹

    1、人體長期處于疲勞狀態不僅會影響身心健康,還會增加事故風險,尤其是一些需要集中注意力的情況,如駕駛、操作設備等。因此,為了保障人體健康,提升人們出行安全和工作安全,人體疲勞檢測技術具有廣泛的應用前景。相對于基于生物醫學的檢測技術,如通過穿戴傳感器采集腦電、心電等信號進行人體疲勞狀態判斷,采用神經網絡模型從人臉圖片或視頻中提取人臉特征進行疲勞檢測的技術更加便捷,更容易推廣。

    2、基于神經網絡的人臉疲勞狀態檢測方法的核心環節是人臉特征的提取和疲勞狀態的分析與判別。在人臉特征提取階段,比較常見方法主要分為人臉關鍵點檢測模型和目標檢測模型等。人臉關鍵點檢測模型能夠比較精確地獲取面部器官的形狀變化,但在光線不佳、關鍵點遮擋、模糊幀的情況,這類方法可能無法判斷疲勞狀態,魯棒性較差。目標檢測模型則通常采用神經網絡模型直接給出檢測目標的狀態,判斷邏輯簡單,魯棒性強,但這類方法通常針對眼睛等小目標進行檢測,而神經網絡模型在特征提取時比較容易丟失小目標特征,從而降低基于目標檢測的疲勞檢測準確率。此外,這類方法依賴數據集的數量和質量,訓練模型的時間和人工成本較高。而在疲勞判別階段,現有方法主要是采用眨眼頻率、perclos、打哈欠頻率等指標,但這些指標大多需要較長的統計時間(如統計一分鐘內的次數),疲勞判別的實時性較差。

    3、現有的基于神經網絡的人臉疲勞狀態檢測方法存在如下問題:(1)對眼睛等小目標檢測能力欠缺;(2)模型訓練時間長,人工成本高;(3)疲勞判別方法實時性較差。因此,為了克服上述問題,本專利技術提供了一種新的基于神經網絡的人臉疲勞狀態檢測方法。


    技術實現思路

    1、針對現有技術的不足之處,提供一種融合聚合模塊的人臉疲勞動態檢測方法,其結構簡單,使用方便,結合多個判定標準,能夠通過采集的駕駛人臉圖像快速準確的判斷出駕駛人的疲勞狀態,從而配合提醒方案從而有效降低因為駕駛人疲勞導致事故的可能性。

    2、為實現上述目的,本專利技術公開一種融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:

    3、步驟s1:使用攝像裝置按照固定幀率實時采集人臉圖像;

    4、步驟s2:對采集到的人臉圖像進行預處理,降低光線不佳的圖像和噪聲對檢測結果的影響;

    5、步驟s3:構建人臉疲勞動態檢測網絡,包括特順序連接的征提取網絡、特征融合網絡以及檢測端;特征提取網絡包括卷積層cbl、最大池化層mp、elan-dilated模塊;在特征提取網絡和特征融合網絡之間還包括十字交叉注意力模塊ccnet;特征融合網絡和檢測端包括yolov7-tiny網絡neck和head部分的結構;其中,elan-dilated模塊包括普通卷積層cbl和空洞卷積層堆疊聚合的結構;

    6、所述特征提取網絡包括順序連接的兩個卷積層cbl、四個elan-dilated模塊以及十字交叉注意力網絡ccnet,在elan-dilated模塊之間設置最大池化層mp;elan-dilated包括兩條分支,第一條分支經過一個1×1的卷積進行通道數的變化,第二條分支先經過一個1×1的卷積進行通道數的變化,再經過兩個大小為3×3,空洞率依次為2和5的空洞卷積,進行特征提取,最后將模塊每個卷積層的特征堆疊,并再次用一個1×1的卷積進行通道數的變化;

    7、其中:

    8、兩個卷積層cbl對人臉圖像進行粗略的特征提取,包括加強邊緣特征、抑制部分噪聲;

    9、四個elan-dilated模塊由淺入深提取眼睛和嘴部的特征;

    10、最大池化層mp用來壓縮眼睛和嘴部的特征參數以及降低維度,減少計算量;

    11、十字交叉注意力模塊ccnet用來通過獲取眼睛和嘴部及其周圍豐富的上下文信息,更加高效地提取眼睛和嘴部特征;

    12、步驟s4:使用經過充分訓練后的人臉疲勞動態檢測網絡提取經過預處理的人臉圖像中每幀人臉圖片眼睛和嘴部特征,包括睜眼、閉眼、打哈欠、不打哈欠;

    13、步驟s5:以攝像裝置采集人臉圖像的固定幀率為基準,根據人臉疲勞動態檢測網絡提取每幀人臉圖片眼睛和嘴部特征,計算閉眼時長、閉眼時長占比perclos值和打哈欠時間間隔;

    14、步驟s6:通過融合閉眼時長、閉眼時長占比perclos值和打哈欠時間間隔進行疲勞狀態分析,輸出所述疲勞狀態分析結果。

    15、進一步,對采集到的人臉圖像進行預處理的具體步驟為:

    16、步驟s21:對人臉圖像進行灰度處理,降低人臉疲勞檢測方法的運行內存,縮短系統得出結果的速度;

    17、步驟s22:對人臉圖像進行中值濾波,去除部分噪聲;

    18、步驟s23:對濾波后的人臉圖像進行分塊直方圖均衡處理,提高光線不佳的人臉圖像的對比度。

    19、進一步,人臉疲勞動態檢測網絡的構建的具體步驟為:

    20、步驟s31:構建提取眼睛和嘴部特征的卷積層聚合模塊elan-dilated;

    21、elan-dilated模塊為空洞卷積和普通卷積堆疊構成,包括兩條分支,第一條分支經過一個1×1的卷積進行通道數的變化,第二條分支先經過一個1×1的卷積進行通道數的變化,再經過兩個大小為3×3,空洞率依次為2和5的空洞卷積,進行特征提取,最后將模塊每個卷積層的特征堆疊,并再次用一個1×1的卷積進行通道數的變化;該模塊具有較大的感受野,對多尺度上下特征的學習能力較強,可以使模型能更好地保留圖像的空間特征,減少信息的損失,有效保留眼睛、嘴部的特征;

    22、步驟s32:通過堆疊elan-dilated模塊搭建特征提取網絡;

    23、特征提取網絡首先經過兩個卷積層,抑制部分噪聲,增強眼睛和嘴部的邊緣特征;然后連續經過4個elan-dilated模塊,由淺到深提取眼睛、嘴部特征,并在elan-dilated模塊之間添加最大池化層,對特征進行壓縮,減少參數量和計算量;

    24、步驟s33:搭建特征融合網絡;

    25、特征融合網絡采用yolov7-tiny網絡neck部分的結構,包括特征金字塔fpn與panet相結合的結構,通過連續上采樣和下采樣,對特征提取網絡中后3個elan-dilated模塊提取的淺、中、深三層眼睛和嘴部的特征進行多尺度特征融合;

    26、所述特征融合網絡通過多尺度特征融合,以捕捉眼睛和嘴部在不同尺度下的特征,以增強眼睛和嘴部的邊緣、紋理和形狀等特征,以提高所述融合聚合模塊的人臉疲勞動態檢測網絡對眼睛和嘴部特征的定位和檢測能力;

    27、步驟s34:搭建檢測端;

    28、檢測端采用yolov7-tiny網絡head部分的結構,包括從特征融合網絡的3個elan-tiny模塊分別構建一個檢測頭,每個檢測頭使用一個3×3的卷積層進行特征提取,3個檢測頭獲取的特征圖大小分別為20×20×512、40×40×25本文檔來自技高網...

    【技術保護點】

    1.融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:

    2.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于對采集到的人臉圖像進行預處理的具體步驟為:

    3.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,人臉疲勞動態檢測網絡的構建的具體步驟為:

    4.根據權利要求3所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,對人臉疲勞動態檢測網絡進行訓練過程中利用損失函數來量化預測結果與實際結果的偏差,實現在人臉圖像中準確預測眼睛和嘴部特征,包括睜開的眼睛、閉上的眼睛、打哈欠的嘴部、不打哈欠的嘴部共四種目標;損失函數設計過程為;

    5.根據權利要求4所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,由于眼睛和嘴部屬于小目標特征,人臉疲勞動態檢測網絡在提取眼睛和嘴部特征時仍會丟失小部分信息,更容易受到眼睛和嘴部周圍信息的干擾,如可能把黑色眼鏡上下邊框識別為閉眼特征;通過使用融合預測框與真實框的方向或角度、中心距離、形狀和交并比的損失函數,所述人臉疲勞動態檢測網絡能夠在預測框與真實框比較接近時仍然受到一定懲罰計算,減少真實框周圍信息對預測結果的干擾,使得預測框能夠更加接近真實框,提升結果的準確性;

    6.根據權利要求5所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,閉眼時長、閉眼時長占比PERCLOS值和打哈欠時間間隔的計算方法如下:

    7.根據權利要求6所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,通過融合閉眼時長、閉眼時長占比PERCLOS值和打哈欠時間間隔進行疲勞狀態分析,輸出所述疲勞狀態分析結果的具體步驟包括:

    ...

    【技術特征摘要】

    1.融合聚合模塊的人臉疲勞動態檢測方法,其特征在于步驟如下:

    2.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于對采集到的人臉圖像進行預處理的具體步驟為:

    3.根據權利要求1所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,人臉疲勞動態檢測網絡的構建的具體步驟為:

    4.根據權利要求3所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,對人臉疲勞動態檢測網絡進行訓練過程中利用損失函數來量化預測結果與實際結果的偏差,實現在人臉圖像中準確預測眼睛和嘴部特征,包括睜開的眼睛、閉上的眼睛、打哈欠的嘴部、不打哈欠的嘴部共四種目標;損失函數設計過程為;

    5.根據權利要求4所述的融合聚合模塊的人臉疲勞動態檢測方法,其特征在于,由于眼睛和嘴部屬于小目標特征,人臉疲...

    【專利技術屬性】
    技術研發人員:高莉徐元偉
    申請(專利權)人:江蘇師范大學
    類型:發明
    國別省市:

    網友詢問留言 已有0條評論
    • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

    1
    主站蜘蛛池模板: 亚洲中文字幕无码永久在线| 亚洲中文久久精品无码| 中文字幕无码人妻AAA片| 在人线av无码免费高潮喷水| 孕妇特级毛片WW无码内射| 99久久人妻无码精品系列蜜桃| 亚洲AV成人无码久久精品老人| 亚洲AV无码乱码国产麻豆穿越| 亚洲日韩看片无码电影| 免费无码黄动漫在线观看| 久久人妻少妇嫩草AV无码蜜桃| av无码久久久久不卡免费网站| 亚洲精品~无码抽插| 亚洲国产精品无码中文字| 国产网红主播无码精品| 无码av人妻一区二区三区四区| 亚洲AV综合色区无码另类小说| 好硬~好爽~别进去~动态图, 69式真人无码视频免| 日韩精品无码AV成人观看| 亚洲熟妇无码乱子AV电影| 人妻无码中文字幕免费视频蜜桃| 久久久久久久亚洲Av无码| 国产成人无码AV一区二区| 久久久久精品国产亚洲AV无码| 无码中文在线二区免费| 自拍偷在线精品自拍偷无码专区| 亚洲VA成无码人在线观看天堂| 无码人妻熟妇AV又粗又大| 色综合久久久久无码专区| 少妇特殊按摩高潮惨叫无码| 亚洲AV成人无码久久精品老人| 亚洲AV永久无码精品网站在线观看| 日韩精品专区AV无码| 国产AV无码专区亚洲AVJULIA| 亚洲啪AV永久无码精品放毛片| 国产精品无码一二区免费| 精品久久久久久无码专区不卡| 亚洲中文字幕不卡无码| 亚洲精品无码一区二区| 亚洲AV无码精品国产成人| 亚洲国产成人精品无码区二本|