【技術實現步驟摘要】
本申請涉及視覺特征感知，特別是涉及一種基于駕駛員視覺特征融合的危險行為預警方法。
技術介紹
1、隨著人工智能在智慧交通和自動駕駛中的應用，司機駕駛行為的預測模型構建成為實現交通安全和高效駕駛的重要支撐，這些預測模型可以更好地理解和預測司機在駕駛過程中的行為，從而提高自動駕駛系統的性能和安全性。
2、但是，現階段的司機駕駛行為的預測模型的參考指標往往都是車輛行駛過程的外部環境參數和汽車本身的運行參數，并沒有針對駕駛場景中的駕駛員視線方向和駕駛行為的預測的模型，而駕駛員作為交通系統中占比最大的參與者，是影響道路交通安全的主導性因素。其行車過程中所需的道路交通信息90％來源于視覺。
技術實現思路
1、本申請的目的是：為解決上述技術問題，本申請提供了一種基于駕駛員視覺特征融合的危險行為預警方法，旨在提高對于駕駛員視覺特征的處理效率和精度，提高對于駕駛員危險行為的預警效率。
2、本申請的一些實施例中，基于視覺多模態特征融合網絡，根據不同的視覺模態，建立對應的特征預處理特征模型，從而處理三個模態的特征數據，利用不同模態之間的互補性對不同的模態特征數據進行校正，并通過嵌入跨模態特征融合模塊，采用深度可分離卷積對不同模態的特征數據進行融合，生成融合特征圖,實現的不同模態之間的信息融合，提高了對于視覺信息理解的準確性。
3、本申請的一些實施例中，通過建立時間序列，對采集的駕駛員駕駛過程中的圖像數據進行連續采集，并根據預設的視覺處理模型，實現對于駕駛員駕駛過程中圖像
4、本申請的一些實施例中，提供了一種基于駕駛員視覺特征融合的危險行為預警方法，包括：
5、根據采集的多源圖像數據生成多模態數據包，所述多模態數據包內包括：一級模態數據，二級模態數據和三級模態數據；
6、根據預設融合模型處理多模態數據包內全部數據，并根據融合結果生成融合特征圖像；
7、建立視覺感知模型，并根據視覺感知模型和融合特征圖像生成駕駛員視覺感知結果；
8、根據駕駛員視覺感知結果生成相應的預警指令。
9、本申請的一些實施例中，所述生成多模態數據包時，包括：
10、獲取多源圖像數據；
11、基于時間序列建立時刻數列t，t＝(t1,t2……tm)；其中，ti為第i個時刻，m為時刻數量；
12、依次設定ti為目標時刻；
13、根據預處理特征模型提取多源圖像數據中目標時刻的rgb圖像特征，并根據提取結果生成一級模態數據；
14、根據預處理特征模型提取多源圖像數據中目標時刻的紅外特征，并根據提取結果生成二級模態數據；
15、根據預處理特征模型提取多源圖像數據中目標時刻的深度特征，并根據提取結果生成三級模態數據。
16、本申請的一些實施例中，根據融合結果生成融合特征圖像時，包括：
17、建立特征校正模型；
18、根據特征校正模型校正一級模態數據、二級模態數據和三級模態數據；
19、根據校正結果生成一級待融合特征、二級待融合特征和三級待融合特征；
20、根據深度可分離卷積技術對一級待融合特征、二級待融合特征和三級待融合特征進行線性嵌入處理和特征融合；
21、生成目標時刻的融合特征圖像；
22、依次生成各個時刻的融合特征圖像，并建立融合特征圖像數列b，b＝(b1，b2…bm)；其中，bi為第i個時刻的融合特征圖像。
23、本申請的一些實施例中，建立視覺感知模型時，包括：
24、基于歷史參數建立多個樣本訓練數據包，并建立樣本訓練數據包數列w，w＝(w1,w2…wn)，其中，wi為第i個樣本訓練數據包；n為樣本訓練數據包數量；
25、依次選取wi為目標樣本訓練數據包；
26、根據目標樣本訓練數據包生成人臉圖像數列i，i＝(i1,i2…it)；
27、人臉圖像數列i經特征提取后生成特征映射序列；
28、根據特征映射序列構建一級處理模型；
29、生成一級處理模型的損失評價值，并根據損失評價值判斷是否生成修正指令；
30、輸出視線預測子模型。
31、本申請的一些實施例中，判斷是否生成修正指令時，包括：
32、預設第一損失評價值閾值f1和第二損失評價值閾值f2；
33、若f<f1，設定當前的一級處理模型為視線預測子模型；
34、若f1≤f<f2，生成一級修正指令，并根據一級修正指令設定下一個樣本訓練數據包為目標樣本數據包，對當前一級處理模型進行迭代優化；
35、若f≥f2，生成二級修正指令，并根據二級修正指令更新樣本訓練數據包數列，根據更新結果重新選取目標樣本數據包，構建一級處理模型。
36、本申請的一些實施例中，建立視覺感知模型時，還包括：
37、基于歷史參數生成多個危險行為數據包；
38、根據全部危險行為數據包構建行為預測子模型；
39、根據行為識別子模型和視線預測子模型構建視覺感知模型。
40、本申請的一些實施例中，生成駕駛員視覺感知結果時，包括：
41、獲取融合特征圖像數列b；
42、根據融合特征圖像數列b和視線預測子模型生成視線偏離度數列h，h＝(h1，h2…hm)，其中，hi為第i個時刻的視線偏離度；
43、根據視線偏離度數列h生成第一參考評價值j1；
44、
45、其中，e1為預設第一權重系數，e2為預設第二權重系數，q1為預設第一固定系數，q2為預設第二固定系數，h'為安全偏離度，y(i)為第一選擇系數，若hi-h'≤0，y(i)＝0，若hi-h'>0，y(i)＝1，δt為相鄰時刻的時間間隔。
46、本申請的一些實施例中，生成駕駛員視覺感知結果時，還包括：
47、獲取融合特征圖像數據b；
48、根據融合特征圖像數列b和行為識別子模型生成行為風險評價值數列d,d＝(d1，d2…dm)，其中，di為i個時刻的行為風險評價值；
49、根據行為風險評價值數列d生成第二參考評價值j2
50、
51、其中，e3為預設第三權重系數，e4為預設第四權重系數，q3為預設第三固定系數，q4為預設第四固定系數，d'為安全行為值，p(i)為第二選擇系數，若di-d'≤0，p(i)＝0，若di-d'>0，p(i)＝1，δt為相鄰時刻的時間間隔。
52、本申請的一些實施例中，根據駕駛員視覺感知結果生成相應的預警指令，包括：
53、根據第一參考評價值j1和第二參考評價值j2生成危險評價值k；
54、k＝e5*j1+e6*j2；
5本文檔來自技高網...
【技術保護點】
1.一種基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，包括：
2.如權利要求1所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，所述生成多模態數據包時，包括：
3.如權利要求2所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，根據融合結果生成融合特征圖像時，包括：
4.如權利要求3所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，建立視覺感知模型時，包括：
5.如權利要求4所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，判斷是否生成修正指令時，包括：
6.如權利要求5所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，建立視覺感知模型時，還包括：
7.如權利要求6所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，生成駕駛員視覺感知結果時，包括：
8.如權利要求7所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，生成駕駛員視覺感知結果時，還包括：
9.如權利要求8所述的基于駕駛員視覺特征融合的危險行為預警方法，
...【技術特征摘要】
1.一種基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，包括：
2.如權利要求1所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，所述生成多模態數據包時，包括：
3.如權利要求2所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，根據融合結果生成融合特征圖像時，包括：
4.如權利要求3所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，建立視覺感知模型時，包括：
5.如權利要求4所述的基于駕駛員視覺特征融合的危險行為預警方法，其特征在于，判斷是...
【專利技術屬性】
技術研發人員：邵為濤，張娜，胡敏，盧寶莉，寧欣，唐小江，羅凌，李爽，
申請(專利權)人：北京中科睿途科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。