【技術實現步驟摘要】
本專利技術涉及圖像識別領域，特別是涉及一種司機乘客肢體沖突行為識別方法及電子設備。
技術介紹
1、公交車是人們日常出行常用的交通工具之一，給生活帶來許多便利，但公交車上司機與乘客發生肢體沖突的情況偶有發生。當公交車在行駛過程中，發生肢體沖突很容易造成交通事故，造成人員傷亡。實時識別出司乘肢體沖突行為，能夠協助工作人員在第一時間報警以及急停，防止事態進一步惡化。為此有人采用視覺檢測的方法如專利技術專利cn201780002312.8提供了一種針對肢體沖突行為的告警方法,用于解決如何在針對司機發生肢體沖突的情況下實現安全有效的及時告警的問題。該針對肢體沖突行為的告警方法包括：實時采集車輛上司機所處位置的視頻圖像,所述視頻圖像包括司機上半身的場景實況；將所述視頻圖像轉換成指定數據格式；將轉換格式后的所述視頻圖像作為輸入投入至預訓練完成的卷積神經網絡,得到所述卷積神經網絡的輸出結果,所述輸出結果為存在肢體沖突行為或者不存在肢體沖突行為；若所述輸出結果為存在肢體沖突行為,則發出告警信息。專利技術專利cn202110737698.5公開了一種車艙內人員沖突行為的識別方法及裝置、設備和介質。所述方法包括：獲取車艙內的視頻流中的多個視頻幀圖像；對所述多個視頻幀圖像分別進行特征提取,得到與所述多個視頻幀圖像一一對應的多個圖像特征,其中,所述圖像特征表征所述車艙內的多個人員的動作特征；基于所述多個圖像特征獲得所述多個視頻幀圖像對應的所述車艙內的多個人員的動作特征序列；基于所述動作特征序列識別所述車艙內的多個人員之間的沖突行為,得到所述車艙內的多個人
2、但是，實時識別司乘肢體沖突行為有諸多難點。首先，進行司乘肢體沖突行為通常需要基于視頻提取時空特征，然后根據這些特征是否發生肢體沖突事件。但是提取時空特征耗時很長，難以實現在第一時間完成報警。其次，提取時空特征易受背景干擾，難以在攝像頭安裝在不同角度的情況下取得較好的效果，常常將畫面中的乘客掃碼，打招呼，擁擠等行為誤判為司乘沖突。而且司機在駕駛過程中被抓手臂或者搶方向盤時，為了保證安全不會有大幅度的動作，難以提取到肢體沖突的特征。
技術實現思路
1、為解決上述技術問題，本專利技術提出了一種司機乘客肢體沖突行為識別方法及電子設備。本專利技術的目的通過以下技術方案實現：
2、一種司機乘客肢體沖突行為識別方法，包括如下步驟：
3、s1、獲得駕駛室的監控圖片；
4、s2、檢測得到監控圖片中的手臂檢測框；
5、s3、自所有手臂檢測框中檢測得到司機的手臂檢測框；
6、s4、當檢測到有非司機的手臂檢測框與司機的手臂檢測框發生接觸，則判斷乘客與司機發生了肢體沖突。
7、進一步的改進：步驟s3中，將車輛初始啟動時，初始監控圖片中僅有兩個手臂檢測框時的兩個手臂認定為司機的手臂。
8、進一步的改進：步驟s3中，車廂行使過程中司機的手臂檢測框通過對司機的手臂檢測框進行跟蹤得到，具體跟蹤方法如下：
9、s31、基于前一幀監控圖片中司機手臂檢測框的位置和速度信息，預測得到當前幀監控圖片中司機手臂檢測框的位置信息；
10、s32、判斷當前幀的各個手臂檢測框的位置信息是否與預測的當前幀司機手臂框的位置信息相匹配，能匹配上的是手臂檢測框即為司機的手臂檢測框，不能匹配上的為乘客的手臂檢測框。
11、進一步的改進，步驟s31中，利用卡爾曼濾波方法預測下一幀司機手臂框的位置。
12、進一步的改進，所述卡爾曼濾波方法如下：
13、得到[xi1,xi2]；其中和xi2分別表示第i幀圖像中司機第一個手臂框和第二個手臂框的位置及速度信息；c＝1或2，cx，cy，w,h分別表示司機手臂框的中心點x軸坐標、y軸坐標以及寬和高，vx,vy,vw,vh分別表示司機手臂框中心點x軸坐標，y軸坐標坐標的變化速度以及司機手臂框寬和高的變化速度；如果是第一次出現的司機手臂框，各個變化速度值初始化為0；則預測：
14、
15、
16、f稱為狀態轉移矩陣,具體表現為：
17、
18、dt表示基于時間t求導；c＝1或2表示基于預測的下一幀司機手臂框的位置和速度信息。
19、進一步的改進，判斷當前幀的手臂檢測框是否與預測的當前幀司機手臂框相匹配。
20、進一步的改進，得到當前幀圖片中手臂檢測框與預測的當前幀司機手臂框的花費矩陣，然后更新預測的當前幀司機手臂框的位置和速度信息，得到更新后的預測司機手臂框，將當前幀圖片中手臂檢測框與預測司機手臂框匹配，能匹配上的為司機手臂框否則為乘客手臂框
21、進一步的改進，所述匈牙利算法如下：
22、從第i+1幀圖像中檢測得到n個手臂檢測框[detectioni+11,...,detectioni+1n]，將n個手臂檢測框位置和速度信息與預測得到的和兩兩計算距離獲得花費矩陣：
23、預測司機手臂框，獲得花費矩陣：
24、
25、其中表示手臂檢測框與預測司機手臂框的距離；
26、第i+1幀圖像中使最小兩個手臂檢測框
27、detectioni+1a,detectioni+1b分別作為兩個待定的司機的手臂檢測框；
28、基于待定的司機的手臂檢測框更新得到確定的司機的手臂檢測框：
29、首先得到第i+1幀圖像中所有手臂框的協方差
30、pi+1＝fpift+q
31、其中pi為第i幀圖像中所有手臂框的協方差，q為系統的噪聲矩陣，隨機初始化為(0,1)之間的值；t表示矩陣轉置；
32、計算卡爾曼增益k：
33、s＝hpi+1ht+r
34、k＝pi+1hts-1
35、h是轉移矩陣，將預測的手臂框從8維改為4維，
36、
37、r是噪聲矩陣
38、
39、更新預測的手臂框和協方差pi+1：
40、
41、
42、new_pi+1＝(i-kh)pi+1
43、y表示待定的其中一個司機的手臂檢測框，表示更新后的一個司機手臂框的位置和速度信息，new_pi+1表示更新后新的協方差；同理得到另一個司機手臂框的位置和速度信息
44、分別提取和中的司機手臂框的中心點x軸坐標、y軸坐標以及寬和高，得到tracki+11和tracki+12；將第i+1幀圖像中的手臂框[detectioni+11,...,detectioni+1n]與tracki+11和tracki+12分別匹配，可以能匹配上的是司機手臂框，不能匹配上的乘客手臂框。
45、進一步的改進，步驟s4中，非司機的手臂檢測框與司機的手臂檢測框相交面積area＞0則判斷發生肢體沖突，相交面積area＝0，則判斷未發生肢體沖突。
46、進本文檔來自技高網...
【技術保護點】
1.一種司機乘客肢體沖突行為識別方法，其特征在于：包括如下步驟：
2.如權利要求1所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟S3中，將車輛初始啟動時，初始監控圖片中僅有兩個手臂檢測框時的兩個手臂認定為司機的手臂。
3.如權利要求2所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟S3中，車廂行使過程中司機的手臂檢測框通過對司機的手臂檢測框進行跟蹤得到，具體跟蹤方法如下：
4.如權利要求3所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟S31中，利用卡爾曼濾波方法預測當前幀司機手臂框的位置。
5.如權利要求4所述的司機乘客肢體沖突行為識別方法，其特征在于：利用卡爾曼濾波方法獲得司機手臂框的位置和速度信息，從而預測得到司機手臂框的位置。
6.如權利要求5所述的司機乘客肢體沖突行為識別方法，其特征在于：采用匈牙利算法判斷當前幀的手臂檢測框是否與預測的當前幀司機手臂框相匹配。
7.如權利要求6所述的司機乘客肢體沖突行為識別方法，其特征在于：得到當前幀圖片中手臂檢測框與預測的當前幀司機手臂框的花費矩陣，
8.如權利要求1所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟S4中，非司機的手臂檢測框與司機的手臂檢測框相交面積area＞0則判斷發生肢體沖突，相交面積area＝0，則判斷未發生肢體沖突。
9.如權利要求8所述的司機乘客肢體沖突行為識別方法，其特征在于：area的計算方法如下：
10.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如權利要求1-9中任一項所述方法的步驟。
...【技術特征摘要】
1.一種司機乘客肢體沖突行為識別方法，其特征在于：包括如下步驟：
2.如權利要求1所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟s3中，將車輛初始啟動時，初始監控圖片中僅有兩個手臂檢測框時的兩個手臂認定為司機的手臂。
3.如權利要求2所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟s3中，車廂行使過程中司機的手臂檢測框通過對司機的手臂檢測框進行跟蹤得到，具體跟蹤方法如下：
4.如權利要求3所述的司機乘客肢體沖突行為識別方法，其特征在于：步驟s31中，利用卡爾曼濾波方法預測當前幀司機手臂框的位置。
5.如權利要求4所述的司機乘客肢體沖突行為識別方法，其特征在于：利用卡爾曼濾波方法獲得司機手臂框的位置和速度信息，從而預測得到司機手臂框的位置。
6.如權利要求5所述的司機乘客肢體沖突行為識別方法，其特征在于：采用匈牙利算法判斷當前幀的手臂檢測框是否與預測...
【專利技術屬性】
技術研發人員：賀婧怡，閭凡兵，吳婷，徐宇峰，
申請(專利權)人：長沙海信智能系統研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。