本發明專利技術公開了一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，使用基于人體姿態識別檢測到的骨架關鍵點坐標及世界坐標系轉換的方式實現對副駕駛乘客的坐高計算和座艙成員類別的判斷，主要包括以下幾個步驟：提取主副駕人體坐高關鍵點信息、乘客骨架坐高計算、座艙成員類別邏輯判斷。本發明專利技術的分類方法所受相機畸變影響較小，可快速計算、分辨出副駕乘客類別，通過與車內預警系統聯用可有效提高乘客乘坐安全性；該方法科學有效、誤差較現有技術有較大幅度的降低，可進一步提高乘用車使用安全預警的精準度。使用安全預警的精準度。使用安全預警的精準度。
【技術實現步驟摘要】
一種基于車內OMS相機計算乘客坐高及座艙成員分類方法
[0001]本專利技術涉及智能汽車
，尤其是涉及一種基于車內OMS相機計算乘客坐高及座艙成員分類方法。
技術介紹
[0002]隨著汽車行業的發展，駕駛員和乘客的安全成為重中之重。為了提升駕駛員和乘客安全，座艙監控(In
?
cabin monitoring)應運而生，通過實時監控整個車內環境來提高駕駛員及乘客的安全。和座艙監控相關的DMS和OMS也發展起來。OMS(Occupancy Monitoring System)通過乘客坐高區分乘客是否是兒童是保護乘客安全的主要方式之一，其原理是通過圖像處理的方式得到副駕駛的真實坐高，判斷副駕乘客是否是小孩，如果是將觸發車內預警系統。因為實際遇到車禍時，如果副駕乘坐的是小孩，副駕的安全氣囊彈出的位置不是小孩的身體而是頭部，將會對小孩造成車禍后的二次傷害。因此對于副駕兒童的預警是一項很重要的安全措施。
[0003]目前有關求解人體坐高的方法主要是通過圖像內參照物和人的比例去求解坐高，這種方法雖然原理簡單易操作，但計算出的人體的誤差比較大，尤其是當相機存在較大的畸變時，求出的結果很難達到預期的效果。
技術實現思路
[0004]針對現有技術不足，本專利技術了一種基于車內OMS相機對于計算乘客坐高及座艙成員分類的方法。
[0005]本專利技術解決上述技術問題采用的技術方案為：
[0006]一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，使用基于人體姿態識別檢測到的骨架關鍵點坐標及世界坐標系轉換的方式實現對副駕駛乘客的坐高計算和座艙成員類別的判斷，具體包括以下步驟：
[0007](1)提取主副駕人體坐高關鍵點信息：通過車內OMS相機拍攝座艙內場景，使用人體姿態識別算法提取座艙內圖像的人體骨架關鍵點信息并進行篩選和刪除誤檢測骨架信息，最后對車內的骨架進行分類、編號并保存每個骨架的關鍵點信息；
[0008](2)乘客骨架坐高計算：先計算出車內OMS相機內參以及相機到座椅的距離作為已知參數；然后將求得的已知參數帶入圖像像素坐標系轉世界坐標的公式中計算出對應位置乘客的坐高；最后將每一幀圖像內的乘客坐高高度信息存儲到坐高特征容器中；
[0009](3)座艙成員類別邏輯判斷：設定區分兒童/成人的坐高閾值為M cm，然后從坐高特征容器中的時間序列上所存儲的乘客坐高高度值與M比較以判斷座艙成員的類別。
[0010]進一步地，步驟(1)所述的提取主副駕人體坐高關鍵點信息具體為：通過車內OMS相機拍攝座艙內場景，使用人體姿態識別算法提取座艙內圖像的人體骨架關鍵點信息，并對提取到的人體骨架關鍵點進行編號，編號規則為：未檢測到臉部關鍵點的骨架不進行編號并使用圖像處理進行剔除，對檢測到臉部關鍵點的骨架進行編號，編號順序為人體姿態
識別檢測到骨架的先后順序排列；按照人體姿態識別里面識別的關鍵點占據圖像的位置來確定骨架所屬類別，區分出主駕駛、副駕駛以及后排的乘客骨架；提取主副駕駛的頸部和股部關鍵點作為求解坐高的關鍵點，并將座艙內乘客數量、頸部和股部關鍵點保存到骨架特征結構體中，為后續求解單幀圖像內乘客坐高做準備。
[0011]進一步地，步驟(2)中所述的相機內參計算方法：用棋盤格標定板錄制20
?
25張圖像，然后用matlab的Camera Calibrator小程序標定車內相機，求出相機的內參fx，fy，u0，v0。
[0012]進一步地，步驟(2)中所述的相機到座椅的距離計算方法：在座椅處貼上25cm的3x3的棋盤格，記實際相鄰角點距離dw(cm)，利用角點檢測檢測出棋盤格的角點與坐標轉換的變換公式結合，計算出相機鏡頭到人坐在座椅上的水平距離Zc，公式如下：
[0013][0014]其中，dw為棋盤格實際相鄰兩個角點之間的距離，dx為對應兩個角點之間x坐標的像素差值，dy為對應兩個角點之間y坐標的像素差值；fx、fy為相機的內參。
[0015]進一步地，步驟(2)中所述的乘客的坐高計算方法：調整座椅的距離，會得到不同位置的Zc，將之前得到主副駕坐高關鍵點的像素坐標一起代入像素坐標轉世界坐標的公式中，求出主副駕乘客的車內真實的坐高height(cm)，公式如下：
[0016][0017]其中，(x1，y1)為乘客頸部的關鍵點像素坐標(pix)，(x2，y2)為乘客股部的關鍵點像素坐標(pix)，Zc相機鏡頭到人坐在座椅上的水平距離，fx、fy為相機內參。
[0018]進一步地，步驟(2)中所述的乘客坐高高度信息存儲方法：將求得每一幀圖像的乘客坐高信息保存到長度為N的序列中，定義存儲坐高信息的時間序列vec_passenger_heights，序列大小為N，序列排號依次為N1?
N
N
，存儲方式具體為：存入第一幀的坐高信息到N1存入第二幀的坐高信息到N2...存入第n幀的坐高信息到N
N
；
[0019]vec_passenger_heights清空規則：
[0020]①
當vec_passenger_heights存滿時，刪除第一次存入的坐高信息，將當前幀坐高信息存在序列尾端；
[0021]②
當判斷出座艙乘員類別時，立即清空序列中的所有坐高信息；
[0022]③
當超過一段時間，沒有新的坐高信息存入時，清空序列中的所有坐高信息。
[0023]進一步地，步驟(3)所述的座艙成員類別邏輯判斷方法：
[0024]1)設定存儲座艙乘客坐高信息的時間序列vec_passenger_heights長度N，定義一個累加器numl，num2；
[0025]2)當vec_passenger_heights序列長度大于等于N時，序列從最后往前遍歷，判斷每一幀的值跟坐高閾值之間關系，小于M cm累加器num1加一，大于M cm累加器num2加一；
[0026]3)統計序列中小于M cm和大于M cm的幀數，計算小于M cm的概率是否大于0.8，如果大于乘客識別為兒童；計算大于M cm的概率是否大于0.8，如果大于乘客識別為成人。
[0027]與現有技術相比，本專利技術具備的有益效果：
[0028]本專利技術提供的一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，使用基于人體姿態識別檢測到的骨架關鍵點坐標估計及世界坐標系轉換的方式實現對副駕駛乘客的坐高計算和座艙成員類別的判斷，受相機畸變影響較小，可快速計算、分辨出副駕乘客類別，通過與車內預警系統聯用可有效提高乘客乘坐安全性；該方法科學有效、誤差較現有技術有較大幅度的降低，可進一步提高乘用車使用安全預警的精準度。
附圖說明
[0029]圖1為步驟(2)中所述的乘客坐高高度信息存儲方法存入第一幀的坐高信息示意圖；
[0030]圖2為步驟(2)中所述的乘客坐高高度信息存儲方法存入第二幀的坐高信息示意圖；
[0031]圖3為步驟(3)中所述本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，其特征在于：包括以下步驟：(1)提取主副駕人體坐高關鍵點信息：通過車內OMS相機拍攝座艙內場景，使用人體姿態識別提取座艙內圖像的人體骨架關鍵點信息并進行篩選和刪除誤檢測骨架信息，最后對車內的骨架進行分類、編號并保存每個骨架的關鍵點信息；(2)乘客骨架坐高計算：先計算出車內OMS相機內參以及相機到座椅的距離作為已知參數；然后將求得的已知參數帶入圖像像素坐標系轉世界坐標的公式中計算出對應位置乘客的坐高；最后將每一幀圖像內的乘客坐高高度信息存儲到坐高特征容器中；(3)座艙成員類別邏輯判斷：設定區分兒童/成人的坐高閾值為M cm，然后從坐高特征容器中的時間序列上所存儲的乘客坐高高度值與M比較以判斷座艙成員的類別。2.根據權利要求1所述的一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，其特征在于：步驟(1)所述的提取主副駕人體坐高關鍵點信息具體為：通過車內OMS相機拍攝座艙內場景，使用人體姿態識別算法提取座艙內圖像的人體骨架關鍵點信息，并對提取到的人體骨架關鍵點進行編號，編號順序為人體姿態識別檢測到骨架的先后順序排列；按照人體姿態識別里面識別的關鍵點占據圖像的位置來確定骨架所屬類別，區分出主駕駛、副駕駛以及后排的乘客骨架；提取主副駕駛的頸部和股部關鍵點作為求解坐高的關鍵點，并將座艙內乘客數量、頸部和股部關鍵點保存到骨架特征結構體中，為后續求解單幀圖像內乘客坐高做準備。3.根據權利要求1所述的一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，其特征在于：步驟(2)中所述的相機內參計算方法：用棋盤格標定板錄制20
?
25張圖像，然后用matlab的Camera Calibrator小程序標定車內相機，求出相機的內參fx，fy，u0，v0。4.根據權利要求1所述的一種基于車內OMS相機計算乘客坐高及座艙成員分類方法，其特征在于：步驟(2)中所述的相機到座椅的距離計算方法：在座椅處貼上25cm的3
×
3的棋盤格，記實際相鄰角點距離dw(cm)，利用角點檢測檢測出棋盤格的角點與坐標轉換的變換公式結合，計算出相機鏡頭到人坐在座椅上的水平距離Zc，公式如下：其中，dw為棋盤格實際相鄰兩個角點之間的距離，dx為對應兩個角點之間x坐標的像素差值，dy為對應兩個角點之間y坐標的像素差值；fx、fy為相機的內參。5.根...
【專利技術屬性】
技術研發人員：王臣豪，符樹敏，
申請(專利權)人：寧波春建電子科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。