【技術(shù)實現(xiàn)步驟摘要】
本申請涉及車輛泊車，尤其涉及一種基于車位語義信息的泊車視覺定位方法、系統(tǒng)及車載終端。
技術(shù)介紹
1、在現(xiàn)代車輛自動泊車系統(tǒng)中，為了提高自動泊車的精確度和安全性，視覺定位技術(shù)被廣泛應(yīng)用。傳統(tǒng)的視覺定位方法主要包括基于圖像特征點匹配的方法和基于深度學習的目標檢測方法，其中，基于圖像特征點匹配的方法依賴于從圖像中提取和匹配特征點進行視覺定位，如sift(scale-invariant?feature?transform，尺度不變特征轉(zhuǎn)換)、surf(speeded?up?robust?features，加速穩(wěn)健特征)或orb(oriented?fast?and?rotatedbrief，fast角點檢測和brief特征描述)等，基于深度學習的目標檢測方法依賴于訓練cnn(convolutional?neural?networks，卷積神經(jīng)網(wǎng)絡(luò))來識別停車位、車道線等環(huán)境特征進行視覺定位。
2、然而，在apa(automated?parking?assist，自動泊車輔助)和avp(automatedvalet?parking，自動代客泊車)場景中，因為光線反射和頻繁移動的物體，往往存在不穩(wěn)定特征跟蹤的影響?；趫D像特征點匹配的方法在處理光照變化、視角變化或部分遮擋時表現(xiàn)較差，通常無法在紋理稀疏和光線動態(tài)變化的停車環(huán)境中提取足夠的有效特征點，導致定位精度顯著下降，此外，該方法通常需要高質(zhì)量的特征點提取和匹配算法，計算復雜度較高，導致定位的實時性較差；而基于深度學習的目標檢測方法依賴大量標注數(shù)據(jù)進行訓練，對不同環(huán)境和條件的適應(yīng)
技術(shù)實現(xiàn)思路
1、鑒于以上所述現(xiàn)有技術(shù)的缺點，本申請公開了一種基于車位語義信息的泊車視覺定位方法、系統(tǒng)及車載終端，用于解決現(xiàn)有技術(shù)中泊車時車輛定位不準確的技術(shù)問題。
2、第一方面，本申請?zhí)峁┝艘环N基于車位語義信息的泊車視覺定位方法，所述方法包括：獲取車輛在泊車環(huán)境中的鳥瞰圖像以及全局車位語義地圖，所述全局車位語義地圖根據(jù)所述泊車環(huán)境構(gòu)建；將所述鳥瞰圖像輸入車位檢測模型進行車位檢測，獲得圖像坐標系下的第一車位語義信息，所述車位檢測模型根據(jù)樣本鳥瞰圖像訓練獲得；根據(jù)所述鳥瞰圖像中車輛與車位的相對位置關(guān)系，對所述第一車位語義信息進行全局坐標轉(zhuǎn)化，獲得全局坐標系下的第二車位語義信息，所述全局坐標系以所述泊車環(huán)境為參考構(gòu)建；將所述第二車位語義信息與所述全局車位語義地圖進行匹配，確定車輛在所述泊車環(huán)境中的位置。
3、于本申請一實施例中，所述鳥瞰圖像的生成方式，包括：對車輛相機進行相機外參標定，并捕獲車輛在不同視角下的多張環(huán)視圖像；根據(jù)所述相機外參，對每一所述環(huán)視圖像進行鳥瞰圖轉(zhuǎn)換，獲得所述不同視角下的多張鳥瞰子圖；根據(jù)預(yù)設(shè)的鳥瞰圖像尺寸，對多張所述鳥瞰子圖進行拼接，生成所述鳥瞰圖像。
4、于本申請一實施例中，所述對車輛相機進行相機外參標定，包括：獲取車輛相機預(yù)設(shè)的相機內(nèi)參與畸變系數(shù)，以及基于棋盤格標定板獲取不同視角下的多張標定圖像；對于每一所述標定圖像，根據(jù)所述相機內(nèi)參與所述畸變系數(shù)進行去畸變處理，并將去畸變后的所述標定圖像進行灰度化處理，獲得灰度圖像；對每一所述灰度圖像中棋盤格的角點進行識別，獲得多組棋盤格角點坐標；對多組所述棋盤格角點坐標與預(yù)設(shè)的所述棋盤格標定板中角點的標定點坐標進行計算，獲得所述相機外參。
5、于本申請一實施例中，所述根據(jù)所述鳥瞰圖像中車輛與車位的相對位置關(guān)系，對所述第一車位語義信息進行全局坐標轉(zhuǎn)化，獲得全局坐標系下的第二車位語義信息，包括：根據(jù)所述鳥瞰圖像中車輛與車位的相對位置關(guān)系，對所述第一車位語義信息進行轉(zhuǎn)化，獲得車體坐標系上的第三車位語義信息；根據(jù)視覺慣性融合參數(shù)與車輛前進距離，對所述第三車位語義信息進行計算，獲得所述第二車位語義信息，所述視覺慣性融合參數(shù)包括旋轉(zhuǎn)矩陣與平移向量，通過標定車輛相機與車輛慣性傳感器之間的相對位置及姿態(tài)關(guān)系獲得，所述車輛前進距離為車輛相對于全局坐標系原點的前進距離，通過輪速傳感器監(jiān)測獲得。
6、于本申請一實施例中，所述旋轉(zhuǎn)矩陣的標定方式，包括：采集同步的相機數(shù)據(jù)與慣性傳感器數(shù)據(jù)，所述相機數(shù)據(jù)包括不同時間戳下的第一圖像數(shù)據(jù)，所述慣性傳感數(shù)據(jù)包括不同時間戳下的第一車輛運動數(shù)據(jù)；根據(jù)不同時間戳下的所第一圖像數(shù)據(jù)，計算圖像數(shù)據(jù)之間的第一相對旋轉(zhuǎn)矩陣，以及根據(jù)不同時間戳下的所述第一車輛運動數(shù)據(jù)，計算車輛運動數(shù)據(jù)之間的第二相對旋轉(zhuǎn)矩陣；根據(jù)所述第一相對旋轉(zhuǎn)矩陣與所述第二相對旋轉(zhuǎn)矩陣構(gòu)建旋轉(zhuǎn)矩陣等式；將所述旋轉(zhuǎn)矩陣等式轉(zhuǎn)化為四元數(shù)等式，并根據(jù)所述四元數(shù)等式構(gòu)建超定方程，求解最小奇異值對應(yīng)的奇異向量；對所述奇異向量進行矩陣轉(zhuǎn)化，獲得所述旋轉(zhuǎn)矩陣。
7、于本申請一實施例中，所述平移向量的標定方式，包括：選擇包含多幀的時間滑動窗口，所述時間滑動窗口包括不同時間戳下的第二圖像數(shù)據(jù)以及與所述第二圖像數(shù)據(jù)同步的第二車輛運動數(shù)據(jù)；初始化所述視覺慣性融合參數(shù)與車輛慣性傳感器偏置，所述車輛慣性傳感器偏置包括加速度計偏置與陀螺儀偏置；根據(jù)所述第二圖像數(shù)據(jù)、所述第二車輛運動數(shù)據(jù)以及初始化后的所述視覺慣性融合參數(shù)、所述車輛慣性傳感器偏置，構(gòu)建線性優(yōu)化代價函數(shù)，所述線性優(yōu)化代價函數(shù)包括角點重投影誤差方程、加速度計測量誤差方程、陀螺儀測量誤差方程與偏置隨機游走噪聲方程；以最小化所述線性優(yōu)化代價函數(shù)為目標，對所述線性優(yōu)化代價函數(shù)進行求解，獲得所述平移向量。
8、于本申請一實施例中，所述車位檢測模型的訓練方式，包括：獲取圖像訓練集，所述圖像訓練集包括不同泊車環(huán)境中的各種所述樣本鳥瞰圖像；對每一所述樣本鳥瞰圖像上的車位信息進行標注，所述車位信息包括車位角點位置坐標、車位入口線坐標、車位狀態(tài)與車位類型，所述車位角點位置坐標與所述車位入口線坐標為圖像坐標系上的坐標；構(gòu)建初始模型與所述初始模型的損失函數(shù)，所述初始模型為卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)下的目標檢測算法模型，所述損失函數(shù)包括定位損失函數(shù)和分類損失函數(shù)；利用標注后的圖像訓練集訓練所述初始模型，進行所述初始模型的收斂，當定位損失與分類損失的和達到預(yù)設(shè)損失值時，獲得所述車位檢測模型。
9、于本申請一實施例中，所述全局車位語義地圖的構(gòu)建方式，包括：在所述泊車環(huán)境中，通過車輛行駛獲取車輛周邊圖像集，生成環(huán)境鳥瞰圖像集；將所述環(huán)境鳥瞰圖像集中的每一環(huán)境鳥瞰圖像輸入所述車位檢測模型，獲得圖像坐標系上的多個第四車位語義信息；對所述泊車環(huán)境進行地圖建模，并將多個所述第四車位語義信息轉(zhuǎn)化到全局坐標系上，獲得全局初始車位語義信息；計算所述全局初始車位語義信息中兩兩車位語義信息之間的相似度，并根據(jù)所述相似度對所述全局初始車位語義信息進行優(yōu)化，獲得全局目標車位語義信息；根據(jù)所述全局目標車位語義信息在所述地圖上繪制車位，生成所述全局車位語義地圖。
10、第二方面，本申請?zhí)峁┝艘槐疚臋n來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于車位語義信息的泊車視覺定位方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述鳥瞰圖像的生成方式，包括：
3.根據(jù)權(quán)利要求2所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述對車輛相機進行相機外參標定，包括：
4.根據(jù)權(quán)利要求1所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述根據(jù)所述鳥瞰圖像中車輛與車位的相對位置關(guān)系，對所述第一車位語義信息進行全局坐標轉(zhuǎn)化，獲得全局坐標系下的第二車位語義信息，包括：
5.根據(jù)權(quán)利要求4所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述旋轉(zhuǎn)矩陣的標定方式，包括：
6.根據(jù)權(quán)利要求4所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述平移向量的標定方式，包括：
7.根據(jù)權(quán)利要求1至6任一項所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述車位檢測模型的訓練方式，包括：
8.根據(jù)權(quán)利要求7所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述全局車位語義地圖
9.一種基于車位語義信息的泊車視覺定位系統(tǒng)，其特征在于，所述系統(tǒng)包括：
10.一種車載終端，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于車位語義信息的泊車視覺定位方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述鳥瞰圖像的生成方式，包括：
3.根據(jù)權(quán)利要求2所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述對車輛相機進行相機外參標定，包括：
4.根據(jù)權(quán)利要求1所述的基于車位語義信息的泊車視覺定位方法，其特征在于，所述根據(jù)所述鳥瞰圖像中車輛與車位的相對位置關(guān)系，對所述第一車位語義信息進行全局坐標轉(zhuǎn)化，獲得全局坐標系下的第二車位語義信息，包括：
5.根據(jù)權(quán)利要求4所述的基于車位語...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王茂瑞，張操，蘇星溢，李楊，陳波，
申請(專利權(quán))人：重慶賽力斯鳳凰智創(chuàng)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。