【技術實現步驟摘要】
本專利技術屬于環境感知系統數據融合。
技術介紹
1、隨著科學技術與制造業的飛速發展，移動機器人在人類社會生活中所扮演的角色越來越重要，移動機器人融合激光數據傳感器、視覺傳感器可以實現周圍環境地圖的精確重建，對于外界環境的變化有著更強的抗干擾能力，同時對于環境的信息獲取更為準確，并可以在此基礎上實現動態目標檢測以及重定位等功能，而如何將多種類傳感器得到的數字信息進行合理的融合，成為移動機器人環境感知系統研究的一個重要發展方向。其中，通過激光雷達結合攝像機實現聯合標定是一種合理可行的標定方法。
2、現有的基于標定設備的標定方法，例如公開號為cn105678783b的中國專利公開了一種折反射全景相機與激光雷達數據融合標定方法，該數據融合標定結構包括在環境感知系統機體上安裝的激光雷達和單視點折反射式全景相機；其聯合標定方法包括：一、攝像機內參k標定；二、折反射鏡面折射點參數xm，ym，zm求解；三、全景相機世界坐標點參數xw，yw，zw求解；四、激光雷達世界坐標點參數測量；五、全景相機與激光雷達聯合標定。上述專利能夠對全景相機的內部參數進行有效標定，進而對環境感知系統中測距定位問題提供一套合理、快捷、有效的方案。
3、但是，上述專利不能自動建立全景圖像與激光雷達點云間的對應特征關系，需要人工干預建立對應關系，因此無法實現外參的高精度求解，而全景相機和激光雷達的標定作為二者融合的重要內容，精確的外參往往會對兩種信息融合起著積極的作用；且基于標定設備的標定方法需要依賴特制的標定目標，同時對場景進行特殊布置，導致標定不
4、而基于自然環境的標定方法，例如基于邊緣特征匹配的標定方法不需要依賴特制的標定目標，但是，需要人為手動測量獲得外參初始值，不能實現自動標定，且外參精度難以達到像素級別。
技術實現思路
1、為了擺脫標定設備的限制，且自動獲得高精度的外參，本專利技術提出一種“基于自然環境的環視全景相機與激光雷達全自動標定方法”。
2、如圖1所示，基于自然環境的環視全景相機與激光雷達全自動標定方法，包括如下步驟：
3、1)對環視全景相機進行內參標定：使用全景相機球模型，u＝π(·)p描述了環視全景相機空間點p與對應像素點u的映射關系，其中π(·)表示廣義的投影過程，通過對環視全景相機的內參標定，得到投影過程中的具體參數，準確建立空間點p與對應像素點u的映射關系；
4、2)分別對全景圖像和激光雷達點云數據進行特征提取和特征匹配；
5、3)根據環視全景相機的內參及全景圖像幀間的特征點匹配關系，對環視全景相機的運動進行估計，利用激光雷達點云數據的特征匹配關系，對激光雷達的運動進行估計；
6、4)環視全景相機與激光雷達之間剛性連接，在運動過程中，相對位姿保持不變，通過位姿估計，利用手眼標定的方式計算環視全景相機與激光雷達之間的初始外參：
7、環視全景相機和激光雷達的運動位姿矩陣和外參矩陣之間的約束為ax＝xb，矩陣a為環視全景相機的運動位姿變換矩陣，矩陣b為激光雷達里程計計算的運動位姿變換矩陣，x為環視全景相機與激光雷達間的外參矩陣，使用r，t表示環視全景相機與激光雷達間的旋轉和平移關系，激光雷達的運動位姿表示為tl＝[rl,tl]，環視全景相機的運動位姿表示為tc＝[rc,tc]，根據手眼標定模型，滿足以下關系：
8、rlr＝rrc，
9、rlt+tl＝rtc+t，
10、使用單目環視全景相機進行相機的位姿估計時，計算得到的位姿信息具有尺度不確定性，因此環視全景相機和激光雷達計算的位姿信息在平移項tc和tl之間存在一個尺度s的差異，使用公式來表示：
11、rlt+tl＝rtc·s+t，
12、利用以上約束，構建目標函數一對外參r，t和s進行優化，通過迭代得到環視全景相機與激光雷達之間的初始外參；
13、5)為了進一步對外參進行優化，利用邊緣匹配的方法建立全景圖像與激光雷達點云之間的約束關系。
14、為了提取激光雷達點云中的邊緣特征，根據激光雷達點云中包含的強度值和高程值，將密集點云轉換為強度圖和深度圖的形式，深度圖中每個像素點代表被測點(x，y，z)與激光雷達的空間距離，深度值
15、強度圖中的像素表示被測物體的回波強度值，計算公式如下：
16、i＝r/d2，其中，r代表激光雷達的測量信息中被測物體的反射率，d代表深度值，i代表回波強度值；利用初始外參r，t和環視全景相機的內參，計算點云投影到環視全景圖像像素平面的坐標，點云{pi,i＝1,2,…n}對應的深度值{di}和強度值{ii}經過投影過程π(·)得到對應的深度圖和強度圖。
17、6)對環視全景圖像、步驟5)得到的深度圖、強度圖分別進行邊緣特征提取，并對環視全景圖像和激光雷達點云中的邊緣特征進行匹配；
18、7)根據步驟6)得到的環視全景圖像與激光雷達點云特征匹配關系，構建目標函數二，對初始外參進行優化：
19、構建目標函數二時根據線特征法向量的夾角構建因子a，因子a由分段函數表示：
20、
21、θ為點云投影點中線特征的法向量與匹配的全景圖像線特征法向量之間的夾角，ε為兩向量夾角的閾值，當夾角θ大于閾值，則認為該組線特征是誤匹配，由因子a控制目標函數二，將其設為0，消除對優化結果的影響，最終的目標函數二為：
22、
23、其中，k表示線特征匹配的對數，j表示檢測到誤匹配時a被置為0的次數，pi表示點云投影中的各線特征，qi表示全景圖像中各線特征點，表示環視全景相機與激光雷達間的初始外參，最后根據目標函數二對初始外參優化，得到更精確的外參。
24、技術效果：
25、本專利技術不需要在特定的場景下對環視全景相機與激光雷達進行外參標定，在室外不依賴特制標定目標的情況下，利用自然環境中的有用信息來標定環視全景相機和激光雷達間的空間位置關系，使得標定靈活，且環視全景相機和激光雷達都具有環視360°的場景感知能力，完整顯示360度范圍內的圖像信息，對于環境的信息獲取更為準確；通過分別對全景圖像和激光雷達點云數據進行特征提取和特征點匹配，并估計環視全景相機和激光雷達的里程計信息，自動建立全景圖像與激光雷達點云間的對應特征關系，并基于手眼標定方法計算外參的初始值。
26、再利用全景圖像和激光雷達點云中的邊緣特征，根據激光雷達點云中包含的強度值和高程值，將密集點云轉換為強度圖和深度圖的形式，對環視全景圖像、深度圖、強度圖使用邊緣匹配的方式對外參繼續優化求解；由于在線特征相交及紋理較強的情況下線特征容易產生誤匹配，對外參優化造成影響，因此在構建目標函數二時根據線特征法向量的夾角構建因子a，避免誤匹配對初始外參優化結果的影響，進一步提高外參精度。
27、本專利技術實現了環視全景相機與激光雷達的全自動外參標定，無需人工干預，并進一步的利用全景圖像和點云信息的線特征本文檔來自技高網...
【技術保護點】
1.基于自然環境的環視全景相機與激光雷達全自動標定方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于自然環境的環視全景相機與激光雷達全自動標定方法，其特征在于，在步驟2)中使用ORB特征提取算法取得全景圖像序列中的圖像幀幀間的關鍵點和描述子，再對特征點進行匹配從而得到幀間特征點的匹配關系；對激光雷達點云數據進行去噪和分類，根據分類結果提取出邊緣點和平面點，并對這些特征點進行幀間匹配。
3.根據權利要求1所述的基于自然環境的環視全景相機與激光雷達全自動標定方法，其特征在于，在步驟6)中，利用canny算子對環視全景圖像、步驟5)得到的深度圖、強度圖分別進行邊緣特征提取，使用K-D樹算法對環視全景圖像和激光雷達點云中的邊緣特征進行匹配。
【技術特征摘要】
1.基于自然環境的環視全景相機與激光雷達全自動標定方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于自然環境的環視全景相機與激光雷達全自動標定方法，其特征在于，在步驟2)中使用orb特征提取算法取得全景圖像序列中的圖像幀幀間的關鍵點和描述子，再對特征點進行匹配從而得到幀間特征點的匹配關系；對激光雷達點云數據進行去...
【專利技術屬性】
技術研發人員：張裕，方宇超，馬佳磊，任正瑋，方明，
申請(專利權)人：長春理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。