【技術實現步驟摘要】
本專利技術涉及地圖構建，具體為基于逆透視映射和同步學習的在線地圖構建方法和系統。
技術介紹
1、本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
2、實現車輛自動駕駛期間需要得到實時更新的地圖數據，即在線地圖，在線地圖包含詳細的道路信息、交通標志、車道劃分、障礙物位置等。這些地圖通常使用傳感器數據(如激光雷達、攝像頭等)進行創建和更新，相關的在線地圖構建方法除了應用在自動駕駛場景以外，還可以應用在智能交通等領域。
3、pv-bev特征轉換，即透視圖(pv)特征轉換到與鳥瞰圖(bev)特征，是在線地圖構建中的核心問題。由于攝像頭通常放置在平行于地面并且面向外界環境的車輛上，使得圖像是在透視視圖中捕獲的，這與bev是正交的，使得兩個視圖之間的轉換存在困難。由于空間中的點可以通過透視映射轉換到圖像空間，而將圖像像素投影到三維空間的逆問題是無法確定的。
4、逆透視映射(inverse?perspective?mapping,ipm)是在額外約束條件下提出的解決數學上不可能的映射問題的方法，即逆映射的點位于水平平面上。該變換應用了相機旋轉單應性和各向異性縮放。單應性矩陣可以從相機的內參數和外參數物理推導出來。一些方法使用卷積神經網絡提取透視圖圖像的語義特征，并估計圖像中的垂直消失點和地平線(地平面消失線)來確定單應性矩陣。但是此方法通常無法準確檢測地平面上方的目標，如建筑物、車輛和行人等3d物體會產生很嚴重的幾何扭曲。同時由于ipm變換僅能捕獲道路平面上的信息，缺乏與路面上方
技術實現思路
1、為了解決上述
技術介紹
中存在的技術問題，本專利技術提供基于逆透視映射和同步學習的在線地圖構建方法和系統，在bev視角下應用多尺度條狀卷積提取全局和局部信息，同步學習序列在透視視角下生成透視特征，通過雙重特征融合模塊協同整合，并通過視角互補地圖學習來提高聯合學習能力，增強模型泛化能力。
2、為了實現上述目的，本專利技術采用如下技術方案：
3、本專利技術的第一個方面提供基于逆透視映射和同步學習的在線地圖構建，包括以下步驟：
4、獲取透視圖像并預處理，經變換得到多尺度逆透視映射圖像；
5、得到的逆透視映射圖像經多尺度條狀卷積解碼，利用不同方向的條狀卷積殘差連接，經逐層解碼和特征融合，得到全局鳥瞰特征；
6、預處理后透視圖像經同步學習序列和語義分割網絡得到透視特征；
7、將透視特征轉換到鳥瞰坐標系，并與全局鳥瞰特征在空間上對齊，得到增強后的透視特征，通過卷積操作融合全局鳥瞰特征和增強后的透視特征，融合后的特征經解碼器輸出所構建地圖的當前幀；
8、其中，逐層解碼和特征融合，具體為：當前層的逆透視映射圖像的特征進行通道調整，并分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積結果，通過在通道維度上串聯，形成相應方向的融合特征圖，再與下一層逆透視映射圖像的特征融合，得到當前層的解碼特征并作為下一層的輸入，直至最后一層逆透視映射圖像的特征與上一層的解碼特征融合后，分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積結果，通過在通道維度上串聯得到全局鳥瞰特征。
9、進一步的，預處理后的透視圖像，經變換得到多尺度逆透視映射圖像，具體為：預處理后的透視圖像，經過圖像尺度變換再經逆透視變換轉換為多尺度逆透視映射圖像。
10、進一步的，預處理后的透視圖像，經變換得到多尺度逆透視映射圖像，具體為：預處理后的透視圖像為多視角的透視圖像in以及相機的內參和外參逆透視映射圖像通過假設的高度h計算得到，如下式所示：
11、
12、proj(xi,yj)＝∑nin(u,v),若(u<imh,v<imw)；
13、
14、其中，plane代表所有網格的集合，zc是相機坐標系中的深度值，u和v、u0和v0是像素坐標系中的值，n是相機的數量，imh和imw是透視圖像in的大小，h和w是原始圖像的大小。
15、進一步的，多尺度逆透視映射圖像具有多層，利用編碼器得到多層逆透視映射圖像的特征，并經逐層解碼和特征融合得到全局鳥瞰特征。
16、進一步的，逐層解碼和特征融合，包括第四層解碼，具體為：
17、輸入特征圖通過卷積層減小通道數，得到調整后的特征圖f4：
18、將f4分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積結果在通道維度上融合，形成方向融合特征圖d4：
19、將處理后的特征圖d4f與第三層編碼器的特征圖融合，形成當前層的解碼特征d4。
20、進一步的，逐層解碼和特征融合，還包括第三層解碼，具體為：
21、通道調整：將上一層的解碼特征d4進行上采樣，匹配第三層編碼器特征的分辨率，得到調整后的特征d3up；
22、將d3up分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積特征，并在通道上融合，得到融合后的特征d3f；
23、將d3f與下一層的輸入特征融合，形成當前層的解碼特征d3。
24、進一步的，逐層解碼和特征融合，還包括第二層解碼，具體為：
25、通道調整：將上一層解碼特征d3進行上采樣，得到調整后的特征d2up；
26、將d2up分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積特征，并在通道上融合，得到融合后的特征d2f；
27、將d2f與下一層的輸入特征融合，形成當前層解碼特征d2。
28、進一步的，逐層解碼和特征融合，還包括第一層解碼，具體為：
29、將上一層特征d2上采樣后，分別沿縱向、橫向和對角線方向提取特征，得到四個不同方向的條狀卷積特征，并在通道上融合，得到提高分辨率后的融合特征fo，作為輸出的全局鳥瞰特征。
30、進一步的，將透視特征轉換到鳥瞰坐標系，并與全局鳥瞰特征在空間上對齊，得到增強后的透視特征，具體為：
31、基于特征逆透視映射的方法將透視特征fpv轉換為鳥瞰坐標系中的特征
32、對鳥瞰空間中的特征執行幾何操作，保證與特征fo的一致對齊，進一步進行池化、卷積和填充操作，并利用卷積塊處理連接后的特征，得到增強后的特征fme。
33、進一步的，通過卷積操作融合全局鳥瞰特征和增強后的透視特征，具體為：
34、引入前三幀的增強特征，通過車輛運動矩陣將前三幀的融合特征轉換到當前幀視角下，對齊不同時間步的特征，并將多幀特征進行時序融合，得到的融合特征經解碼器輸出所構建地圖的當前幀。
35、本專利技術的第二個方面提供實現上述方法所需的系統，包括：
36、數據采集和預處理模塊，被配置為：獲取透視圖像并預處理，經變換得到多尺度逆透視映射圖像；
【技術保護點】
1.基于逆透視映射和同步學習的在線地圖構建，其特征在于：包括以下步驟：
2.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：預處理后的透視圖像為多視角的透視圖像In以及相機的內參和外參逆透視映射圖像通過假設的高度h計算得到，如下式所示：
3.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：多尺度逆透視映射圖像具有多層，利用編碼器得到多層逆透視映射圖像的特征，并經逐層解碼和特征融合得到全局鳥瞰特征。
4.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合，包括第四層解碼，具體為：
5.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合，還包括第三層解碼，具體為：
6.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合，還包括第二層解碼，具體為：
7.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合，還包括第一層解碼，
8.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：將透視特征轉換到鳥瞰坐標系，并與全局鳥瞰特征在空間上對齊，得到增強后的透視特征，具體為：
9.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：通過卷積操作融合全局鳥瞰特征和增強后的透視特征，具體為：
10.實現權利要求1-9任一項所述方法的在線地圖構建系統，其特征在于，包括：
...【技術特征摘要】
1.基于逆透視映射和同步學習的在線地圖構建，其特征在于：包括以下步驟：
2.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：預處理后的透視圖像為多視角的透視圖像in以及相機的內參和外參逆透視映射圖像通過假設的高度h計算得到，如下式所示：
3.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：多尺度逆透視映射圖像具有多層，利用編碼器得到多層逆透視映射圖像的特征，并經逐層解碼和特征融合得到全局鳥瞰特征。
4.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合，包括第四層解碼，具體為：
5.如權利要求1所述的基于逆透視映射和同步學習的在線地圖構建，其特征在于：逐層解碼和特征融合...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。