【技術實現步驟摘要】
本申請涉及圖像處理領域，特別是涉及一種目標圖像預測方法、存儲介質、車載設備及車輛。
技術介紹
1、在現有的車輛視覺環境處理方法中，需要對采集的畸變圖像進行預處理，去畸變、平展、剪裁后送入模型。但是這種處理方法會減少獲取的圖像信息，縮小視野。在獲取車輛周圍視覺信息時，存在前向的感知易存在盲區，不同類型的相機采集的特征之間無法共同提取并融合的問題。
2、因此，需要一種能夠有效獲取圖像信息，融合不同種相機的特征并強化盲區感知能力的檢測方法。
技術實現思路
1、本申請主要提供一種目標圖像預測方法、存儲介質、車載設備及車輛，以解決圖像信息獲取殘缺，不同相機特征不能融合且前向視覺感知能力弱的問題。
2、為解決上述技術問題，本申請采用的一個技術方案是：提供一種目標圖像預測方法，包括：將至少一張非畸變圖像與至少一張畸變圖像堆疊后輸入特征提取器，得到預設層數的特征圖，所述非畸變圖像和所述畸變圖像來源于不同類型的相機；獲取以自車為中心的預設范圍內的鳥瞰圖查詢向量；將所述鳥瞰圖查詢向量投影回所述特征圖，以形成鳥瞰特征圖；將所述鳥瞰特征圖輸入至檢測器，以預測出目標圖像。
3、通過將畸變的原始圖像直接和非畸變圖像直接進行特征提取，保持了原有圖像的信息；通過查詢特征的鳥瞰查詢向量將特征投影到圖像上，完成畸變圖像與非畸變圖像的特征融合；根據具有融合特征的鳥瞰特征圖，得到預測的目標圖像，實現了不同類型相機圖像的特征融合，并形成具有近距離數據標注的鳥瞰特征圖。
4、在
5、通過上述步驟將鳥瞰查詢向量投影到相機歸一化坐標平面，使相機參數能夠在相機歸一化坐標平面上用于計算鳥瞰查詢向量的畸變。
6、在一些實施例中，所述相機類型包括魚眼相機；所述基于對應的相機類型對所述歸一化坐標平面的坐標點進行修正，包括：對與魚眼相機對應的所述歸一化坐標平面上的部分坐標點計算畸變點坐標，并以所述畸變點坐標作為更新后的新坐標點；所述畸變圖像來源于所述魚眼相機。
7、通過上述步驟將魚眼相機獲取的畸變圖像在相機歸一化平面上進行畸變計算，使相機歸一化平面上的畸變坐標點與非畸變坐標點能同時投影到圖像上。
8、在一些實施例中，所述獲取所述鳥瞰圖查詢向量在對應的相機坐標系下的歸一化坐標平面，包括：將所述鳥瞰圖查詢向量的坐標點與對應的相機外參相乘并進行歸一化處理，得到在對應的相機坐標系下的歸一化坐標平面；所述將修正后的所述歸一化坐標平面的坐標點投影回所述特征圖，包括：將修正后的所述歸一化坐標平面的坐標點與對應的相機內參相乘投影回所述特征圖。
9、通過上述步驟將坐標點投影到相機平面上，利用相機外參對坐標點的坐標進行計算并歸一化，使坐標點轉換到相機歸一化平面上，坐標點能夠對應映射到鳥瞰圖上。通過與鳥瞰查詢向量一一對應的坐標點的坐標變換，完成了鳥瞰查詢向量投影回特征圖的過程。
10、在一些實施例中，在所述將至少一張非畸變圖像與至少一張畸變圖像堆疊之前，還包括：對所述畸變圖像的前向盲區數據進行增強。
11、通過上述步驟強化畸變圖像的前向盲區數據，有利于增強模型對前向的感知能力，減少圖像信息的缺失。
12、在一些實施例中，所述對所述畸變圖像的前向盲區數據進行增強，包括：在前向預設采樣距離內隨機選擇一個采樣位置坐標；基于掩碼庫中隨機選擇的目標，形成所述采樣位置坐標上的二維掩碼；基于相機參數對所述二維掩碼增加畸變，所述相機參數包括相機內參和相機外參；將增加畸變的所述二維掩碼粘貼到所述真實圖像上，得到所述目標對應的虛擬目標；基于所述虛擬目標識別所述畸變圖像盲區中的目標，強化所述畸變圖像的前向盲區數據。
13、通過上述步驟形成增加畸變的二維掩碼，形成虛擬的前向目標。通過真實前向目標和虛擬前向目標的轉換過程，形成各目標對應的虛擬目標用于畸變圖像的盲區識別，訓練模型的前向感知能力，提升前向圖像信息的獲取能力。
14、在一些實施例中，所述基于掩碼庫中隨機選擇的目標，形成所述采樣位置坐標上的二維掩碼，包括：將掩碼庫中隨機選擇的所述目標的三維圖形設置于所述采樣位置坐標上；將所述三維圖形投影回所述真實圖像中，得到所述三維圖形在所述真實圖像中的二維圖形；縮放所述目標對應的二維掩碼的長和寬至與所述二維圖形的長和寬相同，得到所述采樣位置坐標上的二維掩碼。
15、通過上述步驟在真實圖像上通過三維圖形投影到二維，形成采樣位置上的二維掩碼，用于限定節點上的可見范圍。
16、在一些實施例中，所述基于相機參數對所述二維掩碼增加畸變，包括：將所述真實圖像中的每一個像素坐標轉換到相機坐標系下，在所述相機坐標系下計算每一個所述像素坐標的徑向距離；基于相機參數和每一個所述像素坐標的徑向距離，計算畸變后的每一個所述像素坐標；將畸變后的每一個所述像素坐標映射到真實圖像上，得到畸變圖像；基于所述畸變圖像非零區域的邊界進行裁剪，得到增加畸變的所述二維掩碼。
17、通過上述步驟將真實圖像增加畸變后映射圖像坐標點，為真實圖像上的二維圖形增加畸變，使增加畸變的二維圖形可用于畸變圖像的特征提取訓練。
18、在一些實施例中，所述獲取以自車為中心的預設范圍內的鳥瞰圖查詢向量，包括：構建以自車為中心在預設范圍內的網格參考點；采用詞嵌入模塊初始化與各所述網格參考點對應的鳥瞰圖查詢向量；采用注意力機制處理所述鳥瞰圖查詢向量。
19、通過上述步驟訓練模型對鳥瞰查詢向量的處理能力，強化模型對鳥瞰查詢向量在網格參考點構建的空間中的全局信息，提高模型處理空間關系和強化特征的能力。
20、在一些實施例中，所述采用注意力機制處理所述鳥瞰圖查詢向量，包括：將各所述鳥瞰圖查詢向量輸入自注意力機制以進行處理；將各所述鳥瞰圖查詢向量與對應的所述特征圖輸入可變形交叉注意力以進行處理。
21、通過可變形交叉注意力機制，模型在計算注意力權重時能夠靈活地調整感受野，更好地適應復雜的輸入結構，提高模型在處理不同尺度和形狀的特征時的表現。
22、為解決上述技術問題，本申請采用的另一個技術方案是：提供一種存儲介質，其上存儲有程序數據，所述程序數據被處理器執行時實現如上述的目標圖像預測方法的步驟。
23、該存儲介質的有益效果參考上述目標圖像預測方法的有益效果，在此不再贅述。
24、本申請還提供一種車載設備，包括相互連接的處理器和存儲器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時，實現如上述的目標圖像預測方法的步驟。
25、所述車載設備為計算機類型的設備，該車載設備的有益效果參考上述目標圖像預測方法的有益效果，在此不再贅本文檔來自技高網...
【技術保護點】
1.一種目標圖像預測方法，其特征在于，包括：
2.根據權利要求1所述的目標圖像預測方法，其特征在于，所述將所述鳥瞰圖查詢向量投影回所述特征圖，以形成鳥瞰特征圖，包括：
3.根據權利要求2所述的目標圖像預測方法，其特征在于，所述相機類型包括魚眼相機；
4.根據權利要求2所述的目標圖像預測方法，其特征在于，所述獲取所述鳥瞰圖查詢向量在對應的相機坐標系下的歸一化坐標平面，包括：
5.根據權利要求1所述的目標圖像預測方法，其特征在于，在所述將至少一張非畸變圖像與至少一張畸變圖像堆疊之前，還包括：
6.根據權利要求5所述的目標圖像預測方法，其特征在于，所述對所述畸變圖像的前向盲區數據進行增強，包括：
7.根據權利要求6所述的目標圖像預測方法，其特征在于，所述基于掩碼庫中隨機選擇的目標，形成所述采樣位置坐標上的二維掩碼，包括：
8.根據權利要求6所述的目標圖像預測方法，其特征在于，所述基于相機參數對所述二維掩碼增加畸變，包括：
9.根據權利要求1所述的目標圖像預測方法，其特征在于，所述獲取以自車為
10.根據權利要求9所述的目標圖像預測方法，其特征在于，所述采用注意力機制處理所述鳥瞰圖查詢向量，包括：
11.一種存儲介質，其上存儲有程序數據，其特征在于，所述程序數據被處理器執行時實現如權利要求1-10任一項所述的目標圖像預測方法的步驟。
12.一種車載設備，其特征在于，包括相互連接的處理器和存儲器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時，實現如權利要求1-10任一項所述的目標圖像預測方法的步驟。
13.一種車輛，其特征在于，所述車輛包括如權利要求12所述的車載設備。
...【技術特征摘要】
1.一種目標圖像預測方法，其特征在于，包括：
2.根據權利要求1所述的目標圖像預測方法，其特征在于，所述將所述鳥瞰圖查詢向量投影回所述特征圖，以形成鳥瞰特征圖，包括：
3.根據權利要求2所述的目標圖像預測方法，其特征在于，所述相機類型包括魚眼相機；
4.根據權利要求2所述的目標圖像預測方法，其特征在于，所述獲取所述鳥瞰圖查詢向量在對應的相機坐標系下的歸一化坐標平面，包括：
5.根據權利要求1所述的目標圖像預測方法，其特征在于，在所述將至少一張非畸變圖像與至少一張畸變圖像堆疊之前，還包括：
6.根據權利要求5所述的目標圖像預測方法，其特征在于，所述對所述畸變圖像的前向盲區數據進行增強，包括：
7.根據權利要求6所述的目標圖像預測方法，其特征在于，所述基于掩碼庫中隨機選擇的目標，形成所述采樣位置坐標上的二維掩碼，...
【專利技術屬性】
技術研發人員：魏志偉，
申請(專利權)人：深圳元戎啟行科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。