【技術實現步驟摘要】
本申請涉及圖像處理領域，特別是涉及一種自動駕駛仿真方法、存儲介質及計算機設備。
技術介紹
1、目前，自動駕駛仿真任務中的場景以及傳感器仿真數據主要是通過基于游戲引擎的方式產生。但是這種方式產生的傳感器仿真數據與真實的數據存在差異，會影響感知的檢測精度，且在自動駕駛泊車任務上尤其突出。因為泊車任務的感知要求的精度較高，而離自車很近的地方存在障礙物時，基于游戲引擎仿真的傳感器仿真出的數據不夠真實，會影響感知系統在近距離上的檢測精度，無法進行真正的引入感知的閉環仿真，滿足不了泊車的自動駕駛仿真測試需求。同時，基于游戲引擎仿真的傳感器還依賴硬件設備，搭建成本高，生成的圖像所支持的傳感器類型少。
技術實現思路
1、本申請主要提供一種自動駕駛仿真方法、存儲介質及計算機設備，以解決自動駕駛仿真任務中場景真實性低的問題。
2、為解決上述技術問題，本申請采用的一個技術方案是：提供一種自動駕駛仿真方法，包括：將相機位姿輸入完成訓練后的神經輻射場網絡；所述神經輻射場網絡基于所述相機位姿進行渲染，以得到與所述相機位姿對應的仿真圖像；將所述仿真圖像傳輸至自動駕駛算法，所述自動駕駛算法基于所述仿真圖像進行仿真測試。
3、通過訓練后的神經輻射場網絡對圖像進行渲染，有利于提高仿真圖像的真實度，使仿真圖像更加接近真實相機拍攝的效果。神經輻射場網絡能夠根據已知的視角圖像合成出任意新視角的圖像，增加了自動駕駛仿真車輛可獲取的環境信息，具有靈活的仿真視角。神經輻射場網絡還支持不同的自動駕駛仿真傳感
4、在一些實施例中，所述將相機位姿輸入完成訓練后的神經輻射場網絡之前，還包括：以多組相機位姿和相機真實圖像為訓練集輸入所述神經輻射場網絡；通過相機畸變參數計算所述神經輻射場網絡中采樣射線的畸變參數，以確定對應相機位姿下所述相機真實圖像上的位置點和場景中位置之間的對應關系；基于所述相機真實圖像上的位置點和場景中位置之間的對應關系進行圖像渲染，以得到對應相機位姿下的仿真圖像；基于所述仿真圖像與所述相機真實圖像之間的差異更新所述神經輻射場網絡的參數。
5、通過考慮相機畸變參數，可以更加精確地計算采樣射線在相機真實圖像上的位置點，從而建立場景中位置與圖像上位置之間的準確對應關系，提高圖像渲染的真實感和圖像信息的準確性。結合相機畸變參數使神經輻射場網絡能夠直接使用車載相機拍攝的畸變圖像進行訓練和渲染，降低訓練成本，提高渲染效率。
6、在一些實施例中，所述基于所述仿真圖像與所述相機真實圖像之間的差異更新所述神經輻射場網絡的參數，包括：基于所述仿真圖像與所述相機真實圖像的差異計算損失函數；利用與所述損失函數相關聯的梯度，通過梯度回傳更新所述神經輻射場網絡的參數；響應于所述損失函數的收斂，結束對所述神經輻射場網絡的訓練。
7、通過梯度回傳更新網絡參數能夠精確地指導網絡參數的優化方向，更快地收斂到最優解，提高神經輻射場網絡模型的渲染質量，使生成的圖像更加準確逼真。
8、在一些實施例中，所述損失函數包括：顏色損失、結構相似性損失、正則化損失、深度損失、感知損失或掩模損失中的至少一種。
9、通過顏色損失衡量渲染圖像與真實圖像在顏色上的差異，結構相似性損失用于評估圖像之間的相似度，正則化損失用于約束網絡參數的復雜度，深度損失用于衡量渲染圖像中的估計深度與真實深度之間的差異，掩模損失用于訓練遮擋區域對訓練過程的影響，感知損失用于捕捉圖像之間的語義和結構相似性，通過上述損失函數單獨或結合作用，使神經輻射場網絡生成視覺上更加真實的渲染圖像。
10、在一些實施例中，所述以多組相機位姿和相機真實圖像為訓練集輸入所述神經輻射場網絡之后，還包括：在所述相機真實圖像上增加掩模，以分割所述相機真實圖像中的車身區域和非車身區域；所述基于所述相機真實圖像上的位置點和場景中位置之間的對應關系進行圖像渲染，包括：基于車身區域和非車身區域的位置點和場景中位置之間的對應關系分別進行車身區域和非車身區域的圖像渲染；所述對應相機位姿下的仿真圖像包括：對應相機位姿下的車身區域仿真圖像和非車身區域仿真圖像。
11、通過將原始圖像中的車身和非車身部分分別進行訓練，避免了隨自車一起運動的車身區域影響場景中靜止的非車身區域的渲染，提升了神經輻射場網絡訓練的效果。
12、在一些實施例中，所述神經輻射場網絡基于所述相機位姿進行渲染，以得到與所述相機位姿對應的仿真圖像，包括：所述神經輻射場網絡基于所述相機位姿分別將所述相機真實圖像的車身區域和非車身區域渲染到所述仿真圖像上。
13、通過通過將原始圖像中的車身和非車身部分分別進行渲染，渲染后在疊加的方式，避免了車身部分對非車身部分渲染的影響。提升了神經輻射場網絡渲染的效果。
14、在一些實施例中，所述通過相機畸變參數計算所述神經輻射場網絡中采樣射線的畸變參數，以確定對應相機位姿下所述相機真實圖像上的位置點和場景中位置之間的對應關系，包括：通過相機畸變參數計算所述采樣射線上采樣點的參考位置；基于所述采樣點的參考位置調整所述采樣射線的方向和位置，確定對應相機位姿下所述相機真實圖像上的位置點和場景中位置之間的對應關系。
15、通過畸變參數計算采樣點的參考位置，調整采樣射線，使神經輻射場網絡能夠處理帶有相同畸變參數的畸變圖像，避免在輸入前單獨為圖像去除畸變，提高了圖像訓練和渲染的效率。
16、在一些實施例中，所述相機位姿來源于所述相機真實圖像。
17、通過圖像處理技術從相機真實圖像中直接提取，避免額外采集相機位姿數據，減少了訓練數據的獲取工作量，提高了神經輻射場網絡的訓練效率。
18、為解決上述技術問題，本申請采用的另一個技術方案是：提供一種存儲介質，其上存儲有程序數據，所述程序數據被處理器執行時實現如上述的自動駕駛仿真方法的步驟。
19、該存儲介質的有益效果參考上述自動駕駛仿真方法的有益效果，在此不再贅述。
20、本申請還提供一種計算機設備，包括相互連接的處理器和存儲器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時，實現如上述的自動駕駛仿真方法的步驟。
21、該計算機設備的有益效果參考上述自動駕駛仿真方法的有益效果，在此不再贅述。
22、本申請的有益效果是：區別于現有技術的情況，本申請公開了一種自動駕駛仿真方法、存儲介質及計算機設備。將相機位姿輸入完成訓練后的神經輻射場網絡，通過更新后的所述神經輻射場網絡生成實時仿真圖像，有利于提高仿真圖像的真實度，更加接近實際相機拍攝的效果，增加了自動駕駛仿真車輛可獲取的環境信息，具有靈活的仿真視角，降低了仿真自動駕駛圖像渲染本文檔來自技高網...
【技術保護點】
1.一種自動駕駛仿真方法，其特征在于，包括：
2.根據權利要求1所述的自動駕駛仿真方法，其特征在于，所述將相機位姿輸入完成訓練后的神經輻射場網絡之前，還包括：
3.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述基于所述仿真圖像與所述相機真實圖像之間的差異更新所述神經輻射場網絡的參數，包括：
4.根據權利要求3所述的自動駕駛仿真方法，其特征在于，所述損失函數包括：顏色損失、結構相似性損失、正則化損失、深度損失、感知損失或掩模損失中的至少一種。
5.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述以多組相機位姿和相機真實圖像為訓練集輸入所述神經輻射場網絡之后，還包括：
6.根據權利要求5所述的自動駕駛仿真方法，其特征在于，所述神經輻射場網絡基于所述相機位姿進行渲染，以得到與所述相機位姿對應的仿真圖像，包括：
7.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述通過相機畸變參數計算所述神經輻射場網絡中采樣射線的畸變參數，以確定對應相機位姿下所述相機真實圖像上的位置點和場景中位置之間的對應關系，包
8.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述相機位姿來源于所述相機真實圖像。
9.一種存儲介質，其上存儲有程序數據，其特征在于，所述程序數據被處理器執行時實現如權利要求1-8任一項所述的自動駕駛仿真方法的步驟。
10.一種計算機設備，其特征在于，包括相互連接的處理器和存儲
...【技術特征摘要】
1.一種自動駕駛仿真方法，其特征在于，包括：
2.根據權利要求1所述的自動駕駛仿真方法，其特征在于，所述將相機位姿輸入完成訓練后的神經輻射場網絡之前，還包括：
3.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述基于所述仿真圖像與所述相機真實圖像之間的差異更新所述神經輻射場網絡的參數，包括：
4.根據權利要求3所述的自動駕駛仿真方法，其特征在于，所述損失函數包括：顏色損失、結構相似性損失、正則化損失、深度損失、感知損失或掩模損失中的至少一種。
5.根據權利要求2所述的自動駕駛仿真方法，其特征在于，所述以多組相機位姿和相機真實圖像為訓練集輸入所述神經輻射場網絡之后，還包括：
6.根據權利要求...
【專利技術屬性】
技術研發人員：王肖萌，
申請(專利權)人：深圳元戎啟行科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。