【技術實現步驟摘要】
本專利技術涉及三維重建與深度學習領域，具體是提出了一種基于神經輻射場nerf的三維復雜場景精細化重建方法及裝置，特別是利用了小波位置編碼的方式對高頻信息進行更好的處理與表示。
技術介紹
1、對于場景的三維重建一直是計算機視覺領域的重點研究方向，傳統的三維重建技術包括使用三角測量與幾何約束來恢復三維結構，或是使用sfm利用相機運動信息提取特征，主要依賴于多視圖幾何相關的知識方法。近年來，隱式神經表示的概念被用于了三維重建領域，其核心在于通過一個深度學習網絡，對場景中各個位置的信息進行學習與預測，而后通過體渲染的方式得到新視角下對應的視圖。
2、使用隱式神經場景表示進行重建的代表性工作是神經輻射場nerf，它利用多層感知機為核心的神經表示對場景信息進行訓練學習，結合傳統的體渲染方式，成功實現了對場景任意未知視角下新視圖的生成，只需要相對稀疏的輸入圖像序列，就能夠生成全視角的場景重建，其性能優越性顯著超過傳統的基于多視圖幾何進行重建的方法。
3、但是深度模型的一個固有缺陷在于，在訓練過程中傾向于進行低頻收斂，根據神經切向核的理論，神經網絡對于高頻率信息部分的收斂顯著慢于低頻信息的收斂，這造成了在場景的高頻部分如紋理信息比較豐富、顏色變化比較劇烈的區域，使用基于神經輻射場的重建效果會比較模糊，無法有效的對高頻信息進行重建。現有的提升高頻信息重建質量的方法主要有全局的位置編碼變換和周期激活函數兩類，但這兩類現有方法都是對輸入多層感知機的所有信息進行統一的全局處理，無法對場景中的高頻信息進行感知與針對性處理，在顯著增
技術實現思路
1、針對上述問題，本專利技術基于神經輻射場nerf，設計了對于輸入圖片序列高頻信息進行感知與分解的模塊，并提出了一種自適應的小波位置編碼方式對輸入神經網絡的坐標進行高維度映射，構建了適合這一方法的神經輻射場模型，解決了由于深度網絡低頻收斂傾向性造成的nerf對高頻信息重建效果不佳、模糊等問題，提升了神經輻射場在復雜場景下的三維重建能力與準確性，且自適應的小波位置編碼方式使得模型對不同場景有更好的泛化性。
2、為了實現上述目的，第一方面，本專利技術提供了一種基于神經輻射場nerf的三維復雜場景精細化重建方法，包括以下步驟：
3、s1、使用相機對目標重建場景環繞采集若干張rgb圖像，構建2d輸入圖像序列；
4、s2、將s1的輸入圖像序列進行高頻分解，獲得高頻信息位置；
5、s3、對于s1的輸入圖像序列，以沿著光線的方式對包括三維世界坐標系位置坐標和從相機光心沿光線的射出的視角坐標信息進行采樣，結合高頻信息位置，利用小波位置編碼方式對坐標信息進行變換處理，實現坐標信息的高維度映射；
6、s4、構建對于目標重建場景的隱式神經輻射場表示，將經過小波位置編碼的坐標信息作為輸入，通過一個mlp多層感知機網絡，輸出對應坐標的顏色和密度信息；
7、s5、利用場景的輻射場隱式表示，使用體渲染方法，得到任意未知視角的該場景的2d視圖，實現三維場景的重建。
8、進一步地，所述步驟s1具體包括以下步驟：
9、s11、對于采集圖像所用的相機先進行參數標定，獲得并記錄相機的內參；
10、s12、對于所要重建的場景，在場景外側以環繞該場景的方式采集不同視角下的rgb圖像若干張，并記錄每張圖片所對應的外參矩陣即相機位置和朝向。
11、進一步地，所述步驟s2具體包括以下步驟：
12、s21、對輸入的二維rgb圖像序列進行高頻分解，經過高斯金字塔進行下采樣后，再通過拉普拉斯金字塔從高斯金字塔底層圖像重建上層圖像，對圖像的分辨率進行還原，得到與原圖像分辨率相同的高頻分解圖像；
13、s22、對高頻分解圖像進行去噪，消除由于上下采樣過程帶來的高頻噪點，得到高頻分解圖像序列；
14、s23、遍歷高頻分解圖像序列，對高頻信息所在二維圖像上的像素坐標信息進行保存；
15、s24、結合相機的內外參信息，進行相機坐標與世界坐標的轉換，將高頻信息的二維相機像素坐標轉換為一系列三維位置的坐標并保存。
16、進一步地，所述步驟s3具體包括以下步驟：
17、s31、對于輸入的圖像序列，根據得到的高頻位置信息確定高頻信息位置檢索范圍；
18、s32、對于輸入序列的高頻信息位置，通過遍歷和采樣的方法，得到采樣后稀疏化的高頻信息位置；
19、s33、將采樣后的高頻信息位置作為小波信號的中心點偏移即位移量，圍繞高頻點位置添加小波信號；
20、s34、對于輸入序列的視角信息，采用傅里葉變換的形式進行高維映射。對于輸入序列的三維坐標信息，則采用小波變換的形式進行高維映射。通過這種小波位置編碼的方式將輸入信息從低維空間映射到更高維度的空間中。
21、進一步地，所述步驟s4具體包括以下步驟：
22、s41、構建以多層感知機mlp為核心的場景隱式神經表示，其輸入為場景的三維位置坐標與光線觀測視角坐標，輸出為對應位置的rgb顏色與密度信息；
23、s42、隱式神經表示的多層感知機包含若干線性層和激活層，將高頻信息最終解碼到顏色密度信息，其中激活函數選用周期性的正弦函數替代常用的relu函數，適應高頻信息的處理需求；
24、s43、對于輸入圖像序列，以沿著光線的方式對已知位置進行采樣，結合相機內外參信息得到對應位置的五維坐標通過小波位置編碼模塊，而后傳入隱式神經表示網絡；
25、s44、通過計算得到采樣點位置對應的顏色與密度信息，并將其作為模型訓練的真值，對隱式神經表示進行訓練。
26、進一步地，所述步驟s5具體包括以下步驟：
27、s51、得到場景的隱式神經表示后，對于未知的相機位置視角，通過追蹤光線的方式，逐像素逐光線進行點分層采樣；
28、s52、對于采樣后的光線上的采樣點位置，通過隱式神經表示得到所對應的顏色與密度信息；
29、s53、通過體渲染的方式，得到光線在穿過虛擬成像平面上像素點的rgb顏色值，完成場景新視角二維表示圖片的渲染，從而完成場景的三維重建。
30、第二方面，本專利技術還提供了一種基于神經輻射場nerf的三維復雜場景精細化重建裝置，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述處理器執行所述可執行代碼時，實現所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法。
31、第三方面，本專利技術還提供了一種計算機可讀存儲介質，其上存儲有程序，所述程序被處理器執行時，實現所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法。
<本文檔來自技高網...【技術保護點】
1.一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，所述步驟S1具體包括以下步驟：
3.根據權利要求1所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，所述步驟S2具體包括以下步驟：
4.根據權利要求1所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，所述步驟S3具體包括以下步驟：
5.根據權利要求1所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，所述步驟S4具體包括以下步驟：
6.根據權利要求1所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法，其特征在于，所述步驟S5具體包括以下步驟：
7.一種基于神經輻射場NeRF的三維復雜場景精細化重建裝置，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，其特征在于，所述處理器執行所述可執行代碼時，實現如權利要求1-6中任一項所述的一種基于神經輻射
8.一種計算機可讀存儲介質，其上存儲有程序，其特征在于，所述程序被處理器執行時，實現如權利要求1-6中任一項所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法。
9.一種計算機程序產品，包括計算機程序/指令，其特征在于，所述計算機程序/指令被處理器執行時，實現如權利要求1-6任一項所述的一種基于神經輻射場NeRF的三維復雜場景精細化重建方法。
...【技術特征摘要】
1.一種基于神經輻射場nerf的三維復雜場景精細化重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法，其特征在于，所述步驟s1具體包括以下步驟：
3.根據權利要求1所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法，其特征在于，所述步驟s2具體包括以下步驟：
4.根據權利要求1所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法，其特征在于，所述步驟s3具體包括以下步驟：
5.根據權利要求1所述的一種基于神經輻射場nerf的三維復雜場景精細化重建方法，其特征在于，所述步驟s4具體包括以下步驟：
6.根據權利要求1所述的一種基于神經輻射場nerf的三維復雜場景...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。