【技術實現步驟摘要】
本專利技術屬于新視角合成和實時繪制相結合的，具體涉及一種在光柵化渲染管線中實時繪制神經輻射場的方法和裝置。
技術介紹
1、三維重建一直以來是計算機視覺和計算機圖形學領域的一項重要工作，在電影、游戲、虛擬現實等領域對高質量、高真實感的3d場景重建有著較大的需求。傳統手工建模方式需要大量的人力與時間，并且難以處理復雜細節特征，因此基于真實拍攝的圖像的三維重建技術得到較大的關注，并且隨著近年深度學習的技術的迅速發展取得諸多突破。
2、神經輻射場（neural?radiance?field，nerf）是2020年被提出的一種技術，該技術提出使用經過優化的神經網絡隱式表示一個3d場景的各類信息，能夠處理新視角合成的任務，渲染包含復雜細節的高真實感圖像。
3、但現有神經輻射場難以做到實時渲染，對此，nvidia開發的instant-ngp在神經輻射場基礎做了諸多優化，提出使用多分辨率哈希編碼，使得訓練和推理都能夠快速的進行，實現實時渲染。
4、公開號為cn?117911633?a的專利申請公開了一種基于虛幻引擎的神經輻射場渲染方法，所述方法應用于神經輻射場渲染框架，所述方法包括：對拍攝的待重建場景視頻進行關鍵幀抽取得到圖像序列；根據所述圖像序列對三維場景結構和相機參數進行預估得到預估結果；根據預估結果和圖像序列對所述神經輻射場渲染框架進行訓練，導出渲染素材，所述渲染素材包括虛幻引擎藍圖資產；將所述虛幻引擎藍圖資產送入虛幻引擎進行自動渲染得到渲染結果。該技術方案中，通過對神經輻射場渲染框架的訓練、渲染素材的
5、上述技術方案將神經輻射場的渲染素材導入到光柵化中進行采樣并繪制，但是并未實現和原有光柵化場景渲染結果結合的具體細節。
技術實現思路
1、為了解決神經輻射場在光柵化渲染管線中的結合和應用，本專利技術的目的是提供一種在光柵化渲染管線中實時繪制神經輻射場的方法和裝置，實現神經輻射場正確的變換、遮擋，以及重光照。
2、為實現上述專利技術目的，實施例提供的一種在光柵化渲染管線中實時繪制神經輻射場的方法，包括以下步驟：
3、光柵化渲染管線進行每一幀渲染得到場景渲染數據的同時，以神經圖元為單位動態獲取神經輻射場步進采樣的屏幕空間數據；
4、在光柵化渲染管線中基于場景渲染數據和屏幕空間數據對神經圖元進行實時疊加繪制，包括神經圖元在場景渲染數據中的遮擋處理和重光照處理。
5、優選地，以神經圖元為單位動態獲取神經輻射場的屏幕空間數據，包括：
6、光柵化渲染管線在渲染每一幀時，根據光柵化的相機參數、分辨率、以及神經圖元的仿射變換計算神經輻射場的相機矩陣；
7、當判斷當前幀與前一幀的神經輻射場的相機矩陣和分辨率發生變化時，動態獲取神經圖元基于當前幀對應的神經輻射場的相機矩陣進行繪制的屏幕空間數據。
8、優選地，所述方法還包括：當判斷當前幀與前一幀的神經輻射場的相機參數和分辨率發生變化后，還進行視錐裁剪，具體判斷前一幀神經圖元的包圍結構是否在當前幀的視錐內，若不在則清空前一幀的屏幕空間數據，直接將場景渲染數據繪制到幀緩沖區，若在則動態獲取當前幀的神經輻射場的屏幕空間數據。
9、優選地，所述神經圖元在場景渲染數據中的遮擋處理，包括：
10、每個神經圖元配置有至少一個半徑可調節的包圍球來擬合神經輻射場的體積，每個神經圖元的屏幕空間數據包含的深度緩沖數據為光線步進的最近相交距離，同時記錄最近相交距離中的一個最大距離，該最大距離為無需繪制的背景的距離；
11、首先判斷場景渲染數據中每個像素的當前最近相交距離是否小于記錄的最大距離，若小于則表示當前神經圖元片元存在神經輻射場，則需要繪制神經圖元，否則直接輸出當前場景顏色；
12、然后對當前神經圖元片元最近相交距離對應的投射光線的與神經圖元的包圍球求交，得到世界空間坐標x，并根據場景渲染數據包含的場景深度還原出世界空間坐標x`，對比世界空間坐標x與世界空間坐標x`到相機的距離，若x更近則需要繪制神經圖元，否則直接輸出場景顏色。
13、優選地，神經圖元在場景渲染數據中的重光照處理，包括：
14、對經過遮擋處理確認需要繪制的神經圖元進行重光照處理，具體對神經圖元的屏幕空間數據包含的顏色緩沖數據進行可配置衰減，然后再遍歷光柵化渲染管線中的所有光源，并基于屏幕空間數據包含的法線緩沖數據，計算在衰減顏色上的疊加光照，實現神經圖元的重光照處理。
15、優選地，所述方法還包括：在動態獲取神經輻射場的屏幕空間數據后，對屏幕空間數據包含的法線緩沖數據進行濾波，然后利用濾波后的法線緩沖數據進行重光照處理。
16、優選地，在對神經圖元進行重光照處理時，當存在環境緩沖數據，基于法線緩沖數據進行環境光照計算，并將計算結果疊加到神經圖元的重光照處理結果。
17、優選地，動態獲取的神經輻射場步進采樣的屏幕空間數據來自于instant-ngp，具體對instant-ngp進行改動，包括為instant-ngp輸出的顏色緩沖數據指定緩存內存，將instant-ngp輸出的深度緩沖數據修改為光線步進的最近相交距離，修改instant-ngp輸出法線緩沖數據并指定對應的緩存內存，基于改動輸出的數據封裝為神經圖元的屏幕空間數據作為實例對象，還增加訓練開關控制、相機同步、以及加載保存功能，并編譯成動態鏈接庫，同時為每個功能設計接口；
18、光柵化渲染管線對應封裝為一個代理對象，其管理實例對象暴露的指針，并提供一系列接口的代理。
19、為實現上述專利技術目的，實施例還提供了一種計算設備，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述一個或多個處理器執行所述可執行代碼時，用于實現上述在光柵化渲染管線中實時繪制神經輻射場的方法。
20、為實現上述專利技術目的，實施例還提供了一種計算機可讀存儲介質，其上存儲有程序，該程序被處理器執行時，實現上述在光柵化渲染管線中實時繪制神經輻射場的方法。
21、與現有技術相比，本專利技術具有的有益效果至少包括：
22、本專利技術能夠將神經輻射場繪制融合入光柵化渲染管線中，具體將采樣過程留在光柵化渲染管線外部，即在神經輻射場中實現采樣并形成屏幕空間數據，并將屏幕空間數據與光柵化渲染管線的原有光柵化渲染場景相結合，以此達到實時的渲染幀率，同時在結合的過程中考慮遮擋，并支持了繪制對象基于經驗的重光照，保證繪制效率和繪制質量。
本文檔來自技高網...【技術保護點】
1.一種在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，以神經圖元為單位動態獲取神經輻射場的屏幕空間數據，包括：
3.根據權利要求2所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，還包括：當判斷當前幀與前一幀的神經輻射場的相機參數和分辨率發生變化后，還進行視錐裁剪，具體判斷前一幀神經圖元的包圍結構是否在當前幀的視錐內，若不在則清空前一幀的屏幕空間數據，直接將場景渲染數據繪制到幀緩沖區，若在則動態獲取當前幀的神經輻射場的屏幕空間數據。
4.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，所述神經圖元在場景渲染數據中的遮擋處理，包括：
5.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，神經圖元在場景渲染數據中的重光照處理，包括：
6.根據權利要求5所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，還包括：在動態獲取神經輻射場的屏幕空間數據后
7.根據權利要求5所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，在對神經圖元進行重光照處理時，當存在環境緩沖數據，基于法線緩沖數據進行環境光照計算，并將計算結果疊加到神經圖元的重光照處理結果。
8.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，動態獲取的神經輻射場步進采樣的屏幕空間數據來自于Instant-NGP，具體對Instant-NGP進行改動，包括為Instant-NGP輸出的顏色緩沖數據指定緩存內存，將Instant-NGP輸出的深度緩沖數據修改為光線步進的最近相交距離，修改Instant-NGP輸出法線緩沖數據并指定對應的緩存內存，基于改動輸出的數據封裝為神經圖元的屏幕空間數據作為實例對象，還增加訓練開關控制、相機同步、以及加載保存功能，并編譯成動態鏈接庫，同時為每個功能設計接口；
9.一種計算設備，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，其特征在于，所述一個或多個處理器執行所述可執行代碼時，用于實現權利要求1-7中任一項所述的在光柵化渲染管線中實時繪制神經輻射場的方法。
10.一種計算機可讀存儲介質，其特征在于，其上存儲有程序，該程序被處理器執行時，實現權利要求1-7中任一項所述的在光柵化渲染管線中實時繪制神經輻射場的方法。
...【技術特征摘要】
1.一種在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，以神經圖元為單位動態獲取神經輻射場的屏幕空間數據，包括：
3.根據權利要求2所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，還包括：當判斷當前幀與前一幀的神經輻射場的相機參數和分辨率發生變化后，還進行視錐裁剪，具體判斷前一幀神經圖元的包圍結構是否在當前幀的視錐內，若不在則清空前一幀的屏幕空間數據，直接將場景渲染數據繪制到幀緩沖區，若在則動態獲取當前幀的神經輻射場的屏幕空間數據。
4.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，所述神經圖元在場景渲染數據中的遮擋處理，包括：
5.根據權利要求1所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，神經圖元在場景渲染數據中的重光照處理，包括：
6.根據權利要求5所述的在光柵化渲染管線中實時繪制神經輻射場的方法，其特征在于，還包括：在動態獲取神經輻射場的屏幕空間數據后，對屏幕空間數據包含的法線緩沖數據進行濾波，然后利用濾波后的法線緩沖數據進行重光照處理。
7.根據權利要求5所述的在光柵...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。