本發明專利技術公開了一種基于偏振法向估計的高保真輻射場重建方法及系統，本發明專利技術方法包括從偏振圖像序列提取出偏振度和偏振角，從RGB圖像序列提取出位置編碼；將偏振圖像序列、偏振度、偏振角以及位置編碼組成的多通道張量輸入訓練好的注意力機制圖像分割網絡得到偏振法向量的估計結果；將RGB圖像序列采用運動結構恢復算法SfM提取相機位姿矩陣并建立稀疏點云；將偏振法向量的估計結果引導的改進DN?Splatter算法根據建立的稀疏點云實現高保真輻射場重建。本發明專利技術旨在加快三維高斯橢球優化的收斂過程，使生成的網格面更加平滑，有效解決現有輻射場重建收斂慢和生成網格時表面不平滑難題。
【技術實現步驟摘要】
本專利技術屬于高精度三維模型重建領域，具體涉及一種基于偏振法向估計的高保真輻射場重建方法及系統。
技術介紹
1、三維重建是通過單張或多張二維圖像重建出物體或場景，是目前計算機視覺領域的重要研究方向，在醫療診斷、文物重建、導航定位等多方面都具有廣泛應用。傳統的三維重構是根據多視圖幾何原理，經歷相機參數估計、密集點云重建和表面重建等多個幾何解算的步驟實現。借鑒人類基于大腦而非幾何解算進行重構和感知三維場景的能力，很自然地延伸到采用深度學習方法模擬通過二維圖像構建三維空間的過程。國內研究有一定基礎，主要集中在提高三維重建整體精度和渲染速率，但是三維高斯潑濺算法在對表面的擬合上由于缺乏幾何約束，導致精度不高。主要體現在表面優化過程產生偽影和模糊、擬合一致性差、復雜場景優化收斂速度慢等缺陷。鑒于光線在不同物體表面所呈現的偏振態不同，偏振面形測量也是偏振光的具體應用之一。基于物理模型的偏振法向量計算難以克服復雜場景和光照帶來的噪聲干擾，同時在處理π模糊問題上沒有好的解決方案。隨著深度學習技術的發展，圖像分割網絡被廣泛應用于偏振法向量提取中，目前已經將物體級的偏振法向量估計延拓至場景級，但是網絡的泛化性并不理想，對復雜場景容易出現錯誤估計。
技術實現思路
1、本專利技術要解決的技術問題：針對現有技術的上述問題，提供一種基于偏振法向估計的高保真輻射場重建方法及系統，本專利技術旨在加快三維高斯橢球優化的收斂過程，使生成的網格面更加平滑，有效解決現有輻射場重建收斂慢和生成網格時表面不平滑難題。
2、為了解決上述技術問題，本專利技術采用的技術方案為：
3、一種基于偏振法向估計的高保真輻射場重建方法，包括下述步驟：
4、s1，從偏振圖像序列提取出偏振度和偏振角，從rgb圖像序列提取出位置編碼；
5、s2，將偏振圖像序列、偏振度、偏振角以及位置編碼組成的多通道張量輸入訓練好的注意力機制圖像分割網絡得到偏振法向量的估計結果；所述注意力機制圖像分割網絡為圖像分割網絡unet++的改進網絡，且該改進網絡為在圖像分割網絡unet+的殘差連接中添加了注意力門，所述注意力門的函數表達式為：
6、，
7、，
8、，
9、其中，為注意力門的輸出特征，為注意力門的輸入特征，為加法注意力輸出，為非線性激活與重采樣后的輸出，為線性變換矩陣，為relu激活函數，為輸入特征的權重系數，為輸入門控信號的權重系數，為輸入門控信號，和為偏置，為sigmoid激活函數，為上一層輸出，為參數、和的集合；
10、s3，將rgb圖像序列采用運動結構恢復算法sfm提取相機位姿矩陣并建立稀疏點云；
11、s4，將偏振法向量的估計結果替代原始dn-splatter算法的法向量得到改進dn-splatter算法，利用改進dn-splatter算法根據建立的稀疏點云實現高保真輻射場重建。
12、可選地，步驟s1中從偏振圖像序列提取出偏振度和偏振角的函數表達式為：
13、，
14、，
15、，
16、，
17、，
18、其中，為偏振度，為偏振角，偏振度用于表征光束中偏振光的光強度占總光強的比例，偏振角用于表征線偏振量之間的夾角，、和為stokes矢量，為0度方向的偏振強度，為45度方向的偏振強度，為90度方向的偏振強度。
19、可選地，步驟s1中從rgb圖像序列提取出位置編碼的函數表達式為：
20、，
21、其中，為位置編碼，和分別為相機在x、y方向的焦距，和分別為相機在x、y方向的像主點坐標，、和為真實世界點在相機坐標系下的坐標。
22、可選地，步驟s2之前還包括利用帶有偏振法向量標簽的偏振圖像序列樣本來訓練注意力機制圖像分割網絡的步驟，其中偏振法向量標簽的計算函數表達式為：
23、，
24、其中，為偏振法向量，為三維高斯橢球的曲面上點的高度，為三維高斯橢球的曲面上點的x軸和y軸坐標，為入射角，為入射空間的方位角，且有：
25、，
26、，
27、，
28、其中，為折射率，為偏振度，為帶符號的反正切函數，、和為stokes矢量，為0度方向的偏振強度，為45度方向的偏振強度，為90度方向的偏振強度，為135度方向的偏振強度。
29、可選地，利用改進dn-splatter算法根據建立的稀疏點云實現高保真輻射場重建時，所采用的損失函數為光度誤差損失、高斯平滑度損失兩者加權求和得到，光度誤差損失的函數表達式為：
30、，
31、其中，為光度誤差損失，為系數，為目標幀，為重構幀，為結構相似性度量，且結構相似性度量的計算函數表達式為：
32、，
33、其中，表示的結構相似性度量，和分別為的均值，和分別為的方差，為的協方差，和為用于避免出現除零的現象的常數。
34、可選地，高斯平滑度損失的函數表達式為：
35、，
36、其中，為高斯平滑度損失，為像素，為像素與鄰域的深度的梯度，為轉置操作，為像素與鄰域的強度的梯度。
37、此外，本專利技術還提供一種基于偏振法向估計的高保真輻射場重建系統，包括相互連接的微處理器和存儲器，所述微處理器被配置以執行所述基于偏振法向估計的高保真輻射場重建方法。
38、此外，本專利技術還提供一種計算機可讀存儲介質，該計算機可讀存儲介質中存儲有計算機程序，該計算機程序被配置以通過處理器執行所述基于偏振法向估計的高保真輻射場重建方法。
39、此外，本專利技術還提供一種計算機程序產品，包括計算機程序，該計算機程序被配置以通過處理器執行所述基于偏振法向估計的高保真輻射場重建方法。
40、和現有技術相比，本專利技術主要具有下述優點：首先，為提高場景和物體三維重建中的精度和魯棒性，本專利技術方法將偏振信息引入到模型重建過程中，由于光線與不同材料表面相互作用時光的偏振態會發生改變，偏振圖像經過處理可以實現像素級的法向量計算，本專利技術方法借助深度學習網絡，有效解決了偏振法向量估計的模糊問題，保證了場景級的多物體法向量估計精度。其次，從rgb相機多視圖幾何生成的稀疏點估計法向量十分困難，本專利技術方法利用偏振估計的法向量為輻射場優化和重建提供先驗約束，加快三維高斯橢球優化的收斂過程，使生成的網格面更加平滑，誘導高斯球在法線方向趨于扁平化，更平滑地擬合平面，提高了輻射場重建的優化收斂速率和整體精度，本專利技術具有實時性強、擬合平滑、高精度的優勢，能夠有效解決現有輻射場重建收斂慢和生成網格時表面不平滑難題。
本文檔來自技高網...
【技術保護點】
1.一種基于偏振法向估計的高保真輻射場重建方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟S1中從偏振圖像序列提取出偏振度和偏振角的函數表達式為：
3.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟S1中從RGB圖像序列提取出位置編碼的函數表達式為：
4.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟S2之前還包括利用帶有偏振法向量標簽的偏振圖像序列樣本來訓練注意力機制圖像分割網絡的步驟，其中偏振法向量標簽的計算函數表達式為：
5.根據權利要求4所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，利用改進DN-Splatter算法根據建立的稀疏點云實現高保真輻射場重建時，所采用的損失函數為光度誤差損失、高斯平滑度損失兩者加權求和得到，光度誤差損失的函數表達式為：
6.根據權利要求5所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，高斯平滑度損失的函數表達式為：
7.一種基于偏振法向估計的高保真輻射場重建系統，包括相互連接的微處理器和存儲器，其特征在于，所述微處理器被配置以執行權利要求1～6中任意一項所述基于偏振法向估計的高保真輻射場重建方法。
8.一種計算機可讀存儲介質，該計算機可讀存儲介質中存儲有計算機程序，其特征在于，該計算機程序被配置以通過處理器執行權利要求1～6中任意一項所述基于偏振法向估計的高保真輻射場重建方法。
9.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被配置以通過處理器執行權利要求1～6中任意一項所述基于偏振法向估計的高保真輻射場重建方法。
...
【技術特征摘要】
1.一種基于偏振法向估計的高保真輻射場重建方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟s1中從偏振圖像序列提取出偏振度和偏振角的函數表達式為：
3.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟s1中從rgb圖像序列提取出位置編碼的函數表達式為：
4.根據權利要求1所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，步驟s2之前還包括利用帶有偏振法向量標簽的偏振圖像序列樣本來訓練注意力機制圖像分割網絡的步驟，其中偏振法向量標簽的計算函數表達式為：
5.根據權利要求4所述的基于偏振法向估計的高保真輻射場重建方法，其特征在于，利用改進dn-splatter算法根據建立的稀疏點云實現高保真輻射場重建時，所采用的...
【專利技術屬性】
技術研發人員：胡德文，譚臻，馮鐳，張禮廉，李明，
申請(專利權)人：中國人民解放軍國防科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。