【技術實現步驟摘要】
本專利技術屬于圖像處理領域，具體涉及一種水下三維重建方法、系統及存儲介質。
技術介紹
1、隨著海洋科技的不斷進步，水下探測和三維重建技術在海洋資源的開發和利用中發揮著越來越重要的作用。作為一個沿海國家，我國擁有豐富的海洋資源，水下探測技術的發展對于國家的經濟和安全具有重要的戰略意義。因此，把海洋經濟放在了重要位置。
2、水下機器人作為一種重要的水下探測載體，在水下結構的掃描和勘測中發揮著關鍵作用。計算機視覺技術近年來取得了突飛猛進的發展，三維重建技術已經在陸地上得到廣泛應用。然而，由于水下環境的特殊性，這導致了傳統的三維重建技術難以直接應用在水下場景中。
3、例如，近年來三維重建領域廣受關注的技術3dgs(3d?gaussian?splatting)，它是一種基于高斯函數的點云重建方法。然而，目前該方法主要針對陸地上的場景，無法直接應用于水下環境。這是因為在水下拍攝的圖像中，光的傳播受到水的吸收和散射的影響，導致圖像的質量下降，光線無法準確地達到目標物體或水下結構，從而影響三維重建的精度和準確性。
4、在三維重建領域，sfm(structure?from?motion)作為一種最基本的方法，這種方法用于從一系列連續的圖像中恢復出相機位姿和場景的稀疏三維結構。然而，sfm輸出的結果通常是稀疏點云。因此，最近在三維重建領域的進展，比如說nerf(neural?radiancefield)和3dgs都是在sfm的結果之上，再實現了場景的真實感知新視角渲染。
5、然而，水下的光散射不利于構
技術實現思路
1、為了解決現有水下環境三維構建中光照不一致和光散射問題導致的殘影的問題，本專利技術提供一種水下三維重建方法、系統及存儲介質，以解決上述存在的技術缺陷問題。
2、第一方面，本專利技術提出了一種水下三維重建方法，該方法包括：
3、利用sfm從給定的圖像序列中估計相機姿態，構建3d稀疏點云；
4、利用3dgs對不同相機姿態的水下場景進行循環渲染；其中，從3d稀疏點云初始化得到3d高斯點云，每個相機姿態對應的渲染圖像通過一組3d高斯點云表示，3d高斯點云中的每個高斯點由均值，半正定協方差矩陣，不透明度和使用球諧函數參數化的與視圖相關的顏色來表示；當每次3dgs的循環渲染輸出渲染圖片時，計算渲染圖片與圖像序列中的輸入圖像的殘差，對殘差進行傅里葉變換，利用低通濾波器去除高頻信號，保留部分進行傅里葉逆變換，利用傅里葉逆變換后的參數優化每個高斯點的所有參數，將每個高斯點優化后的3d高斯點云輸入回3dgs的循環渲染中。在3dgs迭代過程中使用低通濾波技術，構建具有光照一致的三維場景表示，并從中去除殘影，以恢復光照均勻的場景。
5、優選的，利用3dgs對不同相機姿態的水下場景進行循環渲染包括：
6、從3d稀疏點云初始化得到3d高斯點云，每個相機姿態對應的渲染圖像通過一組3d高斯點云表示，3d高斯點云中的每個高斯點由均值，半正定協方差矩陣，不透明度和使用球諧函數參數化的與視圖相關的顏色來表示；
7、將3d高斯點云投影到2d圖像中，產生2d高斯點；其中，2d高斯點的二維協方差矩陣σ'i表示為：
8、σ'i＝(jwσiwtjt)1:2,1:2
9、其中，j為投影仿射近似的雅可比矩陣，w為權重矩陣，wt和jt為j和w的轉置矩陣，σi為3d高斯點云中對應高斯點的半正定協方差矩陣，1:2,1:2分別為矩陣的前兩行和前兩列；3d高斯點云中對應高斯點的均值投影到2d圖像中，獲得2d高斯點的均值；
10、計算每個像素的顏色。將3d高斯點云投影到2d圖像中，便于后續對像素的處理。
11、優選的，計算每個像素的顏色包括：
12、對于每個像素，根據2d高斯點到2d圖像平面的距離，從前往后遍歷高斯列表，合成與視圖相關的顏色，其中，r表示像素對應的射線方向；
13、利用與視圖相關的顏色、二維協方差矩陣以及2d高斯點的均值計算獲取像素顏色表示為：
14、
15、其中，αi為混合權重，為與視圖相關的顏色，∑′i為二維協方差矩陣，μ′i為2d高斯點的均值，其中，混合權重從一組具有已知投影矩陣的圖像中學習獲取。
16、優選的，混合權重從一組具有已知投影矩陣的圖像中學習獲取，包括利用dssim在預測顏色和真實顏色之間計算損失以調節獲取混合權重，表示為：
17、
18、其中，為預測顏色，c為真實顏色。
19、優選的，計算渲染圖片與圖像序列中的輸入圖像的殘差r，表示為：
20、
21、其中，i為輸入圖像，為渲染圖像。
22、優選的，對殘差進行傅里葉變換，利用低通濾波器去除高頻信號，保留部分進行傅里葉逆變換，表示為：
23、s＝ifft(fft(r)[0k])
24、其中，s表示焦散，r表示殘差，fft和ifft分別表示傅里葉變換和傅里葉逆變換，[0：k]表示保留頻率空間中絕對值最小的k個頻率。
25、優選的，利用傅里葉逆變換后的參數優化每個高斯點的所有參數，表示為：
26、
27、其中g為3d高斯點云，i為輸入圖像，為渲染圖像，優化g為優化每個高斯點的所有參數，dist()是距離度量，s為焦散，與訓練圖像有相同的格式，具有rgb三通道。在渲染過程中使用低通濾波技術，去除光散射引起的殘影并減小圖像中的高頻噪聲，實現光照均勻化的三維重建結果。
28、根據本專利技術的第二方面，提出了一種水下三維系統，該系統包括：
29、構建模塊，被配置用于利用sfm從給定的圖像序列中估計相機姿態，構建3d稀疏點云；
30、渲染模塊，被配置用于利用3dgs對不同相機姿態的水下場景進行循環渲染；其中，從3d稀疏點云初始化得到3d高斯點云，每個相機姿態對應的渲染圖像通過一組3d高斯點云表示，3d高斯點云中的每個高斯點由均值，半正定協方差矩陣，不透明度和使用球諧函數參數化的與視圖相關的顏色來表示；當每次3dgs的循環渲染輸出渲染圖片時，計算渲染圖片與圖像序列中的輸入圖像的殘差，對殘差進行傅里葉變換，利用低通濾波器去除高頻信號，保留部分進行傅里葉逆變換，利用傅里葉逆變換后的參數優化每個高斯點的所有參數，將每個高斯點優化后的3d高斯點云輸入回3dgs的循環本文檔來自技高網...
【技術保護點】
1.一種水下三維重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述利用3DGS對不同相機姿態的水下場景進行循環渲染包括：
3.根據權利要求2所述的方法，其特征在于，所述計算每個像素的顏色包括：
4.根據權利要求3所述的方法，其特征在于，所述混合權重從一組具有已知投影矩陣的圖像中學習獲取，包括利用DSSIM在預測顏色和真實顏色之間計算損失以調節獲取所述混合權重，表示為：
5.根據權利要求1所述的方法，其特征在于，所述計算所述渲染圖片與所述圖像序列中的輸入圖像的殘差R，表示為：
6.根據權利要求1所述的方法，其特征在于，所述對所述殘差進行傅里葉變換，利用低通濾波器去除高頻信號，保留部分進行傅里葉逆變換，表示為：
7.根據權利要求1所述的方法，其特征在于，所述利用傅里葉逆變換后的參數優化每個高斯點的所有參數，表示為：
8.一種水下三維重建系統，其特征在于，包括：
9.一種計算機可讀存儲介質，其上存儲有一或多個計算機程序，其特征在于，該一或多個計算機程序被計算機處理器
...【技術特征摘要】
1.一種水下三維重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述利用3dgs對不同相機姿態的水下場景進行循環渲染包括：
3.根據權利要求2所述的方法，其特征在于，所述計算每個像素的顏色包括：
4.根據權利要求3所述的方法，其特征在于，所述混合權重從一組具有已知投影矩陣的圖像中學習獲取，包括利用dssim在預測顏色和真實顏色之間計算損失以調節獲取所述混合權重，表示為：
5.根據權利要求1所述的方法，其特征在于，所述計算所述渲染圖片與所述圖像...
【專利技術屬性】
技術研發人員：董帝渤，王壯鴻，郭喬影，林朝，王尚湋，李旭睿，
申請(專利權)人：福建理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。