【技術實現步驟摘要】
本公開的實施例涉及計算機，具體涉及基于稀疏視圖內聯先驗的三維重建方法和裝置。
技術介紹
1、基于梯度優化和可微渲染的三維高斯濺射方法是三維重建(也稱為新視角合成)任務的研究熱點之一。這類方法往往需要大量、稠密的稀疏視角用于訓練，在稀疏訓練視角的情況下，大部分三維高斯濺射方法會產生嚴重的過擬合和性能退化問題，并難以合成高質量的新視角視圖。針對該問題，大部分研究者選擇引入外部先驗來監督稀疏視角三維重建的優化，比如：語義信息先驗、單目深度先驗，和擴散模型視覺先驗。針對擴散先驗，一些研究者使用大量的計算資源通過外部三維數據來微調擴散模型先驗或者預訓練圖像編碼器。一些研究者在引入擴散模型視覺先驗指導時沒有進行微調和預訓練，但是難以直接提取擴散模型視覺先驗知識，進而難以有效補充稀疏視角缺失的視覺信息。雖然擴散模型視覺先驗通過分數蒸餾采樣在文本-三維模型生成、圖像-三維模型生成任務中展現出出色的能力，但是在稀疏視角三維重建任務中卻表現不佳。這是由于稀疏視角和文本提示之間的本質不同：對于不可見視圖，不同于文本提示，稀疏視角中理想的渲染圖像監督信息并非完全不存在。由于三維幾何和結構的一致性，內聯先驗監督信息存在于給定的稀疏視圖中。由于特定場景和擴散模型先驗之間的域偏移，以及稀疏視圖下渲染圖像分布固有的次優性，如果直接使用分數蒸餾采樣，容易偏離擴散模型先驗分布域的目標模式，因此經常需要大量的外部三維標注數據和計算資源來進行域校正，無需微調擴散模型和與訓練編碼器來促進擴散模型先驗域校正，進而有效提取擴散模型中的三維知識。
2、該
技術介紹
部
技術實現思路
1、本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了基于稀疏視圖內聯先驗的三維重建方法，來解決以上
技術介紹
部分提到的技術問題中的一項或多項。
3、第一方面，本公開的一些實施例提供了基于稀疏視圖內聯先驗的三維重建方法，該方法包括：從稀疏視角圖像中確定三維場景的稀疏點云；根據上述稀疏點云，對三維高斯點云進行初始化，得到初始化后三維高斯點云；對上述稀疏視角圖像的各個稀疏視角中的每個稀疏視角的預設范圍內進行隨機采樣，以生成偽視角，得到偽視角集；根據上述各個稀疏視角和上述偽視角集，確定多個優化正則項；根據上述多個優化正則項，確定損失函數；根據上述損失函數，優化上述初始化后三維高斯點云的參數，以進行稀疏視角三維重建。
4、第二方面，本公開的一些實施例提供了基于稀疏視圖內聯先驗的三維重建裝置，裝置包括：第一確定單元，被配置成從稀疏視角圖像中確定三維場景的稀疏點云；初始化單元，被配置成根據上述稀疏點云，對三維高斯點云進行初始化，得到初始化后三維高斯點云；采樣單元，被配置成對上述稀疏視角圖像的各個稀疏視角中的每個稀疏視角的預設范圍內進行隨機采樣，以生成偽視角，得到偽視角集；第二確定單元，被配置成根據上述各個稀疏視角和上述偽視角集，確定多個優化正則項；第三確定單元，被配置成根據上述多個優化正則項，確定損失函數；優化單元，被配置成根據上述損失函數，優化上述初始化后三維高斯點云的參數，以進行稀疏視角三維重建。
5、本公開通過內聯先驗糾正渲染圖像分布，將分數蒸餾采樣的優化目標分解為兩個子目標，而修正分布作為優化目標的中間態，起到控制模式搜索方向的作用。在此基礎上，以三維高斯濺射為顯式三維表征，并引入深度正則化來支持內聯先驗、幾何一致性正則化來縮小像素級渲染圖像分布和修正分布之間的差異，從而抑制模式偏移，提升稀疏視角下的三維重建質量。
本文檔來自技高網...【技術保護點】
1.一種基于稀疏視圖內聯先驗的三維重建方法，包括：
2.根據權利要求1所述的方法，其中，所述對所述稀疏視角圖像的各個稀疏視角中的每個稀疏視角的預設范圍內進行隨機采樣，以生成偽視角，得到偽視角集，包括：
3.根據權利要求1所述的方法，其中，在所述根據所述稀疏點云，對三維高斯點云進行初始化，得到初始化后三維高斯點云之后，所述方法還包括：
4.一種基于稀疏視圖內聯先驗的三維重建裝置，包括：
5.一種電子設備，包括：
6.一種計算機可讀介質，其上存儲有計算機程序，其中，所述程序被處理器執行時實現如權利要求1至3中任一所述的方法。
【技術特征摘要】
1.一種基于稀疏視圖內聯先驗的三維重建方法，包括：
2.根據權利要求1所述的方法，其中，所述對所述稀疏視角圖像的各個稀疏視角中的每個稀疏視角的預設范圍內進行隨機采樣，以生成偽視角，得到偽視角集，包括：
3.根據權利要求1所述的方法，其中，在所述根據所述稀疏點云，對三維高...
【專利技術屬性】
技術研發人員：李甲，王淇森，趙一凡，麻佳煒，趙沁平，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。