【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)屬于數(shù)據(jù)處理，尤其涉及一種基于點(diǎn)云信息和高斯云團(tuán)的3 d建模重建系統(tǒng)?、方法及裝置。
技術(shù)介紹
1、在當(dāng)今數(shù)字時(shí)代，3 d場(chǎng)景重建技術(shù)逐漸成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一。隨著虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和計(jì)算機(jī)圖形學(xué)等領(lǐng)域的快速發(fā)展，對(duì)于高效、準(zhǔn)確地還原真實(shí)場(chǎng)景的需求日益增長(zhǎng)。在這一背景下，基于神經(jīng)輻射場(chǎng)的3 d場(chǎng)景重建技術(shù)應(yīng)運(yùn)而生，引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。
2、3 d場(chǎng)景重建是指通過從不同視角采集的圖像或傳感器數(shù)據(jù)，利用計(jì)算機(jī)算法還原現(xiàn)實(shí)世界中的三維場(chǎng)景。傳統(tǒng)的3 d重建方法主要依賴于幾何學(xué)和圖像處理技術(shù)，然而，由于場(chǎng)景復(fù)雜性和數(shù)據(jù)噪聲等問題，傳統(tǒng)方法在處理大規(guī)模、高精度場(chǎng)景時(shí)存在一定的局限性。
3、近年來，隨著深度學(xué)習(xí)技術(shù)的崛起，神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域取得了顯著的成果。基于神經(jīng)網(wǎng)絡(luò)的3 d場(chǎng)景重建方法逐漸成為研究熱點(diǎn)。其中，神經(jīng)輻射場(chǎng)模型作為一種新興的框架，吸引了研究者的極大興趣。神經(jīng)輻射場(chǎng)是一種集成了深度學(xué)習(xí)和傳統(tǒng)幾何學(xué)的模型，通過神經(jīng)網(wǎng)絡(luò)對(duì)輻射場(chǎng)進(jìn)行建模，能夠更好地捕捉場(chǎng)景的幾何和語義信息。
4、神經(jīng)輻射場(chǎng)模型的核心思想是利用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)場(chǎng)景的輻射場(chǎng)進(jìn)行建模。輻射場(chǎng)可以理解為在空間中描述光照、材質(zhì)和深度等信息的場(chǎng)景屬性。通過
5、基于神經(jīng)輻射場(chǎng)的3 d場(chǎng)景重建技術(shù)具有重要的科研和應(yīng)用意義。首先，它為虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用提供了更真實(shí)、更細(xì)致的場(chǎng)景還原，提升了用戶體驗(yàn)。其次，該技術(shù)在城市規(guī)劃、建筑設(shè)計(jì)等領(lǐng)域有著廣泛的應(yīng)用前景，可以幫助專業(yè)人員更準(zhǔn)確地模擬和分析各種場(chǎng)景。此外，基于神經(jīng)輻射場(chǎng)的模型還能為自動(dòng)駕駛、機(jī)器人導(dǎo)航等領(lǐng)域提供更可靠的環(huán)境感知和決策支持。
6、基于神經(jīng)輻射場(chǎng)的3 d場(chǎng)景重建技術(shù)是數(shù)字化時(shí)代中一項(xiàng)具有前瞻性的研究方向。通過融合深度學(xué)習(xí)和傳統(tǒng)幾何學(xué)，該方法在處理復(fù)雜場(chǎng)景和大規(guī)模數(shù)據(jù)時(shí)展現(xiàn)出更為卓越的性能，為實(shí)現(xiàn)更真實(shí)、更智能的數(shù)字化世界奠定了堅(jiān)實(shí)的基礎(chǔ)。未來，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的拓展，這一研究方向?qū)樯鐣?huì)的各個(gè)領(lǐng)域帶來更多創(chuàng)新和發(fā)展機(jī)遇。但是，現(xiàn)有技術(shù)在改進(jìn)神經(jīng)輻射場(chǎng)（ nerf）模型時(shí)取得了一定的進(jìn)展，但仍存在一些問題和挑戰(zhàn)，包括重建模型時(shí)的收斂速度和重建效果的精確度。
7、因此，一種能夠提高3 d場(chǎng)景重建模型的收斂速度和重建效果精度的系統(tǒng)與方法尤為亟需。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的目的在于提供一種基于點(diǎn)云信息和高斯云團(tuán)的3 d建模重建系統(tǒng)?、方法及裝置，用以利用待重建目標(biāo)的場(chǎng)景圖像數(shù)據(jù)至少解決現(xiàn)有技術(shù)中的一個(gè)技術(shù)問題。
2、本申請(qǐng)的技術(shù)方案是：
3、一種基于點(diǎn)云信息和高斯云團(tuán)的3 d建模重建系統(tǒng)，用于對(duì)所述點(diǎn)云信息和所述3 d高斯云團(tuán)進(jìn)行數(shù)據(jù)處理，包括：
4、微處理模塊；
5、采集模塊，與所述微處理模塊電性連接，用于獲取待重建目標(biāo)場(chǎng)景圖像數(shù)據(jù)的稀疏點(diǎn)云信息和對(duì)應(yīng)的相機(jī)位姿信息；
6、第一處理模塊，與所述微處理模塊電性連接，用于根據(jù)所述稀疏點(diǎn)云信息獲取所述3 d高斯云團(tuán)，并對(duì)所述3 d高斯云團(tuán)進(jìn)行 splatting操作，得到初步模型圖；
7、第二處理模塊，與所述微處理模塊電性連接，用于根據(jù)所述3 d高斯云團(tuán)進(jìn)行 splatting操作后留下的痕跡，進(jìn)行渲染，得到重建后的3 d場(chǎng)景；
8、優(yōu)化模塊，與所述微處理模塊電性連接，用于基于連續(xù)的渲染迭代，不斷迭代縮小損失函數(shù)、優(yōu)化參數(shù)，對(duì)所述重建后的3 d場(chǎng)景進(jìn)行優(yōu)化，得到最優(yōu)的3 d場(chǎng)景；
9、輸出模塊，與所述微處理模塊電性連接，用于輸出所述最優(yōu)的3 d場(chǎng)景。
10、所述基于連續(xù)的渲染迭代，不斷迭代縮小損失函數(shù)、優(yōu)化參數(shù)，對(duì)所述重建后的3 d場(chǎng)景進(jìn)行優(yōu)化，得到最優(yōu)的3 d場(chǎng)景，包括：
11、在所述建后的3 d場(chǎng)景中，通過渲染操作將場(chǎng)景投影到圖像空間，生成預(yù)測(cè)圖像；
12、任一所述預(yù)測(cè)圖像均與 ground- truth圖像進(jìn)行比較，進(jìn)而計(jì)算損失函數(shù)；
13、利用優(yōu)化所述損失函數(shù)的步驟調(diào)整所述重建后的3 d場(chǎng)景的參數(shù)，使所述預(yù)測(cè)圖像與真實(shí)圖像之間的差異最小化；
14、通過渲染迭代，對(duì)所述重建后的3 d場(chǎng)景進(jìn)行優(yōu)化，以獲得最優(yōu)的3 d場(chǎng)景表示。
15、所述損失函數(shù)，包括：
16、對(duì)所述稀疏點(diǎn)云信息進(jìn)行預(yù)處理，并根據(jù)所述稀疏點(diǎn)云信息中任一點(diǎn)的位置信息獲取平均距離；
17、使用? sigmoid?激活函數(shù)將其約束在?[0?-?1)?范圍內(nèi)并獲得平滑梯度，以及協(xié)方差尺度的指數(shù)激活函數(shù)；
18、將初始協(xié)方差矩陣設(shè)置為各向同性高斯，其軸等于所述稀疏點(diǎn)云信息中最近三個(gè)點(diǎn)間距離的平均值；
19、所述損失函數(shù)中的損失項(xiàng)與? d- ssim?項(xiàng)相結(jié)合：
20、?；為常數(shù)。
21、所述獲取待重建目標(biāo)場(chǎng)景圖像數(shù)據(jù)的稀疏點(diǎn)云信息和對(duì)應(yīng)的相機(jī)位姿信息，包括：
22、采集待重建目標(biāo)場(chǎng)景中涵蓋同一場(chǎng)景的不同視角的圖像；
23、對(duì)任一所述圖像進(jìn)行預(yù)處理；
24、使用 colmap提取任一所述圖像中的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，用于對(duì)所述點(diǎn)云信息和3D高斯云團(tuán)進(jìn)行數(shù)據(jù)處理，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于，所述基于連續(xù)的渲染迭代，不斷迭代縮小損失函數(shù)、優(yōu)化參數(shù)，對(duì)所述重建后的3D場(chǎng)景進(jìn)行優(yōu)化，得到最優(yōu)的3D場(chǎng)景，包括：
3.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于，所述損失函數(shù)，包括：
4.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于，所述獲取待重建目標(biāo)場(chǎng)景圖像數(shù)據(jù)的稀疏點(diǎn)云信息和對(duì)應(yīng)的相機(jī)位姿信息，包括：
5.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于，所述根據(jù)所述稀疏點(diǎn)云信息獲取所述3D高斯云團(tuán)，包括：
6.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于，所述對(duì)所述3D高斯云團(tuán)進(jìn)行Splatting操作，得到初步模型圖，包括：
7.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建系統(tǒng)，其特征在于
8.一種基于如權(quán)利要求1-7任一權(quán)利要求所述系統(tǒng)的基于點(diǎn)云信息和高斯云團(tuán)的3D建模重建方法，其特征在于，包括：
9.一種針對(duì)3D建模重建的電子裝置，其特征在于，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：
...【技術(shù)特征摘要】
1.一種基于點(diǎn)云信息和高斯云團(tuán)的3d建模重建系統(tǒng)，用于對(duì)所述點(diǎn)云信息和3d高斯云團(tuán)進(jìn)行數(shù)據(jù)處理，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3d建模重建系統(tǒng)，其特征在于，所述基于連續(xù)的渲染迭代，不斷迭代縮小損失函數(shù)、優(yōu)化參數(shù)，對(duì)所述重建后的3d場(chǎng)景進(jìn)行優(yōu)化，得到最優(yōu)的3d場(chǎng)景，包括：
3.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3d建模重建系統(tǒng)，其特征在于，所述損失函數(shù)，包括：
4.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3d建模重建系統(tǒng)，其特征在于，所述獲取待重建目標(biāo)場(chǎng)景圖像數(shù)據(jù)的稀疏點(diǎn)云信息和對(duì)應(yīng)的相機(jī)位姿信息，包括：
5.根據(jù)權(quán)利要求1所述的基于點(diǎn)云信息和高斯云團(tuán)的3d建模重建系統(tǒng)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：侯子豪，肖明，康嘉文，張奕棋，林靈鑫，楊學(xué)賢，陳奕林，曹海文，王均亮，鐘卓玲，
申請(qǐng)(專利權(quán))人：廣東工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。