【技術實現步驟摘要】
本專利技術屬于圖像渲染的，尤其涉及一種基于空間融合的高斯濺射通用渲染增強方法。
技術介紹
1、新視角合成任務(novel?view?synthesis)指的是給定源圖像(source?image)及源姿態(source?pose)，以及目標姿態(target?pose)，渲染生成目標姿態對應的圖片(target?image)。新視角合成在3d重建、ar/vr等領域有著廣泛的應用。隨著用戶越來越尋求逼真和身臨其境的體驗，最終用戶強烈要求高效和高質量的方法來合成新穎的視圖。神經輻射場(nerf)的出現已經徹底改變了處理新視圖合成的方式，導致了這一領域的重大進展。然而，在緩慢的訓練和渲染速度方面仍然存在一些挑戰。為了實現實時的新視圖合成，三維高斯濺射(3dgs)采用了一種更有效的柵格化渲染技術，背離了nerf的射線跟蹤方法，成為顯式渲染和計算機圖形學領域的一種變革性技術。然而，基于gs的方法在渲染高質量的圖像細節方面仍然面臨著挑戰。即使在使用高質量的訓練框架時，它們的輸出也經常表現出嚴重的渲染偽影，如噪聲和模糊度。
2、針對上述問題，亟需提出一種基于空間融合的高斯濺射通用渲染增強方法。
技術實現思路
1、為解決上述技術問題，本專利技術提出了一種基于空間融合的高斯濺射通用渲染增強方法，采用一種通用的高斯增強器，即一種網絡無關的后處理器，采用退化驅動的視圖混合方法來提高gs模型的渲染質量，以解決上述現有技術存在的問題。
2、為實現上述目的，本專利技術提供了一種基于空間
3、獲取待處理的真實圖像；
4、構建高斯濺射風格的退化模擬器，并在所述退化模擬器中加入門控機制，選擇圖像退化過程中的退化類型，生成訓練數據集；
5、將待處理的真實圖像輸入到所述退化模擬器中，生成訓練圖像；
6、構建高斯增強器，所述高斯增強器利用空間信息融合網絡，通過視圖融合模塊和深度調制模塊分別對所述訓練圖像進行特征融合和增強渲染的處理，生成最終增強結果。
7、可選地，訓練數據集中的退化類型包括：模糊、噪聲、下采樣和偽影。
8、可選地，通過視圖融合模塊和深度調制模塊分別對所述訓練圖像進行特征融合和增強渲染的處理之前還包括：
9、根據訓練圖像的不同視點位置，過濾出退化的目標幀和兩個相鄰的支撐幀，然后將退化的目標幀和兩個相鄰的支撐幀輸入視圖融合模塊。
10、可選地，基于視圖融合模塊對所述訓練圖像進行特征融合的過程包括：從退化的目標幀和兩個相鄰的支撐幀中提取特征，然后采用可變形卷積來融合交叉視圖特征，重構后生成目標幀的增強視圖。
11、可選地，所述目標幀的增強視圖如下式所示：
12、ht＝v(gt-1,d(gt),gt+1)
13、＝v(gt-1,lt,gt+1)
14、其中，lt表示退化的目標幀圖像，對應于地面真實值gt，gt-1和gt+1表示兩個相鄰視圖相對于目標幀的地面真相，ht是目標幀的增強視圖，函數d用于模擬地面真值的退化，函數v用于融合多個幀。
15、可選地，基于深度調制模塊對所述訓練圖像進行增強渲染的過程包括：獲取退化的目標幀對應的深度信息，在所述深度信息的引導下，對所述目標幀的增強視圖進行增強渲染，獲得最終增強結果。
16、可選地，所述最終增強結果如下式所示：
17、et＝s(ht,dt)
18、其中，et為最終增強結果，ht是目標幀的增強視圖，dt表示與目標幀對應的深度信息，函數s在深度信息的引導下進行深度調制。
19、可選地，所述視圖融合模塊和深度調制模塊對應的損失函數如下式所示：
20、lc＝ht-igt
21、ld＝et-igt
22、空間信息融合網絡的總損失函數為：
23、ltotal＝lc+λdld
24、其中，λd為總損失的權衡參數，igt是圖像的真值，ht是目標幀的增強視圖，et是最終增強結果。
25、與現有技術相比，本專利技術具有如下優點和技術效果：
26、本專利技術還提出了一種gs風格的退化模擬器，并構建了一個大規模的訓練數據集，以有效地模擬gs的原生渲染偽影，從而實現了高效的訓練。
27、本專利技術構建高斯增強器，利用空間信息融合網絡，通過視圖融合模塊和深度調制模塊分別對訓練圖像進行特征融合和增強渲染的處理，可以混合高度相關、高質量的訓練圖像，并利用目標圖像的深度信息來完成渲染細節，從而提高了圖像的輸出渲染質量。通過本專利技術的高斯增強器，能夠有效地消除gs模型的渲染效果，并生成高度真實的合成視圖。
本文檔來自技高網...【技術保護點】
1.一種基于空間融合的高斯濺射通用渲染增強方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
3.根據權利要求1所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
4.根據權利要求3所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
5.根據權利要求4所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
6.根據權利要求4所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
7.根據權利要求6所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
8.根據權利要求1所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
【技術特征摘要】
1.一種基于空間融合的高斯濺射通用渲染增強方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
3.根據權利要求1所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
4.根據權利要求3所述的基于空間融合的高斯濺射通用渲染增強方法，其特征在于，
...【專利技術屬性】
技術研發人員：鄒晨，何召鋒，畢科，項劉宇，彭程，王甲，馬慶森，
申請(專利權)人：北京郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。