【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及計(jì)算機(jī)技術(shù)，尤其涉及一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景數(shù)據(jù)渲染方法、存儲(chǔ)介質(zhì)及系統(tǒng)。
技術(shù)介紹
1、三維高斯濺射技術(shù)在高保真度渲染方面表現(xiàn)出色，生成的場(chǎng)景數(shù)據(jù)量較大，特別是在網(wǎng)絡(luò)帶寬受限和設(shè)備渲染能力不一的情況下，通過流媒體向用戶傳輸這些數(shù)據(jù)會(huì)面臨嚴(yán)峻挑戰(zhàn)。
2、為提升3d場(chǎng)景的渲染和傳輸效率，現(xiàn)有技術(shù)采用一種分層漸進(jìn)式構(gòu)建方法，通過構(gòu)建一個(gè)用于堆疊表示的分層結(jié)構(gòu)，這種分層結(jié)構(gòu)允許在網(wǎng)絡(luò)實(shí)時(shí)交互與流媒體場(chǎng)景中，根據(jù)網(wǎng)絡(luò)條件逐層加載不同質(zhì)量等級(jí)的場(chǎng)景，逐步精細(xì)化3d場(chǎng)景表示，實(shí)現(xiàn)動(dòng)態(tài)自適應(yīng)傳輸效率和視角質(zhì)量。但這種方法仍然存在下述缺陷。
3、首先，該方法主要依賴于逐層累積高斯基元進(jìn)行細(xì)節(jié)添加，從而這種被動(dòng)減少整個(gè)場(chǎng)景中高斯基元的數(shù)量，但是未能充分實(shí)現(xiàn)高效壓縮。這使得構(gòu)建得到的場(chǎng)景整體數(shù)據(jù)量仍然較大，限制了在低帶寬網(wǎng)絡(luò)環(huán)境中的傳輸效率。如果依賴外部程序?qū)χ饘觽鬏數(shù)膱?chǎng)景進(jìn)行壓縮和解壓，按層劃分的較大數(shù)據(jù)量會(huì)帶來畫面渲染的延遲，導(dǎo)致用戶體驗(yàn)不佳。
4、其次，分層結(jié)構(gòu)的每一層都是獨(dú)立構(gòu)建的，逐層累積的過程中，上層的增強(qiáng)層僅負(fù)責(zé)在已有基礎(chǔ)層之上增加額外的細(xì)節(jié)，而不能對(duì)下層高斯基元的除透明度以外的其他屬性進(jìn)行優(yōu)化或調(diào)整。這種缺乏層級(jí)間互動(dòng)的設(shè)計(jì)容易導(dǎo)致場(chǎng)景表示陷入局部最優(yōu)，即每個(gè)層次僅針對(duì)自身的高斯基元進(jìn)行優(yōu)化，而不能根據(jù)全局場(chǎng)景進(jìn)行綜合調(diào)整。這種局部最優(yōu)的問題不僅影響壓縮效率，還會(huì)導(dǎo)致數(shù)據(jù)表示的冗余，無法充分挖掘場(chǎng)景的全局特性來實(shí)現(xiàn)更高效的壓縮。
5、最后，其按照按層傳輸?shù)姆绞胶鲆暳擞脩?span style='display:none'>在3d空間中對(duì)特定區(qū)域的關(guān)注，未能動(dòng)態(tài)優(yōu)先傳輸用戶視覺感知中心的細(xì)節(jié)信息。結(jié)果是，系統(tǒng)在傳輸大量低優(yōu)先級(jí)區(qū)域的數(shù)據(jù)時(shí)浪費(fèi)了帶寬。這樣的設(shè)計(jì)不僅導(dǎo)致不必要的傳輸開銷，還降低了實(shí)時(shí)交互場(chǎng)景中的加載效率，無法滿足動(dòng)態(tài)調(diào)整的需求。
技術(shù)實(shí)現(xiàn)思路
1、基于此，本公開的目的在于提出一種面向?qū)崟r(shí)交互的三維高斯濺射場(chǎng)景的構(gòu)建與傳輸方法、存儲(chǔ)介質(zhì)及系統(tǒng)。所述方法基于非固化漸進(jìn)式構(gòu)建技術(shù)對(duì)三維高斯濺射場(chǎng)景進(jìn)行縱向和橫向的塊式拆分，以優(yōu)化流媒體加載性能，進(jìn)而通過場(chǎng)景塊壓縮技術(shù)和基于用戶視覺感知中心的優(yōu)先級(jí)傳輸加載技術(shù)，使得即使帶寬受限，也能有效提升三維高斯濺射場(chǎng)景的數(shù)據(jù)傳輸效率和在線實(shí)時(shí)渲染效率，即使在網(wǎng)絡(luò)波動(dòng)環(huán)境中，也能滿足實(shí)時(shí)交互需求，提升用戶體驗(yàn)。具體技術(shù)方案如下。
2、第一方面，本公開提出一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景渲染方法，所述方法包括下述步驟：在客戶端，將網(wǎng)格頂點(diǎn)投影到二維畫面上，基于實(shí)時(shí)獲取的當(dāng)前用戶視覺感知中心，確定渲染畫面中心；根據(jù)渲染畫面中心與網(wǎng)格投影中心點(diǎn)位置的距離，客戶端確定或調(diào)整當(dāng)前用戶視覺感知中心下每層場(chǎng)景塊的傳輸請(qǐng)求優(yōu)先級(jí)；由低質(zhì)量層到高質(zhì)量層，在一層對(duì)應(yīng)傳輸請(qǐng)求得到響應(yīng)后，客戶端發(fā)送下一層對(duì)應(yīng)傳輸請(qǐng)求給服務(wù)端；在接收服務(wù)端壓縮傳輸?shù)膱?chǎng)景塊后，客戶端使用渲染器由低質(zhì)量層到高質(zhì)量層分層加載，漸進(jìn)式增強(qiáng)所述三維場(chǎng)景；其中，所述網(wǎng)格通過對(duì)分層結(jié)構(gòu)的三維高斯濺射場(chǎng)景進(jìn)行縱向和橫向的塊式拆分生成。
3、在上述技術(shù)方案的一種實(shí)施方式中，在客戶端使用blockmap記錄不同網(wǎng)格下已同步場(chǎng)景塊的最高等級(jí)；在客戶端與服務(wù)端斷連且重新連接成功時(shí)，客戶端根據(jù)blockmap的記錄，逐層為未收到的場(chǎng)景塊向服務(wù)端發(fā)起傳輸請(qǐng)求。
4、在上述技術(shù)方案的一種實(shí)施方式中，傳輸請(qǐng)求優(yōu)先級(jí)的確定方式為：將包含渲染畫面中心的場(chǎng)景塊請(qǐng)求作為第一優(yōu)先級(jí)，對(duì)于不包括渲染畫面中心的場(chǎng)景塊，根據(jù)其與網(wǎng)格投影中心點(diǎn)位置的距離由近及遠(yuǎn)，將其請(qǐng)求作為第二優(yōu)先級(jí)。
5、在上述技術(shù)方案的一種實(shí)施方式中，在網(wǎng)格邊界處，如果兩個(gè)相鄰網(wǎng)格的質(zhì)量等級(jí)不同，通過在這兩個(gè)網(wǎng)格之間設(shè)置過渡帶，利用插值的方法確定過渡帶渲染的透明度。
6、在上述技術(shù)方案的一種實(shí)施方式中，三維高斯濺射場(chǎng)景采用非固化分層漸進(jìn)式構(gòu)建方法構(gòu)建，所述非固化分層漸進(jìn)式構(gòu)建方法，在分層漸進(jìn)式構(gòu)建方法的基礎(chǔ)之上，允許當(dāng)前層在訓(xùn)練過程中對(duì)之前層的場(chǎng)景中的高斯基元的透明度和尺度進(jìn)行更新。
7、在上述技術(shù)方案的一種實(shí)施方式中，設(shè)置尺度閾值和透明度閾值，使尺寸更新與原有尺度的比值不超過該尺度閾值，而如果一個(gè)高斯基元更新后的透明度低于透明度閾值，則刪除該高斯基元。
8、在上述技術(shù)方案的一種實(shí)施方式中，將傳輸請(qǐng)求存放在隊(duì)列中，使用滑動(dòng)隊(duì)列窗口確保超時(shí)重傳和有序傳輸，所述滑動(dòng)隊(duì)列窗口大小可調(diào)，并采用多線程并發(fā)機(jī)制實(shí)現(xiàn)同時(shí)傳輸渲染畫面中心位置及其周邊所對(duì)應(yīng)的各層場(chǎng)景塊的3d高斯數(shù)據(jù)。
9、在上述技術(shù)方案的一種實(shí)施方式中，在渲染開始時(shí)，客戶端從服務(wù)端獲取三維高斯濺射場(chǎng)景的元信息，包括場(chǎng)景總大小、支持的質(zhì)量等級(jí)、場(chǎng)景分塊方式、場(chǎng)景分塊數(shù)量、使用的壓縮標(biāo)準(zhǔn)。
10、第二方面，本公開提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有能夠被處理器加載并執(zhí)行上述任一種方法的計(jì)算機(jī)程序。
11、第三方面，本公開提出一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景渲染系統(tǒng)，所述系統(tǒng)包括客戶端、服務(wù)端和網(wǎng)絡(luò)模塊；所述服務(wù)端，采用非固化分層漸進(jìn)式構(gòu)建方法構(gòu)建三維高斯濺射場(chǎng)景，對(duì)構(gòu)建的三維高斯濺射場(chǎng)景進(jìn)行分割生成網(wǎng)格；所述客戶端，將網(wǎng)格頂點(diǎn)投影到二維畫面上，基于實(shí)時(shí)獲取的當(dāng)前用戶視覺感知中心，確定渲染畫面中心；根據(jù)渲染畫面中心與網(wǎng)格投影中心點(diǎn)位置的距離，確定或調(diào)整當(dāng)前用戶視覺感知中心下每層場(chǎng)景塊的傳輸請(qǐng)求優(yōu)先級(jí)；在接收服務(wù)端傳輸?shù)膱?chǎng)景塊后，使用渲染器由低質(zhì)量層到高質(zhì)量層分層加載，漸進(jìn)式增強(qiáng)所述三維場(chǎng)景；所述網(wǎng)絡(luò)模塊，由低質(zhì)量層到高質(zhì)量層，在一層對(duì)應(yīng)傳輸請(qǐng)求得到響應(yīng)后，發(fā)送下一層對(duì)應(yīng)傳輸請(qǐng)求給服務(wù)端；其中，所述非固化分層漸進(jìn)式構(gòu)建方法在分層漸進(jìn)式構(gòu)建方法的基礎(chǔ)之上，允許當(dāng)前層在訓(xùn)練過程中對(duì)之前層的場(chǎng)景中的高斯基元的透明度和尺度進(jìn)行更新。
12、本公開的有益技術(shù)效果：通過采用非固化分層漸進(jìn)方式構(gòu)建三維高斯濺射場(chǎng)景，引入高效壓縮技術(shù)與動(dòng)態(tài)適應(yīng)的傳輸策略，采用自適應(yīng)分塊平滑的渲染器，顯著提升三維場(chǎng)景的傳輸效率和渲染性能，有效拓展在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、云游戲、3d流媒體以及在線數(shù)字檔案系統(tǒng)中的應(yīng)用，為自動(dòng)駕駛仿真、遠(yuǎn)程協(xié)作設(shè)計(jì)、智能城市建模、三維內(nèi)容生成等領(lǐng)域提供支持。該技術(shù)還將推動(dòng)三維高斯濺射技術(shù)的應(yīng)用普及至常見的消費(fèi)設(shè)備，如移動(dòng)終端和輕量級(jí)硬件設(shè)備。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景渲染方法，其特征在于，所述方法包括下述步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，傳輸請(qǐng)求優(yōu)先級(jí)的確定方式為：將包含渲染畫面中心的場(chǎng)景塊請(qǐng)求作為第一優(yōu)先級(jí)，對(duì)于不包括渲染畫面中心的場(chǎng)景塊，根據(jù)其與網(wǎng)格投影中心點(diǎn)位置的距離由近及遠(yuǎn)，將其請(qǐng)求作為第二優(yōu)先級(jí)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在網(wǎng)格邊界處，如果兩個(gè)相鄰網(wǎng)格的質(zhì)量等級(jí)不同，通過在這兩個(gè)網(wǎng)格之間設(shè)置過渡帶，利用插值的方法確定過渡帶渲染的透明度。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，三維高斯濺射場(chǎng)景采用非固化分層漸進(jìn)式構(gòu)建方法構(gòu)建，所述非固化分層漸進(jìn)式構(gòu)建方法，在分層漸進(jìn)式構(gòu)建方法的基礎(chǔ)之上，允許當(dāng)前層在訓(xùn)練過程中對(duì)之前層的場(chǎng)景中的高斯基元的透明度和尺度進(jìn)行更新。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，設(shè)置尺度閾值和透明度閾值，使尺寸更新與原有尺度的比值不超過該尺度閾值，而如果一個(gè)高斯基元更新后的透明度低于透明度閾值，則刪除該高斯基元。
7.根據(jù)權(quán)利要
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在渲染開始時(shí)，客戶端從服務(wù)端獲取三維高斯濺射場(chǎng)景的元信息，包括場(chǎng)景總大小、支持的質(zhì)量等級(jí)、場(chǎng)景分塊方式、場(chǎng)景分塊數(shù)量、使用的壓縮標(biāo)準(zhǔn)。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：存儲(chǔ)有能夠被處理器加載并執(zhí)行如權(quán)利要求1至8中任一種方法的計(jì)算機(jī)程序。
10.一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景渲染系統(tǒng)，其特征在于，所述系統(tǒng)包括客戶端、服務(wù)端和網(wǎng)絡(luò)模塊；
...【技術(shù)特征摘要】
1.一種實(shí)時(shí)交互的三維高斯濺射場(chǎng)景渲染方法，其特征在于，所述方法包括下述步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，傳輸請(qǐng)求優(yōu)先級(jí)的確定方式為：將包含渲染畫面中心的場(chǎng)景塊請(qǐng)求作為第一優(yōu)先級(jí)，對(duì)于不包括渲染畫面中心的場(chǎng)景塊，根據(jù)其與網(wǎng)格投影中心點(diǎn)位置的距離由近及遠(yuǎn)，將其請(qǐng)求作為第二優(yōu)先級(jí)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在網(wǎng)格邊界處，如果兩個(gè)相鄰網(wǎng)格的質(zhì)量等級(jí)不同，通過在這兩個(gè)網(wǎng)格之間設(shè)置過渡帶，利用插值的方法確定過渡帶渲染的透明度。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，三維高斯濺射場(chǎng)景采用非固化分層漸進(jìn)式構(gòu)建方法構(gòu)建，所述非固化分層漸進(jìn)式構(gòu)建方法，在分層漸進(jìn)式構(gòu)建方法的基礎(chǔ)之上，允許當(dāng)前層在訓(xùn)練過程中對(duì)之前層的場(chǎng)景中的高斯基元的透明度和尺度進(jìn)行更新。
6.根據(jù)權(quán)利要求5所述的方...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曲強(qiáng)，王余希，
申請(qǐng)(專利權(quán))人：中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。