【技術實現步驟摘要】
【國外來華專利技術】
本專利技術技術涉及圖像渲染，尤其涉及用于在3d場景的渲染期間將光信息應用于3d場景的對象的系統和方法。
技術介紹
1、游戲應用程序是一種軟件程序，使用戶能夠在智能手機、平板電腦和個人計算機等電子設備上玩游戲。“游戲應用程序”通常包括排行榜、社交網絡集成和應用程序內購買等功能，并且包括供用戶進行游戲和與渲染的視覺內容進行交互的用戶界面。
2、視覺內容的渲染是指在屏幕上實時創建和顯示圖形的過程。該過程涉及生成和渲染3d模型、紋理、光照和其它效果，以便為用戶創建逼真和身臨其境的游戲體驗。渲染會涉及到圖形引擎的使用，圖形引擎是提供渲染視覺內容所需的工具和算法的軟件框架。例如，該引擎可以獲取3d模型和紋理等輸入數據，并將數據轉換為可在用戶屏幕上顯示的格式。在游戲應用程序中渲染視覺內容所使用的技術有多種，包括光柵化和光線追蹤。光柵化涉及將3d模型渲染為一系列平面2d圖像，而光線追蹤涉及模擬光線與場景中的對象進行交互的方式，以創建更逼真的光照和陰影。除了這些技術之外，幀率、分辨率和抗鋸齒等其它因素也可能影響渲染的視覺內容的質量。
3、在游戲應用程序中影響用戶游戲體驗的因素包括時延和渲染質量。首先，時延是指(i)用戶(通過鍵盤、鼠標或觸摸屏)應用控制命令與(ii)渲染圖形在屏幕上顯示之間的時間延遲。其次，渲染質量因特定的渲染技術等因素而異。例如，先進的光線追蹤技術可以提供照片級逼真的光照效果。
4、游戲應用程序可以在客戶端設備本地執行，其中，用戶能夠使用本地計算資源玩游戲，而無需任何云或網絡計算輔助。本地執行
5、游戲應用程序也可以通過云或網絡計算執行，可進行完全服務器渲染。在完全服務器渲染方案中，客戶端設備收集控制命令并將控制命令作為輸入發送至服務器。然后，云服務器向客戶端設備提供游戲渲染和編碼，再由客戶端設備對視頻流進行解碼并將視頻流呈現給用戶。完全服務器渲染方案的優點包括由于云gpu的計算能力相對較高而產生的高質量渲染。但是，完全服務器渲染方案存在高時延的問題，并且依賴于網絡連接。
6、因此，人們希望改進傳統的渲染方案。
技術實現思路
1、開發人員設計了用于克服現有技術方案中存在的至少一些缺點的方法和設備。
2、光照紋理技術
3、開發人員明白，渲染方案可以使用光照紋理技術執行場景重建。參考圖2，指定具有多個元素(3d場景幾何形狀、材質、光源等)的3d場景作為輸入，服務器端捕獲來自場景中不同位置的入射直接光和間接光，并將捕獲的信息保存在稱為“光照紋理”(lighttexture，lt)的數據結構中。在客戶端，對于指定的視點，預先計算的光信息(來自lt)和3d場景元素可以用于實時生成場景的全局光照渲染。光照紋理技術的優點包括高渲染質量、一次生成預先計算的光數據并能夠用于大量客戶端，這有利于降低渲染過程產生的每個客戶端的計算成本。
4、開發人員已經意識到，光照紋理技術不太適合游戲應用程序。例如，所有對象的所有表面都需要在服務器上進行處理。在另一個示例中，光照紋理技術用于在單個紋理中捕獲整個場景，這為在動態和/或大型場景中的使用帶來了可擴展性限制。
5、光照探針技術
6、開發人員明白，渲染方案可以使用光照探針技術執行場景重建，在光照探針技術中，使用服務器資源輔助客戶端渲染。例如，客戶端可以首先將用戶控制輸入發送至服務器，服務器可以使用光照探針并在探針上捕獲場景的光信息。探針上的數據被壓縮并發送回客戶端。客戶端使用探針中捕獲的信息渲染視點相關幀。光照探針技術的優點包括高質量的漫反射全局光照和低時延。
7、開發人員已經意識到，光照探針技術需要在服務器上部署游戲應用程序，無法處理平滑/鏡面光澤反射，會導致“零”薄壁產生漏光偽影，偏置參數需要根據場景比例進行調整，并且光照探針的布置和數量需要根據場景進行調整。
8、本專利技術技術的開發人員已經意識到需要一種渲染方案，該渲染方案能夠提供高渲染質量、低時延、使用云或網絡資源作為可選的渲染服務(不需要在服務器上安裝/部署游戲)、不依賴于網絡連接進行游戲、能夠處理動態場景，支持反射和陰影，減輕漏光和光照探針布置限制。
9、云輔助環境表面光技術
10、在本專利技術技術的上下文中，開發人員設計了通過使用環境表面光執行云輔助客戶端渲染的計算機實現方法。廣義上，游戲應用程序安裝在客戶端設備上，而不需要在服務器上部署游戲應用程序。根據云服務器的可用性和計算能力，客戶端設備可以可選地將至少一個對象發送至服務器，服務器利用相對更強大的gpu來捕獲至少一個對象的表面的光信息。然后，該表面光信息被壓縮并發送回客戶端設備。接收到在服務器端生成的表面光信息之后，客戶端設備用于執行混合渲染過程310，以在精簡設備上生成照片級逼真的圖形。
11、更具體地，根據本專利技術技術的第一方面，提供了一種用于在客戶端設備的屏幕上渲染3d場景的系統。所述系統包括通過通信網絡通信耦合到所述客戶端設備的云服務器。所述客戶端設備包括第一處理器和存儲第一指令的第一非瞬時性計算機可讀介質。所述第一處理器在執行所述第一指令時用于：響應于渲染指定3d場景的渲染請求而執行以下操作，所述指定3d場景包括多個對象：根據預定規則識別所述指定3d場景中的至少一個感興趣對象；響應于識別所述指定3d場景中的所述至少一個感興趣對象，通過所述通信網絡將表示所述至少一個感興趣對象的數據發送至所述云服務器。此外，所述云服務器包括第二處理器和存儲第二指令的第二非瞬時性計算機可讀介質，所述第二處理器在執行所述第二指令時用于：從所述客戶端設備接收表示指定3d場景中的所述至少一個感興趣對象的所述數據；針對所述至少一個感興趣對象，確定與所述至少一個感興趣對象相關聯的光信息，所述光信息指示與所述指定3d場景中的所述至少一個感興趣對象的表面的光交互；通過所述通信網絡將與所述至少一個感興趣對象相關聯的所述光信息發送至所述客戶端設備；所述客戶端設備的所述第一處理器還用于：從所述云服務器接收與所述至少一個感興趣對象相關聯的所述光信息；通過以下方式在所述客戶端設備的所述屏幕上渲染所述指定3d場景的圖像：響應于所述圖像的表示所述指定3d場景中的所述至少一個感興趣對象的指定像素，根據所述光信息對所述指定像素進行著色。
12、在所述系統的一些實現方式中，用于識別所述至少一個感興趣對象的所述預定規則包括：如果在預定監測周期期間，所述指定3d場景中的所述多個對象中的對象的渲染更新的相應頻率小于預定頻率閾值，則將所述對象識別為感興趣對象。
13、在所述系統的一些實現方式中，所述多個對象中的每一個對象的所述渲染更新的所述相應頻率已經預定；在識別所述至少一個感興趣對象之前，所述第一處理器還用于接收所述多個對象中的每一個對象的所述渲染更新的所述相應頻率的數據。<本文檔來自技高網...
【技術保護點】
1.一種用于在客戶端設備的屏幕上渲染3D場景的系統，其特征在于，所述系統包括通過通信網絡通信耦合到所述客戶端設備的云服務器，
2.根據權利要求1所述的系統，其特征在于，用于識別所述至少一個感興趣對象的所述預定規則包括：如果在預定監測周期期間，所述指定3D場景中的所述多個對象中的對象的渲染更新的相應頻率小于預定頻率閾值，則將所述對象識別為感興趣對象。
3.根據權利要求2所述的系統，其特征在于，
4.根據權利要求2所述的系統，其特征在于，
5.根據權利要求1所述的系統，其特征在于，
6.根據權利要求5所述的系統，其特征在于，所述第一處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應確定從未為了確定所述至少一個感興趣對象的所述光信息而將所述至少一個感興趣對象發送至所述云服務器。
7.根據權利要求5所述的系統，其特征在于，所述第一處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應在預定監測周期期間所述指定3D場景中的所述至少一個感興趣對象的渲染更新的實例。
9.根據權利要求8所述的系統，其特征在于，
10.根據權利要求1所述的系統，其特征在于，
11.根據權利要求10所述的系統，其特征在于，所述第二處理器用于通過對所述光信息應用降噪和超采樣中的至少一個對所述光信息進行后處理。
12.一種客戶端設備，其特征在于，所述客戶端設備用于在所述客戶端設備的屏幕上渲染3D場景，所述客戶端設備包括處理器和存儲指令的非瞬時性計算機可讀介質；所述處理器在執行所述指令時用于：
13.根據權利要求12所述的客戶端設備，其特征在于，所述處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應確定從未為了確定所述至少一個感興趣對象的所述光信息而將所述至少一個感興趣對象發送至所述云服務器。
14.根據權利要求12所述的客戶端設備，其特征在于，所述處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應在所述預定監測周期期間所述指定3D場景中的所述至少一個感興趣對象的所述渲染更新的實例。
15.根據權利要求12所述的客戶端設備，其特征在于，所述渲染更新包括所述至少一個感興趣對象的幾何形狀的更新。
16.根據權利要求15所述的客戶端設備，其特征在于，
17.根據權利要求12所述的客戶端設備，其特征在于，
18.一種云服務器，其特征在于，所述云服務器用于在通信耦合到所述云服務器的客戶端設備的屏幕上渲染3D場景，所述云服務器包括處理器和存儲指令的非瞬時性計算機可讀介質，所述處理器在執行所述指令時用于：
19.根據權利要求18所述的云服務器，其特征在于，
20.根據權利要求19所述的云服務器，其特征在于，所述處理器用于通過對所述聚合光照紋理貼圖應用降噪和超采樣中的至少一個對所述聚合光照紋理貼圖進行后處理。
21.一種用于在客戶端設備的屏幕上渲染3D場景的方法，其特征在于，所述方法由包括云服務器的系統實現，所述云服務器通過通信網絡通信耦合到所述客戶端設備，所述方法包括：
...【技術特征摘要】
【國外來華專利技術】
1.一種用于在客戶端設備的屏幕上渲染3d場景的系統，其特征在于，所述系統包括通過通信網絡通信耦合到所述客戶端設備的云服務器，
2.根據權利要求1所述的系統，其特征在于，用于識別所述至少一個感興趣對象的所述預定規則包括：如果在預定監測周期期間，所述指定3d場景中的所述多個對象中的對象的渲染更新的相應頻率小于預定頻率閾值，則將所述對象識別為感興趣對象。
3.根據權利要求2所述的系統，其特征在于，
4.根據權利要求2所述的系統，其特征在于，
5.根據權利要求1所述的系統，其特征在于，
6.根據權利要求5所述的系統，其特征在于，所述第一處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應確定從未為了確定所述至少一個感興趣對象的所述光信息而將所述至少一個感興趣對象發送至所述云服務器。
7.根據權利要求5所述的系統，其特征在于，所述第一處理器用于將表示所述至少一個感興趣對象的所述數據發送至所述云服務器，以響應在預定監測周期期間所述指定3d場景中的所述至少一個感興趣對象的渲染更新的實例。
8.根據權利要求7所述的系統，其特征在于，所述渲染更新包括所述至少一個感興趣對象的幾何形狀的更新。
9.根據權利要求8所述的系統，其特征在于，
10.根據權利要求1所述的系統，其特征在于，
11.根據權利要求10所述的系統，其特征在于，所述第二處理器用于通過對所述光信息應用降噪和超采樣中的至少一個對所述光信息進行后處理。
12.一種客戶端設備，其特征在于，所述客戶端設備用于在所述客戶端設備的屏幕上渲染...
【專利技術屬性】
技術研發人員：劉洋，穆罕默德·易卜拉欣·哈菲茲·易卜拉欣，劉克一，盧書芳，謝爾蓋·薩奇科夫，
申請(專利權)人：華為技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。