【技術實現步驟摘要】
本實施例主要涉及點云的點的編碼和重構。具體地，但不排他地，本實施例的涉及表示3d對象的外表面的點云的編碼/重構。
技術介紹
1、本部分旨在向讀者介紹可能與下面描述和/或要求保護的本專利技術實施例的各方面相關的技術的各方面。相信該討論有助于向讀者提供背景信息，以便于更好地理解本實施例的各個方面。因此，應當理解，這些陳述應就此而論來閱讀，而不是作為對現有技術的承認。
2、點云是某一坐標系中的一組點(數據點)。在三維坐標系(3d空間)中，這些點通常旨在表示3d對象的外表面。點云的每個點通常由其位置(3d空間中的x、y和z坐標)定義，并且可能由其他相關屬性定義，例如顏色(在例如rgb或yuv顏色空間中表示的顏色)、透明度、反射率、兩分量法矢量等。
3、通常將點云表示為一組6分量點(x,y,z,r,g,b)或等效地(x,y,z,y,u,v)，其中(x,y,z)定義3d空間中的色點的坐標，并且(r,g,b)或(y,u,v)定義該色點的顏色。
4、點云可以是靜態的或動態的，這取決于該云是否相對于時間演變。應當注意，在動態點云的情況下，點的數量不是恒定的，而是相反，通常隨著時間演變。因此，動態點云是一組點的時間順序列表。
5、實際上，點云可以用于各種目的，諸如文化遺產/建筑，其中像雕像或建筑的對象以3d掃描，以便共享該對象的空間配置而不發送或訪問它。而且，這是一種確保在對象可能被破壞(例如被地震破壞的寺廟)的情況下保留關于該對象的知識的方式。這種點云通常是靜態的、有顏色的和巨大的。
6
7、汽車工業和自動駕駛汽車也是其中可以使用點云的領域。自動駕駛汽車應當能夠“探測”它們的環境，以基于它們緊鄰的現實來做出良好的駕駛決定。像lidar的典型傳感器產生由決策引擎所使用的動態點云。這些點云不旨在被人類查看，并且它們通常是小的，不一定是有色的，并且是動態的，具有高捕獲頻率。它們可以具有其他屬性，例如由lidar提供的反射率，因為該屬性是關于被感測物體的材料的良好信息并且可以幫助進行所述決策。
8、虛擬現實和沉浸式世界近來已經成為熱點主題，并且被很多人預見為2d平面視頻的未來。基本思想是使觀看者沉浸在他周圍的環境中，這與標準tv相反，在標準tv中，觀看者僅能夠看到他前方的虛擬世界。根據觀看者在環境中的自由度，在所述沉浸度中存在若干層次。有色點云是分布虛擬現實(或vr)世界的良好格式候選。它們可以是靜態的或動態的，并且通常具有平均的大小的，比如一次不超過數百萬個點。
9、僅當比特流的大小足夠低以允許對終端用戶的實際存儲/傳輸時，點云壓縮才將成功地存儲/傳輸用于沉浸式世界的3d對象。
10、能夠以比特率的合理消耗而將動態點云分發給終端用戶同時保持可接受的(或者優選地非常好的)體驗質量是至關重要的。為了使沉浸式世界的分發鏈切實可行，這些動態點云的有效壓縮是關鍵點。
11、基于圖像的點云壓縮技術由于其壓縮效率和低復雜度的組合而變得越來越流行。它們以兩個主要步驟進行：首先，它們將點云(即，點)投影(正交投影)到2d圖像上，該2d圖像表示與所述點云的點相關聯的屬性。例如，至少一個幾何圖像表示所述點云的幾何形狀，即，所述點在3d空間中的空間坐標，并且至少一個屬性圖像表示與所述點云的所述點相關聯的屬性，例如與那些點相關聯的紋理/顏色信息。接著，這些技術用傳統視頻編碼器對這種深度和屬性圖像進行編碼。
12、基于圖像的點云壓縮技術通過利用2d視頻編碼器的性能來實現良好的壓縮性能，同時它們通過使用簡單的投影方案來保持低復雜度，所述編碼器例如hevc(“itu的itu-th.265電信標準化部門(10/2014)，系列h：視聽和多媒體系統，視聽服務的基礎設施-運動視頻的編碼、高效視頻編碼，itu-th.265建議(itu-t?h.265telecommunicationstandardization?sector?of?itu(10/2014),series?h:audiovisual?and?multimediasystems,infrastructure?of?audiovisual?services-coding?of?moving?video,highefficiency?video?coding,recommendation?itu-t?h.265)”)。
13、基于圖像的點云壓縮技術的挑戰之一在于：點云可能不適合投影到圖像上，尤其是在點分布遵循具有許多褶皺的表面(凹/凸區域，如在衣服中)時或者在點分布根本不遵循表面(如在皮毛或毛發中)時。在這些情況下，基于圖像的點云壓縮技術遭受低壓縮效率(需要許多小投影，從而降低2d視頻壓縮的效率)或質量差(由于將點云投影到表面上的困難)。
14、在現有技術中使用的減輕這個問題的方法之一在于將多個幾何形狀和紋理信息投影到圖像的相同空間位置(像素)上。這意味著，可以為點云的每個點生成若干幾何和/或屬性圖像。
15、例如，在iso/iec?jtc1/sc29/wg11?mpeg2018/n17767,ljubljana,2018年7月(附錄a)中定義的所謂的測試模型類型2點云編碼器(tmc2)中便是這種情況。
16、在tmc2中，點云被正交地投影到投影平面上。針對所述投影平面的每個坐標，兩個深度值因此被關聯：一個代表與最近點相關聯的深度值(最小深度值)，另一個代表最遠點的深度值(最大深度值)。然后，從最小深度值(d0)生成第一幾何圖像，從最大深度值的絕對值(d1)生成第二幾何圖像，其中d1-d0小于或等于最大表面厚度。還產生與第一(d0)和第二(d1)幾何圖像相關聯的第一和第二屬性圖像。然后，使用諸如hevc的任何傳統視頻編解碼器對所述屬性圖像和幾何圖像進行編碼和解碼。因此，通過對所解碼的第一和第二幾何圖像中進行去投影來重構所述點云的幾何形狀，并且與所重構的點云的點相關聯的其他屬性通過所解碼的屬性圖像而被獲得。
技術實現思路
1、以下給出了本專利技術實施例的簡化概述，以便提供對本專利技術實施例的一些方面的基本理解。該概述不是對本實施例的廣泛綜述。其不旨在標識本實施例的關鍵或重要元素。以下概述僅以簡化形式呈現本實施例的一些方面，作為以下提供的更詳細描述的序言。
2、本專利技術的實施例被提出以利用一種方法來彌補現有技術的至少一個缺失點，該方法包括：
3、–將界定了點云的點的邊界框(bounding?box)細分(subdividing)為多個子部分(subdivisions)；
4、–通過參考所述點云的點所屬的子部分，對表示該點的屬性的數據進行編碼；以及
5、–對表示每一子部分中所包括的本文檔來自技高網...
【技術保護點】
1.一種方法，包括：
2.根據權利要求1所述的方法，其中表示所述參考點的所述3D坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
3.根據權利要求1所述的方法，其中解碼表示所述參考點的所述3D坐標的所述信息是基于用于表示所述點云的點的3D坐標的比特深度與用于解碼所述幾何圖像的所述解碼器的所述比特深度之間的差的。
4.根據權利要求3所述的方法，其中，所述參考點的3D坐標是從以下獲得的：所解碼的信息和用于對所述幾何圖像進行解碼的所述解碼器的所述比特深度。
5.根據權利要求1所述的方法，其中所述參考點是所述點云的子部分的原點，所述子部分是通過分割界定了所述點云的點的邊界框而獲得的多個子部分中的一個。
6.根據權利要求1所述的方法，其中，所述面片是用于對所述點云的缺失點的3D坐標進行編碼的面片，缺失點是所述點云中的尚未被投影到投影平面上的點。
7.根據權利要求1所述的方法，其中所述幾何圖像進一步包括至少一個規則面片，所述規則面片包括投影在所述投影平面上的所述點云的
8.根據權利要求6所述的方法，其進一步包括以下中的至少一者：對指示用于編碼缺失點的面片的數目的信息進行解碼、或對指示所述面片中的點的數目的信息進行解碼。
9.一種包括一個或多個處理器的裝置，所述一個或多個處理器被配置為：
10.根據權利要求9所述的裝置，其中表示所述參考點的所述3D坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
11.根據權利要求9所述的裝置，其中表示所述參考點的所述3D坐標的所述信息是基于以下而被解碼的：用于表示所述點云的點的3D坐標的比特深度與用于解碼所述幾何圖像的所述解碼器的所述比特深度之間的差。
12.根據權利要求11所述的裝置，其中所述參考點的3D坐標是從以下獲得的：所解碼的信息和用于對所述幾何圖像進行解碼的所述解碼器的所述比特深度。
13.一種非暫時性計算機可讀介質，包括用于使一個或多個處理器執行權利要求1所述的方法的指令。
14.一種非暫時性計算機可記錄介質，包括比特流，所述比特流包括表示點云的點的屬性的編碼數據，所述編碼數據包括：
15.根據權利要求14所述的非暫時性計算機可記錄介質，其中表示所述參考點的所述3D坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
16.根據權利要求14所述的非暫時性計算機可記錄介質，其中，表示所述參考點的所述3D坐標的所述信息是基于以下而被編碼的：用于表示所述點云的點的3D坐標的比特深度與用于對所述幾何圖像進行解碼的所述解碼器的所述比特深度之間的差。
17.一種方法，包括：
18.根據權利要求17所述的方法，其中表示所述參考點的所述3D坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
19.一種包括一個或多個處理器的裝置，所述一個或多個處理器被配置為：
20.根據權利要求19所述的裝置，其中表示所述參考點的所述3D坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
...【技術特征摘要】
1.一種方法，包括：
2.根據權利要求1所述的方法，其中表示所述參考點的所述3d坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
3.根據權利要求1所述的方法，其中解碼表示所述參考點的所述3d坐標的所述信息是基于用于表示所述點云的點的3d坐標的比特深度與用于解碼所述幾何圖像的所述解碼器的所述比特深度之間的差的。
4.根據權利要求3所述的方法，其中，所述參考點的3d坐標是從以下獲得的：所解碼的信息和用于對所述幾何圖像進行解碼的所述解碼器的所述比特深度。
5.根據權利要求1所述的方法，其中所述參考點是所述點云的子部分的原點，所述子部分是通過分割界定了所述點云的點的邊界框而獲得的多個子部分中的一個。
6.根據權利要求1所述的方法，其中，所述面片是用于對所述點云的缺失點的3d坐標進行編碼的面片，缺失點是所述點云中的尚未被投影到投影平面上的點。
7.根據權利要求1所述的方法，其中所述幾何圖像進一步包括至少一個規則面片，所述規則面片包括投影在所述投影平面上的所述點云的點的深度數據。
8.根據權利要求6所述的方法，其進一步包括以下中的至少一者：對指示用于編碼缺失點的面片的數目的信息進行解碼、或對指示所述面片中的點的數目的信息進行解碼。
9.一種包括一個或多個處理器的裝置，所述一個或多個處理器被配置為：
10.根據權利要求9所述的裝置，其中表示所述參考點的所述3d坐標的所述信息是一索引，該索引允許確定要在切向軸、雙切向軸和法線軸上應用于從所述面片重構的點的移位值。
11.根據權利要求9所述...
【專利技術屬性】
技術研發人員：Y·奧利維爾，J·C·切維特，J·拉奇，
申請(專利權)人：交互數字VC控股公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。