在本文檔中公開了用于代表3D場景的深度信息的編碼、格式化和解碼的方法、設(shè)備和數(shù)據(jù)流格式。視頻編解碼器對量化的值的壓縮和解壓縮導(dǎo)致值誤差。這種值誤差對深度編碼特別敏感。本發(fā)明專利技術(shù)提出了用量化函數(shù)對深度進(jìn)行編碼和解碼，當(dāng)量化的深度的值誤差在投影的點(diǎn)與去投影的點(diǎn)之間產(chǎn)生位置差量時，該量化函數(shù)最小化角度誤差。這種量化函數(shù)的逆必須在與3D場景相關(guān)聯(lián)的元數(shù)據(jù)中編碼，例如作為LUT，以便在解碼時被檢索，因?yàn)榇祟惡瘮?shù)不易控制。因?yàn)榇祟惡瘮?shù)不易控制。因?yàn)榇祟惡瘮?shù)不易控制。
【技術(shù)實(shí)現(xiàn)步驟摘要】
【國外來華專利技術(shù)】用于深度編碼和解碼的方法和裝置
[0001]本原理一般而言涉及三維(3D)場景和立體視頻內(nèi)容的領(lǐng)域。本文檔還可以在代表3D場景的幾何形狀的數(shù)據(jù)的編碼、格式化和解碼的上下文中理解，例如，用于在最終用戶設(shè)備(諸如移動設(shè)備或頭戴式顯示器(HMD))上渲染立體內(nèi)容。
技術(shù)介紹
[0002]本部分旨在向讀者介紹本領(lǐng)域的各個方面，這些方面可以與以下描述和/或要求保護(hù)的本原理的各個方面相關(guān)。相信該討論有助于向讀者提供背景信息，以促進(jìn)更好地理解本原理的各個方面。因而，應(yīng)當(dāng)理解的是，應(yīng)從這種角度來閱讀這些陳述，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。
[0003]最近，可用的大視場內(nèi)容(高達(dá)360
°
)有所增長。用戶在諸如頭戴式顯示器、智能眼鏡、PC屏幕、平板電腦、智能電話等沉浸式顯示設(shè)備上觀看內(nèi)容時，可能無法完全看到此類內(nèi)容。這意味著在給定時刻，用戶可能只能查看內(nèi)容的一部分。但是，用戶通常可以通過各種手段在內(nèi)容內(nèi)導(dǎo)航，諸如頭部移動、鼠標(biāo)移動、觸摸屏、語音等。通常期望編碼和解碼這種內(nèi)容。
[0004]沉浸式視頻，也稱為360
°
平面視頻，允許用戶通過其頭部圍繞靜止視點(diǎn)的旋轉(zhuǎn)來觀看其自己周圍的一切。旋轉(zhuǎn)僅允許3自由度(3DoF)體驗(yàn)。即使3DoF視頻足以滿足第一全向視頻體驗(yàn)，例如使用頭戴式顯示設(shè)備(HMD)，但對于預(yù)期獲得更多自由的查看者來說，3DoF視頻可能很快變得令人沮喪，例如由于體驗(yàn)視差。此外，3DoF還會誘發(fā)頭暈，因?yàn)橛脩魪膩聿粫H旋轉(zhuǎn)頭部，而是還會在三個方向上平移頭部，而這種平移在3DoF視頻體驗(yàn)中是無法再現(xiàn)的。
[0005]除其它以外，大視場內(nèi)容尤其可以是三維計算機(jī)圖形影像場景(3D CGI場景)、點(diǎn)云或沉浸式視頻等。許多術(shù)語可以被用于設(shè)計此類沉浸式視頻：例如，虛擬現(xiàn)實(shí)(VR)、360、全景、4π立體、沉浸式、全向或大視場。
[0006]體積視頻(也稱為6自由度(6DoF)視頻)是3DoF視頻的替代方案。在觀看6DoF視頻時，除了旋轉(zhuǎn)之外，用戶還可以在觀看的內(nèi)容中平移其頭部甚至其身體，并體驗(yàn)視差甚至體積。此類視頻通過在頭部平移期間提供一致的視覺反饋而大大增加了沉浸感和對場景深度的感知，并防止頭暈。內(nèi)容是借助于專用傳感器創(chuàng)建的，從而允許同時記錄感興趣場景的顏色和深度。使用與攝影測量技術(shù)相結(jié)合的彩色相機(jī)的裝備(rig)是執(zhí)行這種記錄的一種方式，即使仍然存在技術(shù)困難。
[0007]雖然3DoF視頻包括由紋理圖像(例如，根據(jù)緯度/經(jīng)度投影映射或等距柱狀投影映射編碼的球形圖像)的未映射產(chǎn)生的圖像序列，但6DoF視頻幀嵌入了來自幾個視點(diǎn)的信息。它們可以被視為由三維捕獲產(chǎn)生的點(diǎn)云的時間系列。根據(jù)觀看條件，可以考慮兩種體積視頻。第一種(即，完整的6DoF)允許在視頻內(nèi)容中完全自由導(dǎo)航，而第二種(又稱3DoF+)將用戶查看空間限制到稱為查看邊界框的有限體積內(nèi)，從而允許有限的頭部平移和視差體驗(yàn)。這第二個上下文是自由導(dǎo)航和就座觀眾的被動查看條件之間的寶貴權(quán)衡。
[0008]除了體積視頻的特定情況外，3D場景或體積內(nèi)容的深度信息的編碼和解碼可能是個問題，尤其是當(dāng)要編碼的深度值的范圍大并且可用于編碼的位深度不提供有足夠量的編碼值時。
技術(shù)實(shí)現(xiàn)思路
[0009]以下給出了本原理的簡化
技術(shù)實(shí)現(xiàn)思路
，以提供對本原理某些方面的基本理解。本
技術(shù)實(shí)現(xiàn)思路
不是本原理的廣泛概述。它并不旨在識別本原理的關(guān)鍵或重要元素。以下
技術(shù)實(shí)現(xiàn)思路
僅以簡化形式給出了本原理的一些方面，作為下面提供的更詳細(xì)描述的序言。
[0010]本原理涉及一種用于對代表點(diǎn)云的點(diǎn)與位于點(diǎn)云內(nèi)的第一點(diǎn)之間的距離的數(shù)據(jù)進(jìn)行編碼的方法。該方法包括通過使用由第三點(diǎn)、給定角度和誤差值定義的量化函數(shù)來量化代表第一和第二點(diǎn)之間的距離的值。量化函數(shù)可以被定義成使得被量化值和誤差值之和的去量化生成第四點(diǎn)；第四、第三、第二點(diǎn)的角度小于或等于給定角度。當(dāng)值被量化時，該方法在與代表量化函數(shù)的元數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)流中對這個被量化值進(jìn)行編碼。在實(shí)施例中，量化函數(shù)是編碼器和解碼器都已知的參數(shù)化函數(shù)，因此，元數(shù)據(jù)包括給定角度和/或誤差值和/或第三點(diǎn)的坐標(biāo)，或者在變體中，第一點(diǎn)與第三點(diǎn)之間的距離。在另一個實(shí)施例中，元數(shù)據(jù)包括響應(yīng)于量化函數(shù)的逆的查找表。
[0011]本原理還涉及由實(shí)現(xiàn)這種方法的設(shè)備生成的數(shù)據(jù)流。數(shù)據(jù)流包括代表被量化值的數(shù)據(jù)，被量化值代表點(diǎn)云的點(diǎn)與位于點(diǎn)云內(nèi)的第一點(diǎn)之間的距離；該距離已經(jīng)通過使用由第三點(diǎn)、給定角度和誤差值定義的量化函數(shù)被量化。
[0012]本原理還涉及一種用于對代表點(diǎn)云的點(diǎn)與點(diǎn)云內(nèi)的第一點(diǎn)之間的距離的數(shù)據(jù)進(jìn)行解碼的方法。該方法包括從數(shù)據(jù)流解碼被量化值和相關(guān)聯(lián)的元數(shù)據(jù)。元數(shù)據(jù)包括代表由第三點(diǎn)、給定角度和誤差值定義的量化函數(shù)的數(shù)據(jù)。該方法通過使用這個量化函數(shù)的逆來進(jìn)一步去量化所提取的被量化值。在實(shí)施例中，逆量化函數(shù)是編碼器和解碼器都已知的參數(shù)化函數(shù)，因此，元數(shù)據(jù)包括給定角度和/或坐標(biāo)和/或第三點(diǎn)的誤差值，或者在變體中，第一點(diǎn)與第三點(diǎn)之間的距離。在這個實(shí)施例中，在解碼側(cè)，逆量化函數(shù)由這些參數(shù)初始化。在變體中，如果為這些參數(shù)之一確定了默認(rèn)值，那么這些參數(shù)中的一些是可選的。在另一個實(shí)施例中，元數(shù)據(jù)包括響應(yīng)于量化函數(shù)的逆的查找表。距離實(shí)際值是通過在表中查找被量化值來獲得的。
[0013]本原理還涉及包括被配置用于實(shí)現(xiàn)此類方法的處理器的設(shè)備。
附圖說明
[0014]通過閱讀以下描述，將更好地理解本公開，并且將出現(xiàn)其它具體特征和優(yōu)點(diǎn)，本描述參考附圖，其中：
[0015]?
圖1示出了根據(jù)本原理的非限制性實(shí)施例的對象的三維(3D)模型和與該3D模型對應(yīng)的點(diǎn)云的點(diǎn)；
[0016]?
圖2示出了根據(jù)本原理的非限制性實(shí)施例的代表3D場景序列的數(shù)據(jù)的編碼、傳輸和解碼的非限制性示例；
[0017]?
圖3示出了根據(jù)本原理的非限制性實(shí)施例的設(shè)備的示例體系架構(gòu)，該設(shè)備可以被配置為實(shí)現(xiàn)關(guān)于圖8和9描述的方法；
[0018]?
圖4示出了根據(jù)本專利技術(shù)的非限制性實(shí)施例的當(dāng)數(shù)據(jù)通過基于分組的傳輸協(xié)議被傳輸時流的語法的實(shí)施例的示例；
[0019]?
圖5圖示了根據(jù)本原理的非限制性實(shí)施例的從中心視點(diǎn)看的球面投影；
[0020]?
圖6示出了根據(jù)本原理的非限制性實(shí)施例的投影映射的示例，該投影映射包括從投影中心(又稱為第一點(diǎn))可見的3D場景的點(diǎn)的深度信息；
[0021]?
圖7圖示了根據(jù)本原理的非限制性實(shí)施例的如何根據(jù)3D場景中的第二視點(diǎn)感知量化誤差；
[0022]?
圖8圖示了根據(jù)本原理的非限制性實(shí)施例的對代表3D場景的點(diǎn)的深度的數(shù)據(jù)進(jìn)行編碼的方法；
[0023]?
圖9圖示了根據(jù)本原理的非限制性實(shí)施例的對代表3D場景的點(diǎn)與3D場景內(nèi)的第一點(diǎn)之間的距離的數(shù)據(jù)進(jìn)行解碼的方法；
具體實(shí)施方式
[0024]在下文中將參考附圖更全面地描述本原理，在附圖中示出了本原理的示例。但是，本原理可以以許多替代形式來實(shí)施，并且本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種方法，包括：
?
通過使用由第三點(diǎn)(77，79)、給定角度和誤差值定義的量化函數(shù)來量化代表第一點(diǎn)與第二點(diǎn)之間距離的值；以及
?
在數(shù)據(jù)流(4)中與代表所述量化函數(shù)的元數(shù)據(jù)(43)相關(guān)聯(lián)地編碼所述量化值(42)。2.如權(quán)利要求1所述的方法，其中所述量化函數(shù)被定義為使得所述量化的值和所述誤差值的總和的去量化生成第四點(diǎn)，并且使得第四點(diǎn)、第三點(diǎn)、第二點(diǎn)的角度小于或等于所述給定角度。3.如權(quán)利要求1或2所述的方法，其中所述元數(shù)據(jù)包括所述給定角度和所述第三點(diǎn)的坐標(biāo)或第一點(diǎn)與第三點(diǎn)之間的距離。4.如權(quán)利要求1或2所述的方法，其中所述元數(shù)據(jù)包括響應(yīng)于所述量化函數(shù)的逆的查找表。5.如權(quán)利要求2至4之一所述的方法，其中所述第一點(diǎn)和第三點(diǎn)屬于給定區(qū)，所述第三點(diǎn)被選擇以最大化所述給定角度。6.如權(quán)利要求1至5之一所述的方法，其中所述給定角度與人類視敏度的測量對應(yīng)和/或其中所述誤差值等于1。7.一種設(shè)備(30)，包括處理器(32)，所述處理器被配置用于：
?
通過使用由第三點(diǎn)(77，79)、給定角度和誤差值定義的量化函數(shù)來量化代表第一點(diǎn)與第二點(diǎn)之間距離的值；以及
?
在數(shù)據(jù)流(4)中與代表所述量化函數(shù)的元數(shù)據(jù)(43)相關(guān)聯(lián)地編碼所述量化值(42)。8.如權(quán)利要求7所述的設(shè)備，其中所述量化函數(shù)被定義為使得所述量化的值和所述誤差值的總和的去量化生成第四點(diǎn)，并且使得第四點(diǎn)、第三點(diǎn)、第二點(diǎn)的角度小于或等于所述給定角度。9.如權(quán)利要求7或8所述的設(shè)備，其中所述元數(shù)據(jù)包括所述給定角度和所述第三點(diǎn)的坐標(biāo)或第一點(diǎn)與第三點(diǎn)之間的距離。10.如權(quán)利要求7或8所述的設(shè)備，其中所述元數(shù)據(jù)包括響應(yīng)于所述量化函數(shù)的逆的查找表。11.如權(quán)利要求8至10之一所述的設(shè)備，其中所述第一點(diǎn)和第三點(diǎn)屬于給定區(qū)，所述第三點(diǎn)被選擇以最大化所述給定角度。12.如權(quán)利要求7至11之一所述的設(shè)備，其中所述給定角度與人類視敏度的測量對應(yīng)和/或其中所述誤差值等于1。1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：J弗勒羅，R多爾，F圖多爾，
申請(專利權(quán))人：交互數(shù)字VC控股公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。