視頻編碼和解碼的裝置制造方法及圖紙

本申請涉及3D視頻格式。多種實施方式涉及3D視頻格式。一種或多種實施方式涉及為MVC和SVC提供適應性修改，以使3D視頻格式被使用。根據一般方面，包括視頻和深度的一組圖像被編碼。該組圖像被根據特定的3D視頻格式相關聯，并且被以利用該組圖像之間的冗余的方式編碼。編碼后的圖像被基于與這些圖像有關的特定的3D視頻格式以特定順序排列在比特流中。比特流中的該特定順序被利用信令信息來指示。根據另一方面，包括該組編碼后的圖像的比特流被訪問。信令信息也被訪問。該組圖像被利用信令信息來解碼。

【技術實現步驟摘要】
本申請是申請日為2010年2月19日，申請號為201080008695.8，名稱為“3D視頻格式”的專利技術專利申請的分案申請。
描述了涉及編碼系統的實施方式。各種特定的實施方式涉及三維(3D)視頻格式。
技術介紹
為了方便諸如三維電視(3DTV)和自由視點視頻(FVV)之類的新的視頻應用，可以使用包括傳統的二維(2D)視頻和深度二者的3D視頻(3DV)數據格式，以使額外的視頻能夠被呈現在用戶端。這種3DV格式的示例包括2D加深度(2D+Z)(其包括2D視頻和相應的深度貼圖)和分層深度視頻LDV(其包括2D+Z中的數據和一個遮擋視頻(occlusionvideo)及一個遮擋深度(occlusiondepth))。多視角加深度(MVD)是2D+Z的擴展，包括來自不同視點的多個2D+Z。視差增強立體圖像(DES)是相當于來自不同視角的兩個LDV的另一種格式。如何傳送(編碼并發送)這些數據格式是一個重要問題，因為必須在用戶端聯合使用不同分量。
技術實現思路
根據一個概括方面，一組圖像被編碼。該組圖像包括視頻圖像和與該視頻圖像相對應的深度圖像。該組圖像中的圖像被根據特定的3D視頻格式相關聯。該組圖像被以利用該組圖像中的圖像之間的冗余的方式編碼。編碼后的圖像被基于與這些圖像有關的特定的3D視頻格式，以特定次序排列在比特流中。該特定次序在比特流中被使用信令信息指示出來。根據另一概括方面，包括一組編碼后的圖像的比特流被訪問，該組圖像包括視頻圖像和與該視頻圖像相對應的深度圖像。該組圖像被根據特定的3D視頻格式相關聯。該組圖像被以利用該組圖像中的圖像之間的冗余的方式編碼。指示特定次序的信令信息被訪問，其中該組編碼后的圖像被以該特定次序排列在比特流中。該特定次序是以與該組圖像有關的特定的3D視頻格式為基礎的。該組圖像被使用信令信息解碼。根據又一概括方面，視頻信號被格式化為包括信息。該視頻信號包括信令部分，該信令部分包括信令信息。該信令信息指示特定次序，其中該組編碼后的圖像被以該特定次序排列在比特流中。該特定次序是以與該組圖像有關的特定的3D視頻格式為基礎的。下面的描述和附圖中闡述了一種或多種實施方式的細節。即使僅以一種特定方式進行描述，也應該明白實施方式可以被以各種方式配置或實現。例如，一種實施方式可以被作為一種方法執行，或者被實現為一種裝置(諸如，被配置為執行一組操作的裝置、或者存儲用于執行一組操作的指令的裝置)、或者被實現為一種信號。結合附圖和權利要求，其他方面和特征將通過下面的詳細描述變得顯而易見。附圖說明圖1是深度貼圖(depthmap)的示例。圖2是示出LDV格式的四個分量的示例。圖3是3DV編碼器的實施方式的示意圖。圖4是3DV解碼器的實施方式的示意圖。圖5是視頻傳輸系統的實施方式的示意圖。圖6是視頻接收系統的實施方式的示意圖。圖7是視頻處理設備的實施方式的示意圖。圖8是示出對MVC結構中的MVD格式進行編碼的示例的示意圖。圖9是示出對MVC結構中的LDV格式進行編碼的示例的示意圖。圖10是示出對MVC結構中的DES格式進行編碼的示例的示意圖。圖11是第一編碼處理的實施方式的示意圖。圖12是第一解碼處理的實施方式的示意圖。圖13是示出對MVC結構中的MVD格式進行編碼的另一示例的示意圖。圖14是示出對MVC結構中的LDV格式進行編碼的另一示例的示意圖。圖15是示出對MVC結構中的DES格式進行編碼的另一示例的示意圖。圖16是第二編碼處理的實施方式的示意圖。圖17是第二解碼處理的實施方式的示意圖。圖18是示出對SVC結構中的LDV格式進行編碼的示例的示意圖。圖19是第三編碼處理的實施方式的示意圖。圖20是第三解碼處理的實施方式的示意圖。圖21是第四編碼處理的實施方式的示意圖。圖22是第四解碼處理的實施方式的示意圖。具體實施方式可以利用諸如既包括傳統的2D視頻又包括深度的數據格式之類的3DV數據格式，來使例如附加的視頻視圖可以被呈現在用戶端。但是，專利技術人認為缺陷在于，在諸如可分層視頻編碼(SVC)和多視角視頻編碼(MVC)之類的當前標準中并不支持3DV格式。多視角視頻序列是包括從不同視點捕捉相同場景的兩個以上視頻序列的一組視頻序列。所以，在至少一種實施方式中，我們提出重新使用現有的對于高級視頻編碼(AVC)的MVC或SVC擴展，在用信號指示如何正確提取3DV內容的幫助下發送3DV內容。可以利用包括但不限于例如，序列參數集(SPS)、畫面參數集(PPS)、條帶頭、輔助增強信息(SEI)消息等的任意高級語法來進行信號指示。在本申請中，其他信令機制也是可能的，并且是可以想到的。在至少一種實施方式中，我們提出使用SVC或MVC的構架來對3DV分量進行編碼，而不要求系統級的同步。使用SVC或MVC中的技術，本原理可以更有效地利用分量間(cross-component)冗余。另外，后向兼容性更加靈活，因為可以僅利用整個比特流的一部分來對傳統的2D視頻進行發送/解碼(例如，用于SVC的基本層、或者MVC中的基本視圖)。在至少一種實施方式中，我們還提出使用高級語法來用信號指示如何理解3DV背景中的視圖(MVC中)或者層(SVC中)，從而使得3D顯示器可以正確使用信息。在至少一種實施方式中，我們提出了用于用信號指示不同3DV格式的MVC和SVC的構架中的“3DV格式SEI消息”。這種實施方式可能會具有以下優點中的一個以上優點、或者全部優點：·避免了對系統級的不同分量進行同步的需要，因為它們可以被以分層方式(SVC)或者同步視角(MVC)方式相關聯。·更好地利用了分量間冗余：通過相對于利用交織法的AVC而言可以潛在地提供更高編碼效率的SVC/MVC將使能分量間預測。·更靈活的后向兼容性：在用戶端，傳統的2D視頻應用只需要部分數據。應該明白，盡管至少一種實施方式涉及到SEI消息，但是以上所述的原理不限于使用SEI消息。所以，例如，可以使用包括但不限于SPS、PPS、條帶頭等的其他高級語法。3D視頻(3DV)再現格式包括視頻分量和深度分量二者，這些格式諸如是2D+Z(MVD)和LDV(DES)等，并且隨著3DV應用吸引了更多的市場關注而變得更加重要。圖1示出了根據本原理的實施例的可以應用本原理的與被稱為“Leaving_Laptop”的MPEG測試序列相對應的示例性深度貼圖100。圖2示出了根據本原理的實施例的可以應用本原理的LDV格式中的四種分量。具體地，左上部分2本文檔來自技高網...

【技術保護點】
一種方法，包括：對包括視頻圖像和與所述視頻圖像相對應的深度圖像的一組圖像進行編碼，其中所述一組圖像以利用所述一組圖像中的圖像之間的冗余的方式被編碼；基于與所述圖像有關的特定順序將編碼后的圖像排列在比特流中；以及使用信令信息來指示所述特定順序。

【技術特征摘要】
2009.02.19 US 61/208,0131.一種方法，包括：
對包括視頻圖像和與所述視頻圖像相對應的深度圖像的一組圖像進行編碼，其中所述
一組圖像以利用所述一組圖像中的圖像之間的冗余的方式被編碼；
基于與所述圖像有關的特定順序將編碼后的圖像排列在比特流中；以及
使用信令信息來指示所述特定順序。
2.一種方法，包括：
訪問包括編碼后的一組圖像的比特流，其中所述一組圖像包括視頻圖像和與所述視頻
圖像相對應的深度圖像，所述一組圖像以利用所述一組圖像中的圖像之間的冗余的方式被
編碼；
訪問指示特定順序的信令信息，其中所述編碼后的一組圖像以所述特定順序排列在所
述比特流中，所述特定順序與所述一組圖像有關；以及
使用所述信令信息對所述一組圖像進行解碼。
3.一種處理器可讀介質，其上存儲有用于使處理器至少執行以下處理的指令：
對包括視頻圖像和與所述視頻圖像相對應的深度圖像的一組圖像進行編碼，其中所述
一組圖像以利用所述一組圖像中的圖像之間的冗余的方式被編碼；
基于與所述圖像有關的特定順序將所述編碼后的圖像排列在比特流中；以及
使用信令信息指...

【專利技術屬性】
技術研發人員：田棟，波林·萊，羅健聰，
申請(專利權)人：湯姆遜許可證公司，
類型：發明
國別省市：法國;FR