視頻編碼方法及解碼視頻信號的方法技術

本公開提供視頻編碼方法及解碼視頻信號的方法。在一個實施例中，該視頻編碼方法包括：通過梅花形五點采樣將第一圖像和第二圖像分別子采樣成第一采樣數據和第二采樣數據，其中第一采樣圖像數據就像素布置而言與第二采樣圖像數據互補；將第一采樣圖像數據和第二采樣圖像數據中的每個分離成多個子圖像，其中，子圖像中的每個包括通過模式選擇的相應采樣圖像數據的圖像數據；至少將多個子圖像一起封裝成視頻流的單個圖像幀，其中，封裝包括根據指示如何將子圖像平鋪在一起的布置將子圖像平鋪在一起；以及單個圖像幀進行編碼，以及編碼布置的標識符。

【技術實現步驟摘要】
視頻編碼方法及解碼視頻信號的方法本申請是申請號為201080006265.2、申請日為2010年1月28日、名稱為“對如立體圖像的多個圖像進行子采樣和交織的方法和裝置”的PCT專利技術專利申請的分案申請。相關申請的交叉引用本申請要求2009年1月29日提交的美國臨時專利申請61/148,051號的優先權，通過引用將其全部內容包含于此。
本專利技術涉及數字數據的編碼和解碼，尤其涉及數字視頻數據。
技術介紹
近年來，內容提供商對將立體(3D)內容傳送到家庭相當感興趣。這種興趣不僅受到3D素材越來越普及和產品越來越多的驅動，而且受到若干已經對消費者銷售的立體裝置的出現的驅動。已經提出了若干用于將立體素材傳送到家庭的系統。
技術實現思路
本專利技術人實現了對3D以及其它多圖像視頻系統更好地編碼和解碼的需要。在各種實施例中，本專利技術提供了用于編碼和解碼視頻數據的方法、系統和體系結構。例如，使用數據或“紅”或“黑”的棋盤式(CB)交織的視頻數據，以“紅”數據跟著“紅”數據之前的黑數據等的格式，進行編碼和解碼(“紅”數據意味著第一圖像、視圖或者場景的圖像數據(被統稱為復數的“各視圖”或者單數的“視圖”)，且“黑”數據意味著(例如，單獨視頻流的)第二獨立視圖或者相關視圖(例如，要根據“紅”和“黑”數據二者繪制(render)的3D圖像的第二視圖，或者“紅”數據中承載的相同視圖的另一個角度)的圖像數據)。將這些概念擴展，例如，交織視頻可以包括例如來自多個節目流、相同場景的多個角度、或者相同或者不同場景、視頻游戲或者節目的多組3D視圖的多個圖像中的任何之一或者更多。另外，用于編碼的幀的準備可以包括通過梅花形五點采樣或者其它采樣技術執行的采樣。然后，以有利的格式(例如，考慮到編碼器的容量/意向或者數據的格式)布置采樣的數據，該格式可以是直棋盤式或者以一個或者更多模式交織的數據(例如，子圖像)分組。然后，例如，可以通過MPEG-4AVC或者另一種編碼技術進行編碼。在一個實施例中，本專利技術提供了一種方法，包括步驟：對n個圖像進行子采樣(sub-sample)；將采樣圖像中的每個采樣圖像分離為子圖像；將子圖像一起封裝到圖像幀中；以及通過視頻編碼器對單個圖像幀進行編碼。子采樣步驟包括例如梅花形五點采樣。該圖像可以包括例如3D圖像的左視圖和右視圖、相同場景的多個視圖以及多個圖像至少之一(并且該圖像還可以包括深度和遮擋信息之一)，或者該圖像可以包括來自該圖像之一的多于一個像素的組。該子圖像可以包括其特性與標準圖像相似的圖像內的數據，或者該子圖像可以包括從相應圖像中通過模式選擇的數據。分離步驟可以包括例如基于行和基于列中至少之一分離采樣圖像。分離步驟可以包括從采樣圖像中的每個采樣圖像準備多個塊的鄰近數據。封裝步驟可以包括以預定格式交織子圖像。預定格式可以基于例如圖像、采樣圖像和所分離的圖像樣本的任何一個自適應地改變。該方法還可以包括編碼標識預定格式的映射的步驟。可以在例如圖像幀的區域中編碼映射，并且在圖像幀的其它區域中執行子圖像的封裝。映射可以被編碼為邊信息。交織可以包括例如水平交織、垂直交織和矩形塊交織之一。該子采樣步驟可以包括梅花形五點采樣，該分離步驟可以包括使用子采樣圖像的每個其它行和每個其它列之一準備子圖像，并且該封裝步驟可以包括布置基于行和基于列的子圖像之一。該方法可以還包括編碼子圖像在該圖像幀內的布置的標識符的步驟。在一個實施例中，該標識符是放置在該編碼模式塊的邊信息中的代碼。作為一種選擇，它還可以被放置在該圖像幀中。該封裝步驟可以包括根據這里描述的模式和其它模式的任何一個進行封裝。該封裝可以例如維持至少一個尺寸與該子采樣圖像之一的尺寸相等。該封裝可以包括例如要有效利用解碼該編碼圖像要使用的資源而選擇的封裝格式。該封裝可以包括為了允許包括SNR/分辨率可伸縮性和2D至3D可伸縮性的高級可伸縮性特征而選擇的封裝格式。基于諸如處理能力的可用資源，可以選擇該封裝格式。該封裝可以包括例如維持具有高值的像素以解碼/上采樣互相非常靠近的每個[子圖像]。該編碼步驟可以包括諸如JPEG、JPEG-2000、類MPEG－2、MPEG－4AVC和VC1編碼的任何一個圖像或者視頻編碼系統。在其它實施例中，本專利技術可以被實現為一種視頻裝置，包括：解碼器，被配置為解碼編碼的視頻信號，在視頻信號中每幀包括多于一個的圖像；以及格式轉換器，包括被配置為對在所解碼的視頻信號中以幀格式交織的各組視頻數據進行去交織的格式轉換器，其中各組視頻數據包括來自第一圖像的一組或者更多組視頻數據以及來自第二圖像的一組或者更多組視頻數據。該格式轉換器可以包括例如去交織器，該去交織器被配置為從多個交織格式對數據組進行去交織。該格式轉換器可以包括例如格式讀取器，該格式讀取器被配置為確定該數據組的交織格式。該格式轉換器可以包括選擇裝置，該選擇裝置被配置為基于交織數據組的格式選擇算法和專用電子部件之一進行去交織。該格式轉換器可以被配置為例如對水平的、垂直的、基于塊的和基于映射的交織視頻數據組的至少之一進行去交織。本專利技術還可以包括上轉換器，上轉換器被配置為對來自圖像至少之一的去交織數據組進行上轉換。該上轉換數據可以例如被作為2D圖像輸出。例如，可以以HDMI兼容信號格式化該2D圖像。該上轉換數據可以包括包含3D圖像中的第一視圖的第一圖像的數據和包含該3D圖像的第二視圖的第二圖像的數據。視頻裝置可以是例如藍光DVD播放器、媒體播放器、機頂盒、電視譯碼器、計算機視頻卡、調諧器或者其它電子裝置至少之一的一部分。該解碼器可以包括MPEG-2、MPEG-4AVC、VC1以及其它解碼器之一。在另一個實施例中，本專利技術可以被實現為一種編碼系統，包括：子采樣器，被配置為對至少兩個不同視圖的圖像進行子采樣；格式化器，被配置為從每個視圖中選擇至少一組圖像數據，并且將組交織在視頻流的單個圖像幀中；以及編碼器，被配置為對視頻流進行編碼。編碼器可以包括例如MPEG-4AVC編碼器。圖像數據組包括例如多于一個像素的組。格式化器可以包括例如奇偶行列選擇器，并且交織圖像數據組包括包含水平重新布置、垂直重新布置、交織水平重新布置、交織垂直重新布置、塊重新布置、交織塊重新布置、垂直交織重新布置和水平交織重新布置中至少之一的組該編碼器可以還包括選擇裝置，該選擇裝置被配置為選擇用于交織該組數據的布置。該編碼器還可以包括映射器，該映射器被配置為從所格式化的這兩個圖像映射數據的布置。本專利技術還可以被實現為一種媒體存儲器，其具有存儲在其上的視頻流，其中該視頻流包括來自至少兩個視圖的交織的數據集，當由相應媒體播放器裝載和讀取時，使播放器解碼，然后去交織該視頻流，之后，格式化顯示裝置的視頻流。該數據集可以包括例如對應于3D圖像的第一視圖的多個數據集和對應于該3D圖像的第二視圖的多個數據集。媒體存儲器可以包括存儲卡、盤和電磁載體的物理屬性至少之一。由存儲卡、電磁載體和光盤至少之一的物理特性表示的該媒體存儲器的存儲內容包括視頻流，并且被加密。本專利技術又可以被實現為一種視頻編碼系統，包括：格式化器，被配置為將對應于第一圖像的數據的至少一個封裝、對應于第二圖像的數據的至少一個封裝、第一圖像的分辨率和動態范圍增強至少之一、以及第二圖像的分辨率和動態范圍增強至本文檔來自技高網...

【技術保護點】
一種視頻編碼方法，包括：通過梅花形五點采樣將第一圖像和第二圖像分別子采樣成第一采樣數據和第二采樣數據，其中，所述第一采樣圖像數據就像素布置而言與所述第二采樣圖像數據互補；將所述第一采樣圖像數據和所述第二采樣圖像數據中的每個分離成多個子圖像，其中，所述子圖像中的每個包括通過模式選擇的相應采樣圖像數據的圖像數據；至少將所述多個子圖像一起封裝成視頻流的單個圖像幀，其中，所述封裝包括根據指示如何將所述子圖像平鋪在一起的布置將所述子圖像平鋪在一起；以及對所述單個圖像幀進行編碼，以及編碼所述布置的標識符。

【技術特征摘要】
2009.01.29 US 61/148,0511.一種視頻編碼方法，包括：通過梅花形五點采樣將第一圖像和第二圖像分別子采樣成第一采樣數據和第二采樣數據，其中，所述第一采樣圖像數據就像素布置而言與所述第二采樣圖像數據互補；將所述第一采樣圖像數據和所述第二采樣圖像數據中的每個分離成多個子圖像，其中，所述子圖像中的每個包括通過模式選擇的相應采樣圖像數據的圖像數據；至少將所述多個子圖像一起封裝成視頻流的單個圖像幀，其中，所述封裝包括根據指示如何將所述子圖像平鋪在一起的布置將所述子圖像平鋪在一起；以及對所述單個圖像幀進行編碼，以及編碼所述布置的標識符。2.根據權利要求1所述的方法，其中，所述標識符是放置在編碼模式塊的邊信息中的代碼和/或放置在所述圖像幀中的代碼。3.根據權利要求1所述的方法，其中，所述布置指示將對應于所述第一采樣圖像數據的所述多個子圖像平鋪成所述圖像幀的第一矩形塊，以及將對應于所述第二采樣圖像數據的所述多個子圖像平鋪成所述圖像幀的第二矩形塊，所述第一矩形塊被定位成在所述圖像幀中與所述第二矩形塊成并排關系或頂底關系。4.根據權利要求1-3中的任一項所述的方法，其中，所述第一圖像和所述第二圖像包括來自多個節目流、相同場景的多個角度、或者相同或不同場景、視頻游戲或節目的多組3D視圖中的多個圖像中的任何一個或多個。5.一種使用處理器解碼經過編碼的...

【專利技術屬性】
技術研發人員：亞歷山德羅斯·圖拉皮斯，沃爾特·J·胡薩克，佩沙拉·V·帕哈拉瓦達，阿薩納西奧斯·萊昂塔里斯，
申請(專利權)人：杜比實驗室特許公司，
類型：發明
國別省市：美國;US