視頻編碼設備和解碼設備、視頻編碼方法和解碼方法技術

本公開提供了一種視頻編碼設備、視頻解碼設備、視頻編碼方法以及視頻解碼方法。視頻編碼設備將解碼延遲和顯示延遲校正信息附至編碼視頻數據，以便確保即使當已從該視頻數據流中包含的圖像之中丟棄在編碼順序上比待剪接至另一個編碼視頻數據流的尾端的視頻數據流中的起始編碼圖像晚的一個或多個圖像時，起始編碼圖像及其隨后的圖像也能夠通過視頻解碼設備連續地解碼與顯示。校正信息是基于每個丟棄的圖像與緊鄰在該丟棄的圖像前的圖像之間的解碼間隔來計算的。該視頻編碼設備通過利用所計算的校正信息來校正起始編碼圖像及其隨后的圖像的解碼延遲和顯示延遲。

【技術實現步驟摘要】
視頻編碼設備和解碼設備、視頻編碼方法和解碼方法
這里所討論的實施例涉及一種無需對編碼的視頻數據進行解碼即可編輯該視頻數據的視頻編碼設備和視頻編碼方法，并且還涉及一種用于對通過這樣的視頻編碼設備所編碼的視頻數據進行解碼的視頻解碼設備和視頻解碼方法。
技術介紹
通常，用于表示視頻數據的數據量是非常大的。因此，處理這樣的視頻數據的設備在將該視頻數據發送到另一個設備之前、或者在將該視頻數據存儲在存儲裝置中之前通過編碼對視頻數據進行壓縮。諸如由國際標準化組織/國際電工委員會(ISO/IEC)所設計的MPEG-2(運動圖像專家組階段2)、MPEG-4、H.264MPEG-4高級視頻編碼(MPEG-4AVC/H.264)的編碼標準是如今被廣泛使用的典型視頻編碼標準。這樣的編碼標準采用幀間編碼(通過不僅使用信息本身、而且還使用來自它之前和之后的圖像的信息來對圖像進行編碼的編碼方法)和幀內編碼(通過僅使用包含在待編碼圖像中的信息來對圖像進行編碼的編碼方法)。幀間編碼方法使用稱為幀內編碼圖像(I圖像)、通常根據過去的圖像來預測的前向預測圖像(P圖像)、以及通常根據過去和未來兩種圖像來預測的雙向預測圖像(B圖像)這三種類型的圖像。通常，通過幀間編碼所編碼圖像或塊的代碼量小于通過幀內編碼所編碼圖像或塊的代碼量。這樣，相同視頻序列內的圖像與圖像的代碼量視所選擇的編碼模式而變化。同樣，相同圖像內的塊與塊的代碼量視所選擇的編碼模式而變化。因此，為了使包含有編碼視頻的數據流即使在該代碼量在時間上變化的情況下也能夠以恒定的傳輸率來發送，將用于緩沖數據流的發送緩沖器設于發送端，而將用于緩沖數據流的接收緩沖器設于接收端。MPEG-2和MPEG-4AVC/H.264分別各自定義了被稱為視頻緩沖檢驗器(VBV)或編碼圖像緩沖器(CPB)的理想的視頻解碼設備中的接收緩沖器的行為。為方便起見，理想的視頻解碼設備將會在下文中簡稱為理想解碼器。規定理想解碼器執行花費零時間來解碼的瞬時解碼。例如，日本特開2003-179938號公報公開了一種關于VBV的視頻編碼控制方法。為了不引起理想解碼器中的接收緩沖器上溢或下溢，視頻編碼器控制代碼量以確保當理想解碼器解碼給定圖像時解碼給定圖像所需要的所有數據在接收緩沖器中是可用的。當視頻編碼器以恒定的傳輸率來發送編碼視頻數據流時，如果到圖像要被視頻解碼器解碼和顯示的時候尚未完成對解碼圖像所需要的數據的傳輸的話，則接收緩沖器可能下溢。也就是說，接收緩沖器下溢是指其中解碼圖像所需要的數據在視頻解碼器的接收緩沖器中是不可用的情況。如果發生這種情況，視頻解碼器則不能夠執行解碼，并且會發生跳幀。鑒于此，視頻解碼器在自它的接收時間起的規定時間以前顯示延遲了流之后的圖像，以使得在不引起接收緩沖器下溢的情況下能夠進行解碼。如前所述，規定了理想解碼器在零時間內完成解碼。結果，如果將第i個圖像輸入到視頻編碼器的時間是t(i)、而第i個圖像在理想解碼器處的解碼時間為tr(i)的話，則圖像變為準備好用于顯示的最早時間與t(i)相同。由于對于任何圖像來說圖像顯示期{t(i+1)-t(i)}與{tr(i+1)-tr(i)}是相等的，所以將解碼時間tr(i)給定為tr(i)＝t(i)+dly，即，自輸入時間t(i)起延遲固定時間dly后的時間。這意味著，視頻編碼器不得不在時間tr(i)以前完成將解碼所需的所有數據到接收緩沖器的傳輸。參考圖1，將給出接收緩沖器如何進行操作的描述。在圖1中，橫坐標表示時間，而縱坐標則表示接收緩沖器的緩沖器占用量。實線曲線100描繪了作為時間的函數的緩沖器占用量。接收緩沖器的緩沖器占用量以與規定的傳輸率同步的速率還原，而用于解碼每個圖像的數據在圖像的解碼時間時從緩沖器中恢復。在時間at(i)時開始將第i個圖像的數據輸入到接收緩沖器，而在時間ft(i)時輸入第i個圖像的最后的數據。理想解碼器在時間tr(i)時完成對第i個圖像的解碼，從而第i個圖像在時間tr(i)時變為準備好用于顯示。但是，如果數據流包含B圖像的話，則第i個圖像的實際顯示時間可能由于圖像重新排序(改變編碼順序)的發生而變得遲于tr(i)。下面將詳細描述MPEG-4AVC/H.264中描述每個圖像的解碼時間和顯示時間的方法。在MPEG-4AVC/H.264中，在補充增強信息(SEI)消息中描述與像素的解碼不直接相關的補充信息。定義了幾十個SEI消息類型，且類型是通過payloadType參數來標識的。SEI被附至每個圖像。作為SEI的一種類型的BPSEI(緩沖期SEI)被附到獨立圖像，即，無需任何過去的圖像即可解碼的圖像(通常為I圖像)。在BPSEI中描述了InitialCpbRemovalDelay這個參數。InitialCpbRemovalDelay參數表示附BPSEI的圖像的第一個位在接收緩沖器中的到達時間與附BPSEI的圖像的解碼時間之間的差。該差的分辨率是90kHz。第一個圖像的解碼時間tr(0)是編碼視頻數據的第一個位到達視頻解碼器時的時間(將該時間指定為0)；也就是說，解碼時間自時間at(0)起而被延遲了InitialCpbRemovalDelay÷90,000[秒]的時間量。通常，作為一種類型的SEI的PTSEI(圖片定時SEI)被附到每個圖像。PTSEI中描述了參數CpbRemovalDelay和DpbOutputDelay。參數CpbRemovalDelay表示緊鄰在前的附有BPSEI的圖像的解碼時間與附有PTSEI的圖像的解碼時間之差。參數DpbOutputDelay表示附有PTSEI的圖像的解碼時間與該圖像的顯示時間之差。這些差的分辨率是一場圖像間隔。因此，當圖像為幀時，參數CpbRemovalDelay和DpbOutputDelay中的每一個的值是2的倍數。第二個和后續圖像中的每一個的解碼時間tr(i)比第一個圖像的解碼時間tr(0)延遲與tc*CpbRemovalDelay(i)[秒]相等的時間量。CpbRemovalDelay(i)是附到第i個圖像的CpbRemovalDelay。另一方面，tc是圖像間的時間間隔[秒]；例如，在29.97赫茲逐行視頻的情況下，tc是1001/60000。包括附有BPSEI的圖像在內的圖像中的每一個的顯示時間比tr(i)延遲了等于tc*DpbOutputDelay(i)的時間量。DpbOutputDelay(i)是附到第i個圖像的DpbOutputDelay。即，在時間tr(0)后，每個圖像在tc的整數倍的時間時進行解碼和顯示。根據視頻數據的用途，可以對編碼視頻進行編輯。編輯編碼視頻涉及將編碼視頻數據劃分成更小的部分以及將它們剪接以生成新的編碼視頻數據流。例如，將另一個視頻流(例如，廣告)插入到當前廣播的視頻流(即，剪接)是編輯操作的一個例子。當編輯幀間預測編碼視頻時，特別是在幀間編碼圖像的情況下，編碼圖像不能自身正確解碼。因此，當在期望的圖像位置剪接兩個編碼視頻數據流時，編碼視頻數據編輯機首先解碼待剪接的兩個編碼視頻數據流，然后在解碼的逐個圖像基礎上剪接它們，此后對剪接的視頻數據進行重新編碼。然而，由于重新編碼的工作非常費力，尤其是，在諸如剪接的這種實時處理的情況下，所以通常本文檔來自技高網...

【技術保護點】
一種視頻編碼設備，用于通過將均利用幀間預測編碼而編碼的第一視頻數據和第二視頻數據剪接在一起來生成剪接的編碼視頻數據，所述視頻編碼設備包括：剪接點識別信息處理單元，其獲得解碼延遲和顯示延遲校正信息并且將所述校正信息附至所剪接的視頻數據，所述解碼延遲和顯示延遲校正信息用于確保即使當已從所述第二視頻數據中包含的圖像中丟棄在編碼順序上比待剪接至所述第一編碼視頻數據的尾端的所述第二視頻數據中的起始編碼圖像晚的一個或多個圖像時，所述第二編碼視頻數據中包含的所述起始編碼圖像和隨后的圖像也能夠通過視頻解碼設備連續地解碼與顯示；以及數據剪接單元，其從所剪接的視頻數據中丟棄以下圖像：在編碼順序上晚于所述起始編碼圖像且如果從所述起始編碼圖像開始解碼則不保證被正確解碼的任何圖像，其中，所述校正信息是基于每個丟棄的圖像與在解碼順序上緊鄰在所述丟棄的圖像前的圖像之間的解碼間隔來計算的。

【技術特征摘要】
2012.10.01 JP 2012-2196631.一種用于對通過幀間預測編碼而編碼的視頻數據進行解碼的視頻解碼設備，包括：圖像解碼/顯示時間確定單元，其利用表明已經通過將第二編碼視頻數據剪接至第一編碼視頻數據的尾端而生成了編碼視頻數據的信息、以及表明已經丟棄了一個或多個編碼圖像的信息，基于校正信息對跟隨所述第二編碼視頻數據的起始編碼圖像的圖像的解碼延遲進行校正，以及基于所述校正信息對所述第二編碼視頻數據的起始編碼圖像和跟隨所述第二編碼視頻數據的起始編碼圖像的圖像的顯示延遲進行校正，其中，所述一個或多個編碼圖像在編碼順序上比在剪接所述第一編碼視頻數據和所述第二編碼視頻數據的剪接點下游處剪接的所述第二編碼視頻數據中的起始編碼圖像晚，以及其中，所述校正信息包括被附到所述第二編碼視頻數據的起始編碼圖像的第一校正信息和被附到在解碼時間上晚于但在顯示時間上早于所述第二編碼視頻數據的起始編碼圖像的每個可解碼前導圖像DLP圖像的第二校正信息，所述第一校正信息用于校正所述第二編碼視頻數據的起始編碼圖像的顯示延遲以及每個DLP圖像的解碼延遲，并且所述第一校正信息包括與解碼間隔之和對應的值，所述解碼間隔是以下兩者之間的解碼間隔：在所述剪接的視頻數據中在解碼順序上晚于所述第二編碼視頻數據的起始編碼圖像并已從所述剪接的視頻數據中丟棄了的每個丟棄的圖像，以及在解碼順序上緊鄰在所述丟棄的圖像前的圖像，而針對每個DLP圖像，所述DLP圖像的第二校正信息用于校正所述DLP圖像的顯示延遲和解碼延遲，并且所述第...

【專利技術屬性】
技術研發人員：數井君彥，小山純平，島田智史，
申請(專利權)人：富士通株式會社，
類型：發明
國別省市：日本;JP