音頻或視頻編碼器、音頻或視頻解碼器及利用可變預測方向處理多信道音頻或視頻信號的相關方法技術

一種音頻或視頻編碼器和音頻或視頻解碼器基于兩個音頻或視頻信道（201、202）的合成以獲得作為中信號的第一合成信號（204）和可利用源自中信號的預測側信號得出的剩余信號（205）。第一合成信號和預測剩余信號連同基于最優化目標（208）和指示與剩余信號相關的預測方向的預測方向指示符由優化器（207）得出的預測信息（206）一起被編碼（209）并寫入（212）數據流（213）中。解碼器利用預測剩余信號、第一合成信號、預測方向指示符和預測信息得出解碼后的第一信道信號和解碼后的第二信道信號。在編碼器實例或解碼器實例中，實部-虛部轉換可應用于估計第一合成信號的頻譜的虛部。為計算在預測剩余信號的得出中使用的預測信號，實值第一合成信號乘以復預測信息的實部且第一合成信號的估計虛部乘以復預測信息的虛部。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及音頻或視頻處理，且具體地，涉及具有兩個以上信道信號的多信道信號的多信道音頻或視頻處理。
技術介紹
已知在多信道或立體聲處理領域中應用所謂的中/側(mid/side)立體聲編碼。在此概念中，形成了左或第一音頻信道信號與右或第二音頻信道信號的合成，以獲得中間或單信號M。此外，形成了左或第一信道信號與右或第二信道信號之間的差，以獲得側信號S。當左信號與右信號彼此非常相似時，由于側信號將變得非常小，所以該中/側編碼方法導致了顯著的編碼增益。通常，當要量化/熵編碼的值的范圍變得更小時，量化器/熵編碼器級的編碼增益將變得更高。因此，對于PCM或基于霍夫曼或算術熵編碼器，當側信號變得更小時，編碼增益增大。然而，存在中/側編碼將不會導致編碼增益的特定情況。該情況可能在兩個信道中的信號彼此例如相移90°時發生。則中信號和側信號可處于非常相似的范圍內，且因此，利用熵編碼器來編碼中信號和側信號將不會產生編碼增益且甚至可能產生增大的位率。因此，例如在側信號未相對于原始左信號變小到特定程度的情況下，可應用頻率選擇性的中/側編碼以停用頻帶中的中/側編碼。盡管當左右信號相同時側信號將變為零，但由于側信號消除而產生了最大編碼增益，當中信號與側信號關于波形形狀相同時，情況再次變得不同，但兩個信號之間唯一不同是它們的總振幅。在該情況下，當另外假定側信號與中信號無相移時，側信號顯著增大，盡管另一方面，中信號相對于其值的范圍不會減少那么多。當該情況發生在特定頻帶中時，則由于缺少編碼增益而將再次停用中/側編碼。中/側編碼可被頻率選擇性地應用或可替代性地應用在時域中。存在不依賴于與中/側編碼相同的波形方法類型而依賴于基于特定雙耳線索的參數處理的替代性多信道編碼技術。該技術被冠名為術語“雙耳線索編碼”、“參數立體聲編碼”或“MPEG環繞編碼”。這里，特定線索針對多個頻帶而計算。這些線索包括內信道量級差、內信道相干性測量、內信道時間差和/或內信道相差。這些方法從假定由聽眾感受到的多信道印象不必依賴于兩個信道的精細波形而是依賴于準確的頻率選擇性提供的線索或內信道信息開始。這意味著，在渲染機中，必須關注渲染準確反映線索的多信道信號，但波形不具決定性意義。該方法可能在解碼器必須應用解相關處理以人工產生彼此解相關的立體聲信號的情況下尤其復雜，盡管所有這些信道均源自一個和相同的下混信道。根據它們的實施，為此目的的解相關器復雜且可能引入偽差，尤其在瞬時信號部分的情況下。此外，相比波形編碼，參數編碼方法是有損編碼方法，其不可避免地導致由典型量化引入的以及通過聚焦于雙耳線索而非具體波形而引入的信息損失。該方法產生非常低的位率，但可能包括質量折衷。存在對圖7a所示的統一語音和音頻編碼(USAC)的新發展。核心解碼器700在輸入端701處執行編碼立體聲信號的解碼操作，該編碼立體聲信號可以是中/側編碼的。核心解碼器在線702上輸出中信號且在線703上輸出側或剩余(residual，余差)信號。兩個信號由QMF濾波器組704和705轉換到QMF域中。隨后，應用MPEG環繞解碼器706來生成左信道信號707和右信道信號708。這些低頻帶信號隨后被引入頻帶復制(SBR)解碼器709中，解碼器709在線710和711上生成寬帶左信號和右信號，寬帶左信號和右信號隨后由QMF合成濾波器組712、713轉換到時域中，從而獲得寬帶左右信號L、R0圖7b示出了 MPEG環繞解碼器706將執行中/側解碼的情況。可替代地，MPEG環繞解碼器塊706可執行基于雙耳線索的參數解碼以由單個單核解碼器信號生成立體聲信號。自然，MPEG環繞解碼器706也可使用諸如內信道量級差、內信道相干性測量或其他這種內信道信息參數的參數信息來生成多個低頻帶輸出信號，該多個低頻帶輸出信號將被輸入到SBR解碼器塊709中。當MPEG環繞解碼器塊706執行圖7b所示中/側解碼時，可應用實際增益因子g，且DMX/RES和L/R分別為在復混合QMF域中給出的下混/剩余和左/右信號。使用塊706與塊709的結合僅使計算復雜度相比用作基礎的立體聲解碼器小幅增力口，因為信號的復QMF表示已可用作SBR解碼器的一部分。然而，在非SBR配置中，由于該實例性64頻帶分析組和64頻帶合成組中將需要的必要QMF組，如USAC背景下提出的基于QMF的立體聲編碼將導致計算復雜度顯著增加。僅為立體聲編碼的目的，必須添加這些濾波器組。然而，在正處于開發中的MPEG USAC系統中，通常在未使用SBR時，也存在高位率的編碼模式。
技術實現思路
本專利技術的目的在于提供一種改善后的音頻或視頻處理概念，其一方面產生高編碼增益，且另一方面，產生良好音頻或視頻質量和/或減小的運算復雜度。該目的由根據權利要求1所述的音頻或視頻解碼器、根據權利要求13所述的音頻或視頻編碼器、根據權利要求19所述的音頻或視頻解碼方法、根據權利要求18所述的音頻或視頻編碼方法、根據權利要求19所述的計算機程序或根據權利要求20所述的編碼后的多信道音頻或視頻信號來實現。本專利技術依賴于高質量波形編碼方法的編碼增益可通過利用第一合成信號預測第二合成信號來顯著增強的研究成果，其中，利用合成規則(諸如中/側合成規則)，這兩個合成信號均源自于原始信號。已發現該預測信息由音頻或視頻編碼器中的預測器來計算，從而滿足最優化目標，僅產生很小開銷，但卻在不損失任何音頻或視頻質量的情況下使得側信號所需的位率顯著減小，因為本專利技術的預測終究是基于波形的編碼而非基于參數的立體聲或多信道編碼方法。為減小計算復雜性，優選執行頻域編碼，其中，預測信息以頻帶選擇方式源自于頻域輸入數據。用于將時域表示轉換成頻譜表示的轉換算法優選是臨界采樣過程(critically sampled process)(諸如修改后的離散余弦轉換(MDCT)或修改后的離散正弦轉換(MDST))，其與復轉換的不同之處在于僅計算實值或僅計算虛值，而在復轉換中，計算頻譜的實值和復值，產生2倍過采樣。此外，切換預測方向的概念實現了具有最少計算量的預測增益的增加。為此，編碼器確定指示與預測剩余信號相關聯的預測方向的預測方向指示符(prediction directionindicator)。在一種實施方式中，第一合成信號(諸如中信號)用于預測第二合成信號(諸如側信號)。當中信號的能量高于側信號的能量時，該方法是有用的。然而，當諸如側信號的第二合成信號的能量高于第一合成信號的能量時，即當側信號的能量高于中信號的能量時，則預測方向被逆轉且側信號用于預測中信號。在第一種情況下，即當中信號用于預測側信號時，中信號、剩余信號、預測信息和指示該預測方向的預測方向指示符從編碼器被發送至解碼器。在第二種情況下，當第二合成信號用于預測第一合成信號時，諸如當側信號用于預測中信號時，側信號(而非中信號)與剩余信號、預測信息和指示該逆轉方向的預測方向指示符一起被發送。該過程允許更好地屏蔽所產生的量化噪聲。對于在諸如側信道的第二合成信號中具有其大部分能量的信號，由側信號S來預測諸如中信號的第一合成信號允許量化噪聲的主要部分根據原始聲源而平移。這反過來又使得最終輸出信號中感知到更合適的誤差分布。該過程具有另一優勢它提供了有效多信道成對編碼，其在僅有兩個信道的情況下為本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2010.04.13 US 61/323,6831.一種用于解碼編碼后的多信道音頻或視頻信號(100)的音頻或視頻解碼器，所述編碼后的多信道音頻或視頻信號包括基于用于合成多信道音頻或視頻信號中的第一信道音頻或視頻信號與第二信道音頻或視頻信號的合成規則生成的編碼后的第一合成信號、編碼后的預測剩余信號和預測信息，所述音頻或視頻解碼器包括 信號解碼器(110)，其用于解碼所述編碼后的第一合成信號(104)以獲得解碼后的第一合成信號(112)，以及用于解碼所述編碼后的剩余信號(106)以獲得解碼后的剩余信號(114);以及解碼器計算器(116)，其用于利用所述解碼后的剩余信號(114)、所述預測信息(108)、所述解碼后的第一合成信號(112)和預測方向指示符(501)來計算具有解碼后的第一信道信號(117)和解碼后的第二信道信號(118)的解碼后的多信道信號，使得所述解碼后的第一信道信號(117)和所述解碼后的第二信道信號(118)至少是所述多信道信號的所述第一信道信號和所述第二信道信號的近似。2.根據權利要求1所述的音頻或視頻解碼器，其中，所述預測方向指示符(501)包括在所述編碼后的多信道信號中，且其中，所述音頻或視頻解碼器還包括用于提取所述預測方向指示符(501)以及用于將所述預測方向指示符轉發至所述解碼器計算器(116)的輸入接口(102)。3.根據權利要求1或2所述的音頻或視頻解碼器，其中，所述解碼器計算器(116)被配置為在所述預測方向指示符(501)的第一狀態的情況下利用第一計算規則(402)來計算所述解碼后的多信道信號，以及在所述預測方向指示符(501)的第二不同狀態的情況下利用第二不同計算規則(403 )來計算所述解碼后的多信道信號。4.根據權利要求3所述的音頻或視頻解碼器，其中，所述解碼后的第一合成信號包括中信號(M)，其中，所述第一計算規則(402)包括由所述解碼后的第一合成信號和所述解碼后的剩余信號對側信號(S)的計算；或者 其中，所述解碼后的第一合成信號包括側信號(S)，且其中，所述第二計算規則(403)包括由所述解碼后的第一合成信號和所述解碼后的剩余信號對中信號(M)的計算。5.根據權利要求3所述的音頻或視頻解碼器，其中，所述解碼后的第一合成信號包括中信號(M)，且其中，所述第一計算規則(402)包括利用所述中信號(M)、所述預測信息(α )和所述解碼后的剩余信號對所述解碼后的第一信道信號的計算以及對所述解碼后的第二信道信號的計算，而無需對所述側信號的顯式計算；或者 其中，所述解碼后的第一合成信號包括側信號(S)，且其中，所述第二計算規則(403)包括利用所述側信號(S)、所述預測信息(α )和所述解碼后的剩余信號對所述解碼后的第一信道信號的計算以及對所述解碼后的第二信道信號的計算，而無需對所述中信號的顯式計算。6.根據權利要求1至5中任一項所述的音頻或視頻解碼器，其中，所述解碼器計算器被配置為利用所述預測信息(108)，其中，所述預測信息(108)包括異于零的實值部和/或異于零的虛部。7.根據前述權利要求中任一項所述的音頻或視頻解碼器，其中，所述解碼器計算器(116)包括 預測器(1160)，其用于將所述預測信息(108)應用于所述解碼后的第一合成信號(112)或源自所述解碼后的第一合成信號的信號(601)以獲得預測信號(1163)；合成信號計算器(1161)，其用于通過合成所述解碼后的剩余信號(114)與所述預測信號(1163)來計算第二合成信號(1165)；以及 合成器(1162),其用于合成所述解碼后的第一合成信號(112)與所述第二合成信號(1165)以獲得具有所述解碼后的第一信道信號(117)和所述解碼后的第二信道信號(118)的解碼后的多信道音頻或視頻信號， 其中，在所述預測方向指示符(501)的第一狀態的情況下，所述第一合成信號為和信號，以及所述第二合成信號為差信號，或者 其中，在所述預測方向指示符(501)的第二狀態的情況下，所述第一合成信號為差信號，以及所述第二合成信號為和信號。8.根據權利要求1至7中任一項所述的音頻或視頻解碼器， 其中，所述編碼后的第一合成信號(104)和所述編碼后的剩余信號(106)已利用生成時間-頻譜轉換的混疊來生成， 其中，所述解碼器還包括 頻譜-時間轉換器(52、53)，其用于利用與時間-頻譜轉換算法相匹配的頻譜-時間轉換算法來生成時域第一信道信號和時域第二信道信號； 交疊/相加處理器(522)，其用于對所述時域第一信道信號和對所述時域第二信道信號進行交疊-相加處理以獲得無混疊第一時域信號和無混疊第二時域信號。9.根據前述權利要求中任一項所述的音頻或視頻解碼器，其中，所述預測信息(108)包括異于零的實值因子， 其中，所述預測器(1160)被配置為將所述解碼后的第一合成信號乘以所述實數因子以獲得所述預測信號的第一部分，以及 其中，所述合成信號計算器被配置為線性合成所述解碼后的剩余信號與所述預測信號的所述第一部分。10.根據前述權利要求中任一項所述的音頻或視頻解碼器，其中，所述預測信息(108)包括異于零的虛數因子， 其中，所述預測器(1160)被配置為利用所述解碼后的第一合成信號(112)的實值部來估計(1160a)所述解碼后的第一合成信號(112)的虛部， 其中，所述預測器(1160)被配置為將所述解碼后的第一合成信號的虛部(601)乘以所述預測信息(108)的虛數因子以獲得所述預測信號的第二部分；以及 其中，所述合成信號計算器(1161)被配置為線性合成所述預測信號的所述第一部分以及所述預測信號的所述第二部分與所述解碼后的剩余信號以獲得第二合成信號(1165)。11.根據權利要求7所述的音頻或視頻解碼器， 其中，所述預測器(1160)被配置為利用線性濾波器(1004、1005、1006、1007)來對至少兩個時間相繼的幀濾波，其中，所述兩個時間相繼的幀中的一個幀在所述第一合成信號的當前幀之前或之后，以獲得所述第一合成信號的當前幀的估計的虛部。12.根據權利要求7所述的音頻或視頻解碼器， 其中，所述解碼后的第一合成信號包括實值信號幀序列，以及其中，所述預測器(1160)被配置為利用僅當前實值信號幀，或者利用所述當前實值信號幀和僅一個以上之前實值信號幀或僅一個以上后續實值信號幀，...

【專利技術屬性】
技術研發人員：朱利安·羅比利亞德，馬蒂亞斯·紐辛格，克里斯蒂安·赫爾姆里希，約翰內斯·希爾珀特，尼古勞斯·雷特爾巴赫，薩沙·迪施，貝恩德·埃德勒，
申請(專利權)人：弗蘭霍菲爾運輸應用研究公司，
類型：
國別省市：