【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】
本專利技術(shù)涉及視頻編解碼系統(tǒng)。具體地，本專利技術(shù)涉及混合兩種幀內(nèi)預(yù)測模式以及信號編解碼模式和/或混合權(quán)重以用于改善編碼性能。
技術(shù)介紹
1、通用視頻編碼(vvc)是由itu-t視頻編碼專家組(vceg)的聯(lián)合視頻專家組(jvet)和iso/iec運動圖像專家組(mpeg)共同制定的最新國際視頻編碼標準，該標準已作為iso標準發(fā)布：iso/iec?23090-3：2021，信息技術(shù)-沉浸式媒體的編碼表示-第3部分：通用視頻編碼，2021年2月發(fā)布。vvc是在其前身hevc(high?efficiency?video?coding)通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括3維(3d)視頻信號。
2、圖1a說明了包含循環(huán)處理的示例性自適應(yīng)幀間/幀內(nèi)視頻編碼系統(tǒng)。對于幀內(nèi)預(yù)測，預(yù)測數(shù)據(jù)是根據(jù)當前圖片中先前編碼的視頻數(shù)據(jù)導(dǎo)出的。對于幀間預(yù)測112，在編碼器側(cè)執(zhí)行運動估計(me)并且基于me的結(jié)果執(zhí)行運動補償(mc)以提供從其他圖片和運動數(shù)據(jù)導(dǎo)出的預(yù)測數(shù)據(jù)。開關(guān)114選擇幀內(nèi)預(yù)測110或幀間預(yù)測112并且所選擇的預(yù)測數(shù)據(jù)被提供給加法器116以形成預(yù)測誤差，也稱為殘差。預(yù)測誤差然后由變換(t)118和隨后的量化(q)120處理。變換和量化的殘差然后由熵編碼器122編碼以包括在對應(yīng)于壓縮視頻數(shù)據(jù)的視頻比特流中。與變換系數(shù)相關(guān)聯(lián)的比特流然后與輔助信息(例如與幀內(nèi)預(yù)測和幀間預(yù)測相關(guān)聯(lián)的運動和編碼模式)以及其他信息(例如與應(yīng)用于底層圖像區(qū)域的環(huán)路濾波器相關(guān)聯(lián)的參數(shù))一起打包。與幀內(nèi)預(yù)測110、幀間預(yù)測11
3、如圖1a所示，輸入的視頻數(shù)據(jù)在編碼系統(tǒng)中經(jīng)過一系列處理。由于一系列處理，來自rec128的重建視頻數(shù)據(jù)可能會受到各種損害。因此，環(huán)路濾波器130經(jīng)常在重構(gòu)視頻數(shù)據(jù)被存儲在參考圖片緩沖器134中之前應(yīng)用于重構(gòu)視頻數(shù)據(jù)以提高視頻質(zhì)量。例如，可以使用去塊濾波器(df)、樣本自適應(yīng)偏移(sao)和自適應(yīng)環(huán)路濾波器(alf)。可能需要將環(huán)路濾波器信息合并到比特流中，以便解碼器可以正確地恢復(fù)所需的信息。因此，環(huán)路濾波器信息也被提供給熵編碼器122以合并到比特流中。圖1a中，環(huán)路濾波器130在重構(gòu)樣本被存儲在參考圖片緩沖器134中之前被應(yīng)用于重構(gòu)視頻。圖1a中的系統(tǒng)旨在說明典型視頻編碼器的示例性結(jié)構(gòu)。它可能對應(yīng)于高效視頻編碼(hevc)系統(tǒng)、vp8、vp9、h.264或vvc。
4、如圖1b所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。替代熵編碼器122，解碼器使用熵解碼器140將視頻比特流解碼為量化的變換系數(shù)和所需的編碼信息(例如ilpf信息、幀內(nèi)預(yù)測信息和幀間預(yù)測信息)。解碼器側(cè)的幀內(nèi)預(yù)測150不需要執(zhí)行模式搜索。相反，解碼器僅需要根據(jù)從熵解碼器140接收的幀內(nèi)預(yù)測信息生成幀內(nèi)預(yù)測。此外，對于幀間預(yù)測，解碼器僅需要根據(jù)從熵解碼器140接收的幀間預(yù)測信息執(zhí)行運動補償(mc152)而無需運動估計。
5、根據(jù)vvc，類似于hevc，輸入圖片被劃分為稱為ctu(編碼樹單元)的非重迭方形塊區(qū)域。每個ctu都可以劃分為一個或多個較小尺寸的編碼單元(cu)。生成的cu分區(qū)可以是正方形或矩形。此外，vvc將ctu劃分為預(yù)測單元(pu)，作為應(yīng)用預(yù)測過程的單元，例如幀間預(yù)測、幀內(nèi)預(yù)測等。
6、vvc標準合并了各種新的編碼工具以進一步提高超過hevc標準的編碼效率。例如，為了減少跨分量冗余，在vvc中使用跨分量線性模型(cclm)預(yù)測模式，其中使用線性模型基于相同cu的重建亮度樣本預(yù)測色度樣本。此外，在下一代視頻編碼的持續(xù)發(fā)展過程中，已經(jīng)公開了更多新的編碼工具，例如混合多種預(yù)測模式。在本專利技術(shù)中，揭露了用于混合兩種幀內(nèi)預(yù)測模式的方法和裝置，其中至少一種模式與跨分量預(yù)測模式(例如cclm或任何其他類型的跨分量預(yù)測模式)相關(guān)，以改善編碼性能。
技術(shù)實現(xiàn)思路
1、公開了一種用于視頻編解碼的方法和裝置。根據(jù)該方法，接收與包括第一顏色塊和第二顏色塊的當前塊相關(guān)聯(lián)的輸入數(shù)據(jù)，其中輸入數(shù)據(jù)包括用于在編碼器側(cè)待編碼的當前塊的像素數(shù)據(jù)或與解碼器側(cè)要解碼的當前塊相關(guān)的已編碼數(shù)據(jù)。從第一幀內(nèi)預(yù)測候選集合確定第一預(yù)測子，其中第一預(yù)測子提供針對第二顏色塊的第一預(yù)測。從第二幀內(nèi)預(yù)測候選集合確定第二預(yù)測子，其中第二預(yù)測子提供第二顏色塊的第二預(yù)測。使用跨分量模型基于第一顏色塊導(dǎo)出第一預(yù)測子和第二預(yù)測子中的至少一個。透過混合第一預(yù)測子和第二預(yù)測子來產(chǎn)生最終預(yù)測子。透過使用包含最終預(yù)測子的預(yù)測數(shù)據(jù)來對第二顏色塊進行編碼或解碼。
2、在一個實施例中，第一顏色塊對應(yīng)于亮度塊或色度塊，且第二顏色塊對應(yīng)于當前塊的一個剩余顏色分量塊。
3、在一個實施例中，第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合包括一個或多個跨顏色預(yù)測(ccp)模式，其中所述一個或多個ccp模式基于在另一個顏色分量塊獲得當前顏色分量塊的預(yù)測。在一個實施例中，所述一種或多種ccp模式包括一種或多種cclm類型、一種或多種mmlm類型、一種或多種glm類型、一種或多種cccm類型或其任意組合。cclm類型可以對應(yīng)cclm_lt、cclm_l、cclm_t或其任意組合。mmlm類型可以對應(yīng)mmlm_lt、mmlm_l、mmlm_t或其任意組合。cccm類型可以對應(yīng)于一種使用不同卷積濾波器形狀的cccm模型、一種使用非下采樣樣本的cccm模型、一種具有多個下采樣濾波器的cccm模型、一種混合cccm模型、一種利用不同數(shù)量的參考線所導(dǎo)出的cccm模型、一種使用不同位置的模板所導(dǎo)出的cccm模型或其任意組合。
4、在一個實施例中，透過從第一幀內(nèi)預(yù)測候選集合排除第一預(yù)測子產(chǎn)生第二幀內(nèi)預(yù)測候選集合。
5、在一個實施例中，基于與第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中的成員候選相關(guān)聯(lián)的timd成本，分別從第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中選擇第一預(yù)測子或第二預(yù)測子。在一個實施例中，隱含選擇具有最小timd成本的目標成員候選作為第一預(yù)測子或第二預(yù)測子。在另一實施例中，產(chǎn)生包括具有最小timd成本的k個候選的列表，并且在比特流中以信號發(fā)送索引或從比特流解析索引以指示從列表中選擇的第一預(yù)測子或第二預(yù)測子，并且其中k是小于第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中的候選總數(shù)的整數(shù)。
6、在一個實施例中，第一預(yù)測子或第二預(yù)測子分別從第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中選擇。第一預(yù)測子或第二預(yù)測子是根據(jù)比特流中用信號通知的或從比特流解析的索引來決定的。
7、在本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種彩色圖片的視頻編解碼方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一顏色塊對應(yīng)于亮度塊或色度塊，并且所述第二顏色塊對應(yīng)于當前塊的一個剩余顏色分量塊。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一幀內(nèi)預(yù)測候選集或所述第二幀內(nèi)預(yù)測候選集包括一個或多個跨顏色預(yù)測(CCP)模式，其中所述一個或多個CCP模式基于一個顏色分量塊導(dǎo)出針對另一個顏色分量塊的預(yù)測。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述一種或多種CCP模式包括一種或多種CCLM類型、一種或多種MMLM類型、一種或多種GLM類型、一種或多種CCCM類型或其任意組合。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述一種或多種CCLM類型對應(yīng)于CCLM_LT、CCLM_L、CCLM_T或其任意組合。
6.根據(jù)權(quán)利要求4所述的方法，其中所述一種或多種MMLM類型對應(yīng)于MMLM_LT、MMLM_L、MMLM_T或其任意組合。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述一種或多種CCCM類型對應(yīng)于一種使用不同卷積濾波器形
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，透過從所述第一幀內(nèi)預(yù)測候選集合排除所述第一預(yù)測子產(chǎn)生所述第二幀內(nèi)預(yù)測候選集合。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于與所述第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中的成員候選相關(guān)聯(lián)的TIMD成本分別從所述第一幀內(nèi)預(yù)測候選集合或所述第二幀內(nèi)預(yù)測候選集合中選擇所述第一預(yù)測子或所述第二預(yù)測子。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，隱含地選擇具有最小TIMD成本的目標成員候選作為所述第一預(yù)測子或所述第二預(yù)測子。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，產(chǎn)生包括具有最小TIMD成本的k個候選的列表，并且在比特流中用信號發(fā)送索引或從所述比特流解析索引以指示從所述列表中選擇的第一預(yù)測子或第二預(yù)測子，且其中k是小于第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中的候選總數(shù)的整數(shù)。
12.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一預(yù)測子或所述第二預(yù)測子是根據(jù)在比特流中用信號通知的或從所述比特流解析的索引來確定的。
13.根據(jù)權(quán)利要求1所述的方法，其特征在于，在比特流中用信號發(fā)送所述當前塊的標志或從所述比特流解析當前塊的標志以指示是否確定所述當前塊的第一預(yù)測子、第二預(yù)測子和最終預(yù)測子以及是否透過使用包括最終預(yù)測子的預(yù)測數(shù)據(jù)來編碼或解碼所述當前塊。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，在CU層級、PU層級或CTU層級以信號發(fā)送或解析所述標志。
15.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一幀內(nèi)預(yù)測候選集合由CCLM_LT、CCLM_L和CCLM_T組成，并且所述第二幀內(nèi)預(yù)測候選集合由MMLM_LT、MMLM_L和MMLM_T組成。
16.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述最終預(yù)測子對應(yīng)于所述第一預(yù)測子和所述第二預(yù)測子的加權(quán)和。
17.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述加權(quán)和的權(quán)重對應(yīng)于α和(1-α)，并且其中0＜α＜1。
18.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述加權(quán)和的權(quán)重對應(yīng)于w1和w2，并且其中w1＞0，w2＞0，并且w1+w2＝1。
19.根據(jù)權(quán)利要求18所述的方法，其特征在于，所述權(quán)重是基于第一預(yù)測子TIMD成本和第二預(yù)測子TIMD成本來確定的。
20.根據(jù)權(quán)利要求19所述的方法，其特征在于，w1等于(第一預(yù)測子TIMD成本/(第一預(yù)測子TIMD成本+第二預(yù)測子TIMD成本))，且w2等于(第二預(yù)測子TIMD成本)/(第一預(yù)測子TIMD成本+第二預(yù)測子TIMD成本))。
21.一種用于視頻編解碼的裝置，所述裝置包括一個或多個電子裝置或處理器，其被配置為：
...【技術(shù)特征摘要】
【國外來華專利技術(shù)】
1.一種彩色圖片的視頻編解碼方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一顏色塊對應(yīng)于亮度塊或色度塊，并且所述第二顏色塊對應(yīng)于當前塊的一個剩余顏色分量塊。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一幀內(nèi)預(yù)測候選集或所述第二幀內(nèi)預(yù)測候選集包括一個或多個跨顏色預(yù)測(ccp)模式，其中所述一個或多個ccp模式基于一個顏色分量塊導(dǎo)出針對另一個顏色分量塊的預(yù)測。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述一種或多種ccp模式包括一種或多種cclm類型、一種或多種mmlm類型、一種或多種glm類型、一種或多種cccm類型或其任意組合。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述一種或多種cclm類型對應(yīng)于cclm_lt、cclm_l、cclm_t或其任意組合。
6.根據(jù)權(quán)利要求4所述的方法，其中所述一種或多種mmlm類型對應(yīng)于mmlm_lt、mmlm_l、mmlm_t或其任意組合。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述一種或多種cccm類型對應(yīng)于一種使用不同卷積濾波器形狀的cccm模型、一種使用非下采樣樣本的cccm模型、一種具有多個下采樣濾波器的cccm模型、一種混合cccm模型、利用不同數(shù)量的參考線導(dǎo)出的一種cccm模型、利用不同位置的模板導(dǎo)出的一種cccm模型、或其任意組合。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，透過從所述第一幀內(nèi)預(yù)測候選集合排除所述第一預(yù)測子產(chǎn)生所述第二幀內(nèi)預(yù)測候選集合。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于與所述第一幀內(nèi)預(yù)測候選集合或第二幀內(nèi)預(yù)測候選集合中的成員候選相關(guān)聯(lián)的timd成本分別從所述第一幀內(nèi)預(yù)測候選集合或所述第二幀內(nèi)預(yù)測候選集合中選擇所述第一預(yù)測子或所述第二預(yù)測子。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，隱含地選擇具有最小timd成本的目標成員候選作為所述第一預(yù)測子或所述第二預(yù)測子。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，產(chǎn)生包括具...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾馨儀，江嫚書，徐志瑋，
申請(專利權(quán))人：聯(lián)發(fā)科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。