【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及視頻編解碼系統。更具體地，本專利技術涉及在視頻編解碼系統中使用模版匹配成本確定幀間模式方向。
技術介紹
1、通用視頻編解碼(versatile?video?coding，簡寫為vvc)是由itu-t視頻編解碼專家組(vceg)和iso/iec運動圖像專家組(mpeg)的聯合視頻專家組(jve?t)共同制定的最新國際視頻編解碼標準。該標準已作為iso標準發布：is?o/iec?23090-3:2021，informationtechnology-coded?representation?of?immersive?media-part?3:versatile?videocoding，2021年2月發布。vvc是在其前身hevc(high?efficiency?video?coding)的基礎上通過添加更多的編解碼工具來提高編解碼效率，也可以處理各種類型的視頻源，包括3維(3-dimensional，簡寫為3d)視頻信號。
2、圖1a說明了包含環路處理(loop?processing)的示例性自適應幀間/幀內(adaptive?inter/intra)視頻編碼系統。對于幀內預測，預測數據是根據當前圖片中先前編解碼的視頻數據導出的。對于幀間預測112，在編碼器側執行運動估計(motionestimation，簡寫為me)并且基于me的結果執行運動補償(motion?compensation，簡寫為mc)以提供從其他圖片和運動數據導出的預測數據。開關114選擇幀內預測110或幀間預測112并且所選擇的預測數據被提
3、如圖1a所示，輸入的視頻數據在編碼系統中經過一系列處理。由于一系列處理，來自rec?128的重建的視頻數據可能會受到各種損害。因此，環路濾波器130經常在重建的視頻數據被存儲在參考圖片緩沖器134中之前應用于重建的視頻數據以提高視頻品質。例如，可以使用去塊濾波器(debl?ocking?filter，簡寫為df)、樣本自適應偏移(sampleadaptive?offset，簡寫為sao)和自適應環路濾波器(adaptive?loop?filter，簡寫為alf)?？赡苄枰獙h路濾波器信息合并到比特流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合并到比特流中。在圖1a中，在重建的樣本被存儲在參考圖片緩沖器134中之前環路濾波器130被應用于重建的視頻。圖1a中的系統旨在說明典型的視頻編碼器的示例性結構。它可以對應于高效視頻編解碼(hevc)系統、vp8、vp9、h.264、vvc，或其他任意視頻編解碼標準。
4、如圖1b所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。取代熵編碼器122，解碼器使用熵解碼器140將視頻比特流解碼為量化的變換系數和所需的編解碼信息(例如ilpf信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對于幀間預測，解碼器僅需要根據從熵解碼器接收的幀間預測信息執行運動補償(mc?152)140而無需運動估計。
5、根據vvc，類似于hevc，輸入圖片被分區(partition)為稱為ctu(編解碼樹單元)的非重疊方形塊區域(non-overlapped?square?block?region)。每個ctu都可以劃分為一個或多個較小尺寸的編解碼單元(cu)。生成的cu分區可以是正方形或長方形。此外，vvc將ctu劃分為預測單元(p?u)，作為應用預測處理(例如幀間預測、幀內預測等)的單元。
6、vvc標準合并了各種新的編解碼工具以進一步提高超過hevc標準的編解碼效率。在各種新的編解碼工具中，下面簡要說明了這些編解碼工具中與本專利技術相關的一些。
7、幀間預測概述
8、根據jvet-t2002第3.4節(jianle?chen,et.al.,“algorithm?descriptio?n?forversatile?video?coding?and?test?model?11(vtm?11)”,joint?vid?eo?experts?team(jvet)of?itu-t?sg?16wp?3and?iso/iec?jtc?1/sc?29,20th?meeting,byteleconference,7–16october?2020,documen?t:jvet-t2002),對于每個幀間預測cu，由運動向量，參考圖片索引和參考圖片列表使用索引組成的運動參數以及額外信息被用于幀間預測樣本的生成。運動參數可以顯式或隱式方式發送。當cu以跳過模式進行編解碼時，c?u與一個pu相關聯以及沒有顯著的殘差系數，沒有被編解碼的運動向量增量或參考圖片索引。合并模式指當前cu的運動參數是從相鄰cu獲得的，包括空間和時間候選，以及vvc中引入的額外排程。合并模式可被用于任一幀間預測的cu。合并模式的可選方案是運動參數的顯式傳輸，其中每個cu的運動向量，每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標志以及其他所需信息被顯式地發送。
9、除了hevc中的幀間編解碼功能之外，vvc還包括許多新的和改進的幀間預測編解碼工具，如下所列：
10、—擴展的合并預測
11、—具有mvd的合并模式(merge?mode?with?mvd，簡稱mmvd)
12、—對稱mvd(symmetric?mvd，簡稱smvd)發送
13、—仿射運動補償預測
14、—基于子塊的時間運動模式預測(subblock-based?temporal?motion?vectorprediction，簡稱sbtmvp)
15、—適應性運動向量解析度(adaptive?motion?vector?resolution，簡稱amvr)—運動場存儲：1/16亮度樣本mv存儲和8x8運動場壓縮
16、本文檔來自技高網...
【技術保護點】
1.一種視頻編解碼方法，該方法包括：
2.根據權利要求1所述的方法，其特征在于，計算混合模板和該當前模板之間的雙向預測匹配成本，并且其中通過混合該第一模板和該第二模板來導出該混合模板。
3.根據權利要求2所述的方法，其特征在于，該雙向預測匹配成本、L0匹配成本和L1匹配成本是根據絕對差和或平方差和計算的。
4.根據權利要求2所述的方法，其特征在于，以小于1的因子對該雙向預測匹配成本進行加權，以用于該L0匹配成本、該L1匹配成本和該雙向預測匹配成本之間的匹配成本比較。
5.根據權利要求2所述的方法，其特征在于，基于每個樣本為該當前塊確定該MVP候選的該幀間方向。
6.根據權利要求5所述的方法，其特征在于，如果目標樣本的對應的L0參考樣本與該目標樣本的對應的L1參考樣本之間的差值大于閾值，則該當前塊中的該模版樣本是從該雙向預測改變為單向預測的候選。
7.根據權利要求6所述的方法，其特征在于，如果該L0匹配成本是該L0匹配成本、該L1匹配成本和該雙向預測匹配成本中最小的一個，則將該目標樣本更改為該L0單向預測，或者
8.根據權利要求6所述的方法，其特征在于，如果該雙向預測匹配成本是該L0匹配成本、該L1匹配成本和該雙向預測匹配成本中最小的一個，則該目標樣本保持使用該雙向預測。
9.根據權利要求6所述的方法，其特征在于，該閾值是固定的或根據一組候選閾值確定。
10.根據權利要求6所述的方法，其特征在于，針對該當前塊自適應地確定該閾值。
11.根據權利要求10所述的方法，其特征在于，基于針對一組候選閾值中的每一個計算的該L0匹配成本、該L1匹配成本和該雙向預測匹配成本，從該組候選閾值中自適應地選擇該閾值，且該閾值對應于在該組候選閾值中實現最低匹配成本的目標候選閾值。
12.根據權利要求10所述的方法，其特征在于，該閾值是基于與一組候選閾值中的每一個相關聯的增量數從該組候選閾值中自適應地選擇的，并且該增量數被計算為從L0預測子和L1預測子之間的絕對差值小于當前候選閾值的當前樣本總數到L0預測子和L1預測子之間的絕對差值小于下一候選閾值的下一樣本總數的增量，該閾值對應于該組候選閾值中增量數最大的目標候選閾值。
13.根據權利要求12所述的方法，其特征在于，分別針對該當前模板、該第一模板和該第二模板計算與該組候選閾值中的每一個相關聯的該增量數，以確定該當前模板、該第一模板和該第二模板的三個對應閾值，并且如果該三個對應閾值相同，則應用所述基于包括該L0匹配成本和該L1匹配成本的第一信息來確定該當前塊的該MVP候選的該幀間方向；如果該三個對應閾值不相同，則不應用所述基于包括該L0匹配成本和該L1匹配成本的第一信息來確定該當前塊的該MVP候選的該幀間方向。
14.根據權利要求6所述的方法，其特征在于，該閾值取決于該當前塊的量化參數、該當前塊的塊大小、該當前塊的一個或多個模板匹配成本、該當前塊中對應的L0和L1參考樣本之間的差異落在各自閾值區間內的樣本數量，或其結合。
15.根據權利要求6所述的方法，其特征在于，該當前塊的量化參數越小，該閾值設定為越小的值。
16.根據權利要求6所述的方法，其特征在于，透過雙向光流或多通道解碼器側運動向量細化來處理該當前塊。
17.根據權利要求6所述的方法，其特征在于，該當前塊的該MVP候選對應于幀間AMVP候選、幀間合并候選、仿射AMVP候選、仿射合并候選、或基于子塊的時間運動向量預測候選。
18.根據權利要求6所述的方法，其特征在于，該當前塊對應于亮度塊或色度塊。
19.根據權利要求18所述的方法，其特征在于，該閾值在該亮度塊與該色度塊之間不同。
20.根據權利要求6所述的方法，其特征在于，計算使用基于每樣本的幀間方向確定和不使用該基于每個樣本的幀間方向確定的該當前塊的速率失真成本，以決定是否對該當前塊應用基于該每個樣本的幀間方向確定。
21.根據權利要求20所述的方法，其特征在于，計算三個RD成本，并且針對該當前塊選擇關于是否使用該基于每個樣本的幀間方向的決定以及與最小RD成本相關聯的相應幀間方向，并且其中第一RD成本對應于使用該雙向預測對該當前塊進行編解碼，第二RD成本和第三RD成本分別對應于針對該當前塊中對應的L0和L1參考樣本之間的差異大于閾值的樣本使用該L0單向預測和該L1單向預測編解碼該當前塊。
22.根據權利要求21所述的方法，...
【技術特征摘要】
【國外來華專利技術】
1.一種視頻編解碼方法，該方法包括：
2.根據權利要求1所述的方法，其特征在于，計算混合模板和該當前模板之間的雙向預測匹配成本，并且其中通過混合該第一模板和該第二模板來導出該混合模板。
3.根據權利要求2所述的方法，其特征在于，該雙向預測匹配成本、l0匹配成本和l1匹配成本是根據絕對差和或平方差和計算的。
4.根據權利要求2所述的方法，其特征在于，以小于1的因子對該雙向預測匹配成本進行加權，以用于該l0匹配成本、該l1匹配成本和該雙向預測匹配成本之間的匹配成本比較。
5.根據權利要求2所述的方法，其特征在于，基于每個樣本為該當前塊確定該mvp候選的該幀間方向。
6.根據權利要求5所述的方法，其特征在于，如果目標樣本的對應的l0參考樣本與該目標樣本的對應的l1參考樣本之間的差值大于閾值，則該當前塊中的該模版樣本是從該雙向預測改變為單向預測的候選。
7.根據權利要求6所述的方法，其特征在于，如果該l0匹配成本是該l0匹配成本、該l1匹配成本和該雙向預測匹配成本中最小的一個，則將該目標樣本更改為該l0單向預測，或者如果該l1匹配成本是該l0匹配成本、該l1匹配成本和該雙向預測匹配成本中最小的一個，則將該目標樣本更改為該l1單向預測。
8.根據權利要求6所述的方法，其特征在于，如果該雙向預測匹配成本是該l0匹配成本、該l1匹配成本和該雙向預測匹配成本中最小的一個，則該目標樣本保持使用該雙向預測。
9.根據權利要求6所述的方法，其特征在于，該閾值是固定的或根據一組候選閾值確定。
10.根據權利要求6所述的方法，其特征在于，針對該當前塊自適應地確定該閾值。
11.根據權利要求10所述的方法，其特征在于，基于針對一組候選閾值中的每一個計算的該l0匹配成本、該l1匹配成本和該雙向預測匹配成本，從該組候選閾值中自適應地選擇該閾值，且該閾值對應于在該組候選閾值中實現最低匹配成本的目標候選閾值。
12.根據權利要求10所述的方法，其特征在于，該閾值是基于與一組候選閾值中的每一個相關聯的增量數從該組候選閾值中自適應地選擇的，并且該增量數被計算為從l0預測子和l1預測子之間的絕對差值小于當前候選閾值的當前樣本總數到l0預測子和l1預測子之間的絕對差值小于下一候選閾值的下一樣本總數的增量，該閾值對應于該組候選閾值中增量數最大的目標候選閾值。
13.根據權利要求12所述的方法，其特征在于，分別針對該當前模板、該第一模板和該第二模板計算與該組候選閾值中的每一個相關聯的該增量數，以確定該當前模板、該第一模板和該第二模板的三個對應閾值，并且如果該三個對應閾值相同，則應用所述基于包括該l0匹配成本和該l1匹配成本的第一信息來確定該當前塊的該mvp候選的該幀間方向；如果該三個對應閾值不相同，則不應用所述基于包括該l0匹配成本和該...
【專利技術屬性】
技術研發人員：羅志軒，莊子德，陳慶曄，徐志瑋，
申請(專利權)人：聯發科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。