【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】
本公開總體上涉及圖像。更具體地，本專利技術(shù)的實施例涉及用于圖像和視頻編碼的神經(jīng)網(wǎng)絡(luò)中的多層級潛在融合。
技術(shù)介紹
1、2020年，國際標(biāo)準(zhǔn)化組織(iso)的mpeg小組與國際電信聯(lián)盟(itu)聯(lián)合發(fā)布了第一版通用視頻編碼標(biāo)準(zhǔn)(vvc)，也稱為h.266。最近，該聯(lián)合小組(jvet)和靜態(tài)圖像壓縮(jpeg)專家開始致力于開發(fā)下一代編碼標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)將提供比現(xiàn)有圖像和視頻編碼技術(shù)更高的編碼性能。作為這項研究的一部分，還研究了基于人工智能和深度學(xué)習(xí)的編碼技術(shù)。這里使用的術(shù)語“深度學(xué)習(xí)”指的是具有至少三層、優(yōu)選多于三層的神經(jīng)網(wǎng)絡(luò)。
2、如專利技術(shù)人所理解的，本文描述了基于神經(jīng)網(wǎng)絡(luò)的用于圖像和視頻編碼的改進(jìn)技術(shù)。
3、在本部分中描述的方法是可追尋的方法，但未必是以前構(gòu)想或追尋的方法。因此，除非另外指示，否則，不應(yīng)僅通過包含于本部分中而假定在本部分中描述的方法中的任一個為現(xiàn)有技術(shù)。類似地，除非另外指示，否則，關(guān)于一個或更多個方法識別的問題不應(yīng)基于本部分而假定在任何現(xiàn)有技術(shù)中已被識別。
技術(shù)實現(xiàn)思路
0、概述
1、本文描述的示例實施例涉及使用神經(jīng)網(wǎng)絡(luò)的圖像和視頻編碼。在一個實施例中，處理器接收要使用潛在特征被壓縮的具有輸入空間分辨率的輸入圖像。接下來，處理器:
2、使用多個連續(xù)層級的卷積網(wǎng)絡(luò)來處理輸入圖像，以生成潛在數(shù)據(jù)的融合輸出，其中對于多個卷積網(wǎng)絡(luò)中的每個網(wǎng)絡(luò)層級，其輸出具有比其輸入低的空間分辨率；
3、量化潛在數(shù)據(jù)的融合輸出以生成
4、將算術(shù)編碼應(yīng)用于量化后的融合潛在數(shù)據(jù)以生成編碼的融合潛在數(shù)據(jù)，其中
5、生成潛在數(shù)據(jù)的融合輸出還包括:
6、從多個連續(xù)層級的卷積網(wǎng)絡(luò)中的兩個或更多個卷積網(wǎng)絡(luò)中選擇潛在輸出；以及
7、融合所選擇的潛在輸出以生成潛在數(shù)據(jù)的融合輸出。
8、在另一個實施例中，處理器接收要使用潛在特征被壓縮的具有輸入空間分辨率的輸入圖像。接下來，處理器:
9、使用多個連續(xù)層級的卷積網(wǎng)絡(luò)處理輸入圖像，以生成潛在數(shù)據(jù)的一個或多個融合輸出，其中對于多個卷積網(wǎng)絡(luò)中的每個層級網(wǎng)絡(luò)，其輸出具有比其輸入低的空間分辨率；
10、選擇具有l(wèi)1輸出的潛在數(shù)據(jù)層級l1和具有l(wèi)2輸出的潛在數(shù)據(jù)層級l2，其中層級l2在層級l1之后；
11、通過提升(upscale)l2輸出以匹配l1輸出的空間分辨率來生成提升后的層級l2輸出；
12、組合提升后的l2輸出和l1輸出以生成融合l1輸出；
13、量化和編碼融合l1輸出以生成融合編碼l1輸出；以及
14、量化和編碼l2輸出以產(chǎn)生編碼的l2輸出。
15、示例性端到端視頻編碼模型
16、基于深度學(xué)習(xí)的圖像和視頻壓縮方法越來越流行，這是一個活躍的研究領(lǐng)域。大多數(shù)流行的方法都是基于采用卷積神經(jīng)網(wǎng)絡(luò)(cnn)的變分自動編碼器，這些卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)集上被端到端地訓(xùn)練。圖1描繪了使用四層架構(gòu)對潛在特征進(jìn)行編碼和解碼的方案(參考文獻(xiàn)[1-2],[6])的處理流水線(100)的示例。
17、如本文所用，術(shù)語“潛在特征”或“潛在變量”表示如下的特征或變量，其不可直接觀察到，但是可從其他可觀察到的特征或變量推斷出，例如通過對可直接觀察到的變量而進(jìn)行處理。在圖像和視頻編碼中，術(shù)語“潛在空間”可以指被壓縮數(shù)據(jù)的表示，其中相似的數(shù)據(jù)點(diǎn)靠得更近。在視頻編碼中，潛在特征的示例包括變換系數(shù)的表示、殘差、運(yùn)動表示、語法元素、模型信息等。在神經(jīng)網(wǎng)絡(luò)的背景下，潛在空間對于學(xué)習(xí)數(shù)據(jù)特征和找到用于分析的圖像數(shù)據(jù)的更簡單表示是有用的。
18、如圖1所示，在編碼器(100e)中，給定具有輸入h×w分辨率的輸入圖像x(102)，輸入圖像由一系列卷積神經(jīng)網(wǎng)絡(luò)塊(也稱為卷積網(wǎng)絡(luò)或卷積塊)進(jìn)行處理，每個卷積神經(jīng)網(wǎng)絡(luò)塊之后是非線性激活函數(shù)(105、110、115、120)。在每個這樣的層(其可以包括卷積網(wǎng)絡(luò)和激活函數(shù)的多個子層)，其輸出通常被減小(例如，減小2倍或更多，通常稱為“步幅”，其中步幅＝1表示沒有下采樣，步幅＝2表示在每個方向上以因子2進(jìn)行下采樣，等等)。例如，使用步幅＝2，卷積-1網(wǎng)絡(luò)(105)的輸出將是h/2×w/2。最后一層(例如，120)生成輸出潛在系數(shù)y(122)，該潛在系數(shù)在被發(fā)送到解碼器(100d)之前被進(jìn)一步量化(q)和熵編碼(例如，通過算術(shù)編碼器ae)。超先驗網(wǎng)絡(luò)和空間上下文模型網(wǎng)絡(luò)(未示出)也用于生成潛在數(shù)據(jù)(y)的概率模型。
19、在解碼器(100d)中，過程相反。在算術(shù)解碼(ad)之后，給定解碼的潛在數(shù)據(jù)(124)，使用一系列去卷積層(125，130，135，140)來生成輸出(142)，近似輸入(102)，每個去卷積層組合了去卷積神經(jīng)網(wǎng)絡(luò)塊和非線性激活函數(shù)。在解碼器中，每個去卷積層的輸出分辨率通常增大(例如，增大2倍或更多倍)，與編碼器100e中相應(yīng)卷積層級中的下采樣因子匹配，使得輸入和輸出圖像具有相同的分辨率。
20、在這種架構(gòu)中，基于圖1所示的每層中使用的下采樣率和內(nèi)核(kernel)大小，潛在數(shù)據(jù)的感受野面積增大。由于主潛在數(shù)據(jù)在最后一層深度(例如，120)被編碼，它們通?；趯拥臄?shù)量(通常為4到6)、下采樣率(通常為2)和每層中使用的內(nèi)核大小(通常為3×3到5×5)而具有高的感受野大小。這種基于固定深度的神經(jīng)網(wǎng)絡(luò)主要是為編碼自然圖像而開發(fā)的，而對于不同的操作比特率，在高度多樣化的圖像/視頻源集合(例如屏幕內(nèi)容、自然內(nèi)容、用戶生成的內(nèi)容、基于計算生成圖像(cgi)的游戲和動畫內(nèi)容、混合內(nèi)容等)中編碼紋理、邊緣和平滑區(qū)域的不同空間大小以及特性的潛在特征可能不是最佳的。例如，屏幕內(nèi)容圖像(sci)在顏色結(jié)構(gòu)和統(tǒng)計方面與自然圖像有顯著差異。與自然圖像相比，sci往往具有突然的顏色變化和均勻的顏色區(qū)域。此外，sci通常包含可能具有不同大小(從極小到很大)的文本。因此，sci的良好再現(xiàn)需要能夠處理大不相同的空間尺度中的強(qiáng)度變化。所提出的實施例使得基于深度學(xué)習(xí)的圖像和視頻編解碼器能夠自適應(yīng)地融合和編碼不同層深度的潛在數(shù)據(jù)，這使得基于多層級感受野的潛在編碼架構(gòu)能夠針對不同內(nèi)容集實現(xiàn)最佳率失真編碼性能。多層級感受野編碼架構(gòu)可以與傳統(tǒng)的基于塊的視頻編解碼器中的可變塊大小編碼松散相關(guān)，但是不需要變換或預(yù)測塊的特定大小和結(jié)構(gòu)的顯式編碼。
21、在自然圖像的情況下，用于圖像和視頻編碼的深度學(xué)習(xí)架構(gòu)正在接近可與傳統(tǒng)方法競爭。雖然所提出的自適應(yīng)多層級潛在融合方法可以推進(jìn)針對自然圖像和視頻的這種發(fā)展水平，但它們對于屏幕內(nèi)容壓縮尤其有益。對于scis，當(dāng)前的深度學(xué)習(xí)方案明顯落后于傳統(tǒng)方法，而提出的方法產(chǎn)生了明顯更好的結(jié)果。
22、所提出的架構(gòu)的實施例受到在其中目標(biāo)是改進(jìn)跨尺度的對象檢測和分類的對象檢測和對象分類文獻(xiàn)(參考文獻(xiàn)[4])中引入的特征金字塔網(wǎng)絡(luò)(fpn)的激勵。傳統(tǒng)的圖像編碼標(biāo)準(zhǔn)，諸如hevc和vvc，使用若干特殊的技術(shù)來高效本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種使用用于生成和處理潛在特征的神經(jīng)網(wǎng)絡(luò)來壓縮和解壓縮圖像的方法，該方法包括:
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:
3.根據(jù)權(quán)利要求1或2所述的方法，其中給定所選擇的具有L1輸出的潛在數(shù)據(jù)層級L1和所選擇的具有L2輸出的潛在數(shù)據(jù)層級L2，其中層級L2在層級L1之后，融合所選擇的潛在輸出進(jìn)一步包括：
4.根據(jù)權(quán)利要求3所述的方法，其中生成潛在數(shù)據(jù)的融合輸出進(jìn)一步包括:
5.根據(jù)權(quán)利要求3所述的方法，其中生成潛在數(shù)據(jù)的融合輸出進(jìn)一步包括:
6.根據(jù)權(quán)利要求5所述的方法，其中，所述輸入圖像的特性包括自然圖像、屏幕內(nèi)容圖像、HDR圖像、虛擬現(xiàn)實圖像、計算機(jī)生成的圖像或從圖像中提取的任何抽象特征圖中的一者或多者。
7.根據(jù)權(quán)利要求3所述的方法，其中，生成潛在數(shù)據(jù)的融合輸出還包括:
8.根據(jù)權(quán)利要求3-7中任一項所述的方法，進(jìn)一步包括:
9.根據(jù)前述權(quán)利要求中任一項所述的方法，其中從兩個或更多個卷積網(wǎng)絡(luò)中選擇潛在輸出包括在多個連續(xù)層級的卷積網(wǎng)絡(luò)的子集中從兩個或更多個卷積網(wǎng)絡(luò)選擇潛在輸出
10.一種使用用于生成和處理潛在特征的神經(jīng)網(wǎng)絡(luò)來壓縮和解壓縮圖像的方法，該方法包括：
11.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括：
12.根據(jù)權(quán)利要求3-10中任一項所述的方法，其中基于優(yōu)化一個或多個編碼參數(shù)來動態(tài)地選擇L1潛在數(shù)據(jù)層級和L2潛在數(shù)據(jù)層級。
13.根據(jù)權(quán)利要求12所述的方法，其中所述一個或多個編碼參數(shù)包括目標(biāo)編碼比特率、率失真優(yōu)化、解碼器復(fù)雜度、或圖像/視頻特性中的一者或多者。
14.根據(jù)權(quán)利要求12或權(quán)利要求13所述的方法，還包括生成與融合所選擇的潛在數(shù)據(jù)層級相關(guān)的元數(shù)據(jù)，其中所述元數(shù)據(jù)包括以下一項或多項：
15.一種使用用于生成和處理潛在特征的神經(jīng)網(wǎng)絡(luò)來壓縮和解壓縮圖像的方法，該方法包括：
16.根據(jù)權(quán)利要求15所述的方法，其中所述預(yù)測神經(jīng)網(wǎng)絡(luò)包括空間提升器和兩層去卷積網(wǎng)絡(luò)。
17.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括:
18.根據(jù)權(quán)利要求1所述的方法，其中生成潛在數(shù)據(jù)的融合輸出還包括生成并傳輸與輸出潛在數(shù)據(jù)相關(guān)的潛在可伸縮性元數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的方法，其中所述潛在可伸縮性元數(shù)據(jù)包括復(fù)雜度可伸縮性參數(shù)和/或質(zhì)量可伸縮性參數(shù)。
20.根據(jù)權(quán)利要求19所述的方法，其中，所述潛在可伸縮性元數(shù)據(jù)包括與量化潛在數(shù)據(jù)的能量內(nèi)容相關(guān)的信息。
21.根據(jù)權(quán)利要求20所述的方法，其中在質(zhì)量可伸縮性下，根據(jù)潛在信道的能量水平從高能量到低能量傳輸潛在信道。
22.根據(jù)權(quán)利要求2所述的方法，還包括接收所述編碼的融合潛在數(shù)據(jù)的潛在可伸縮性元數(shù)據(jù)，并且基于所述潛在可伸縮性元數(shù)據(jù)和可伸縮性標(biāo)準(zhǔn)對所述編碼的融合潛在數(shù)據(jù)進(jìn)行解碼。
23.根據(jù)權(quán)利要求21所述的方法，其中，所述可伸縮性標(biāo)準(zhǔn)包括復(fù)雜度可伸縮性，并且根據(jù)編碼的融合潛在數(shù)據(jù)的能量水平從高能量到低能量對編碼的融合潛在數(shù)據(jù)進(jìn)行解碼。
24.一種非暫時性計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令用于由一個或多個處理器執(zhí)行以執(zhí)行根據(jù)權(quán)利要求1-23中任一項所述的方法。
25.一種包括處理器并被配置成執(zhí)行根據(jù)權(quán)利要求1-23中任一項所述的方法的裝置。
...【技術(shù)特征摘要】
【國外來華專利技術(shù)】
1.一種使用用于生成和處理潛在特征的神經(jīng)網(wǎng)絡(luò)來壓縮和解壓縮圖像的方法，該方法包括:
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:
3.根據(jù)權(quán)利要求1或2所述的方法，其中給定所選擇的具有l(wèi)1輸出的潛在數(shù)據(jù)層級l1和所選擇的具有l(wèi)2輸出的潛在數(shù)據(jù)層級l2，其中層級l2在層級l1之后，融合所選擇的潛在輸出進(jìn)一步包括：
4.根據(jù)權(quán)利要求3所述的方法，其中生成潛在數(shù)據(jù)的融合輸出進(jìn)一步包括:
5.根據(jù)權(quán)利要求3所述的方法，其中生成潛在數(shù)據(jù)的融合輸出進(jìn)一步包括:
6.根據(jù)權(quán)利要求5所述的方法，其中，所述輸入圖像的特性包括自然圖像、屏幕內(nèi)容圖像、hdr圖像、虛擬現(xiàn)實圖像、計算機(jī)生成的圖像或從圖像中提取的任何抽象特征圖中的一者或多者。
7.根據(jù)權(quán)利要求3所述的方法，其中，生成潛在數(shù)據(jù)的融合輸出還包括:
8.根據(jù)權(quán)利要求3-7中任一項所述的方法，進(jìn)一步包括:
9.根據(jù)前述權(quán)利要求中任一項所述的方法，其中從兩個或更多個卷積網(wǎng)絡(luò)中選擇潛在輸出包括在多個連續(xù)層級的卷積網(wǎng)絡(luò)的子集中從兩個或更多個卷積網(wǎng)絡(luò)選擇潛在輸出。
10.一種使用用于生成和處理潛在特征的神經(jīng)網(wǎng)絡(luò)來壓縮和解壓縮圖像的方法，該方法包括：
11.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括：
12.根據(jù)權(quán)利要求3-10中任一項所述的方法，其中基于優(yōu)化一個或多個編碼參數(shù)來動態(tài)地選擇l1潛在數(shù)據(jù)層級和l2潛在數(shù)據(jù)層級。
13.根據(jù)權(quán)利要求12所述的方法，其中所述一個或多個編碼參數(shù)包括目標(biāo)編碼比特率、率失真優(yōu)化、解碼器復(fù)雜度、或圖像/視頻特性中的一者或多者。
14.根據(jù)權(quán)利要求...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：A·莫哈南切蒂亞爾，J·N·辛加拉，P·夏爾馬，N·科勒里，尹鵬，A·阿羅拉，浦方君，呂陶然，S·T·麥卡錫，W·J·胡薩克，
申請(專利權(quán))人：杜比實驗室特許公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。