【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及視頻傳輸領(lǐng)域，特別是涉及一種基于可逆架構(gòu)的視頻傳輸方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、在視頻傳輸過程中，通常需要通過編碼器對(duì)視頻中的各個(gè)圖像幀進(jìn)行進(jìn)行編解碼以降低傳輸碼率，然而這種編解碼的過程是有損的。
2、在相關(guān)技術(shù)中，采用可逆架構(gòu)，將高清視頻降采樣為低分辨率，并將其中中高頻信息轉(zhuǎn)換空間更小的映射信息，從而可以在圖像幀重建過程中盡可能的保留高頻信息，進(jìn)而達(dá)到提升感官質(zhì)量的目的。
3、但是，該類技術(shù)方案采用可逆架構(gòu)進(jìn)行視頻壓縮的過程中，需要消耗極大的算力資源和運(yùn)算時(shí)間，因此，無法滿足視頻傳輸場(chǎng)景的實(shí)時(shí)性，同時(shí)，也無法減少碼率使用。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種基于可逆架構(gòu)的視頻傳輸方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中無法滿足視頻傳輸場(chǎng)景的實(shí)時(shí)性的問題。
2、第一方面，本申請(qǐng)實(shí)施例提供了一種基于可逆架構(gòu)的圖像處理模型訓(xùn)練方法，所述方法包括：
3、基于級(jí)聯(lián)結(jié)構(gòu)的兩個(gè)卷積處理層，確定基礎(chǔ)組件，并基于所述基礎(chǔ)組件和雅可比矩陣特性，構(gòu)建用于對(duì)初始圖像幀的圖像信息進(jìn)行降/升采樣的采樣模塊；
4、構(gòu)建編解碼模塊，并通過將多個(gè)卷積層級(jí)聯(lián)為知識(shí)蒸餾的結(jié)構(gòu)，構(gòu)建用于恢復(fù)采樣過程中丟失信息的損失重建模塊；
5、基于所述采樣模塊、所述損失重建模塊和編解碼模塊，構(gòu)建可逆架構(gòu)網(wǎng)絡(luò)，并通過基于多組所述初始圖像幀組成的目標(biāo)圖像數(shù)據(jù)集，訓(xùn)練所述可逆架構(gòu)網(wǎng)絡(luò)，得到圖像處理模
6、在其中一些實(shí)施例中，所述采樣模塊包括預(yù)處理模塊和特征處理模塊，基于所述基礎(chǔ)組件和雅可比矩陣特性，構(gòu)建用于對(duì)初始圖像幀進(jìn)行降/升采樣的采樣模塊包括：
7、構(gòu)建用于，將所述初始圖像幀劃分為高頻信息和低頻信息的預(yù)處理模塊；
8、基于所述基礎(chǔ)組件，構(gòu)建用于通過降采樣，基于所述高頻信息和所述低頻信息生成圖像幀壓縮信息，或者，通過升采樣，將所述圖像幀壓縮信息恢復(fù)至與所述初始圖像幀相似的第二圖像幀的采樣模塊。
9、在其中一些實(shí)施例中，在模型正向退化流程：
10、所述采樣模塊用于，獲取所述圖像數(shù)據(jù)集，并對(duì)所述圖像數(shù)據(jù)集中各個(gè)初始圖像幀進(jìn)行小波變換，獲取各個(gè)所述初始圖像幀的低頻信息和高頻信息；
11、以及，將所述高頻信息轉(zhuǎn)化為保存在像素分布中的高頻映射信息，并將所述高頻映射信息和所述低頻信息在通道維度組合，得到所述圖像幀壓縮信息；
12、所述編解碼模塊用于，將所述圖像幀壓縮信息編碼為壓縮碼流文件。
13、在其中一些實(shí)施例中，在模型逆向恢復(fù)流程：
14、所述損失重建模塊用于，通過多個(gè)級(jí)聯(lián)的知識(shí)蒸餾模塊，基于所述碼流文件中的現(xiàn)有特征，進(jìn)行特征重用和特征填充，獲取對(duì)所述圖像幀壓縮信息編碼過程中丟失的高頻信息，得到重建輔助信息。
15、在其中一些實(shí)施例中，在逆向恢復(fù)流程：
16、所述編解碼模塊用于，將所述壓縮碼流文件解碼為圖像數(shù)據(jù)；
17、所述采樣模塊用于，獲取所述圖像數(shù)據(jù)，提取其中的低頻信息和高頻映射信息，并接收所述損失重建模塊生成的重建輔助信息；
18、以及，基于所述低頻信息、所述高頻映射信息和所述重建輔助信息，進(jìn)行升采樣，得到與所述初始圖像幀相似度大于相似度閾值的圖像幀。
19、在其中一些實(shí)施例中，通過基于多組所述初始圖像幀組成的目標(biāo)圖像數(shù)據(jù)集，訓(xùn)練所述可逆架構(gòu)網(wǎng)絡(luò)包括：
20、構(gòu)建多組損失函數(shù)，以所述損失函數(shù)為監(jiān)督信息，基于所述圖像數(shù)據(jù)集對(duì)所述可逆架構(gòu)網(wǎng)絡(luò)進(jìn)行循環(huán)迭代訓(xùn)練，得到所述圖像處理模型；
21、其中，所述損失函數(shù)包括降采樣損失函數(shù)、高頻信息分布監(jiān)督損失函數(shù)、編解碼信息重建損失函數(shù)和全局損失函數(shù)。
22、在其中一些實(shí)施例中，所述方法還包括：
23、在所述圖像處理模型中，獲取結(jié)果貢獻(xiàn)率小于預(yù)設(shè)閾值的目標(biāo)分支，通過削減所述目標(biāo)分支，得到第一優(yōu)化模型；
24、以所述第一優(yōu)化模型為教師模型，以第目標(biāo)模型為學(xué)生模型，通過將所述學(xué)生模型與所述教師模型進(jìn)行特征對(duì)齊和結(jié)果對(duì)齊，得到第二優(yōu)化模型：
25、通過tensorrt工具，對(duì)所述第二優(yōu)化模型進(jìn)行int8量化，并在所述int8量化之后，對(duì)所述第二優(yōu)化模型進(jìn)行微調(diào)修煉，得到用于在邊緣側(cè)部署的視頻傳輸處理模型。
26、第二方面，本申請(qǐng)實(shí)施例提供了一種基于可逆架構(gòu)的視頻傳輸方法，用于基于第一方面所述的視頻傳輸處理模型，實(shí)現(xiàn)在邊緣側(cè)終端設(shè)備之間進(jìn)行可逆的視頻數(shù)據(jù)傳輸，所述方法包括：
27、第一終端獲取目標(biāo)視頻，并通過所述視頻傳輸處理模型的正向退化流程，對(duì)所述目標(biāo)視頻進(jìn)行壓縮，得到待傳輸數(shù)據(jù)；
28、第二終端接收所述第一終端發(fā)送的所述待傳輸數(shù)據(jù)，并通過所述圖像處理模型的逆向恢復(fù)流程，對(duì)所述待傳輸數(shù)據(jù)進(jìn)行復(fù)原，得到所述目標(biāo)視頻。
29、第三方面，一種基于可逆架構(gòu)的視頻傳輸系統(tǒng)，其特征在于，用于基于第一方面所述的視頻傳輸處理模型，實(shí)現(xiàn)在邊緣側(cè)終端設(shè)備之間進(jìn)行可逆的視頻數(shù)據(jù)傳輸，所述系統(tǒng)包括第一終端和第二終端：
30、所述第一終端用于獲取目標(biāo)視頻，并通過所述圖像處理模型的正向退化流程，對(duì)所述目標(biāo)視頻進(jìn)行壓縮，得到待傳輸數(shù)據(jù)；
31、第二終端用于接收所述第一終端發(fā)送的所述待傳輸數(shù)據(jù)，并通過所述圖像處理模型的逆向恢復(fù)流程，對(duì)所述待傳輸數(shù)據(jù)進(jìn)行復(fù)原，得到所述目標(biāo)視頻。
32、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第二方面所述的方法。
33、相比于相關(guān)技術(shù)，本申請(qǐng)實(shí)施例提供的基于可逆架構(gòu)的視頻傳輸方法，通過基于設(shè)置級(jí)聯(lián)結(jié)構(gòu)的兩個(gè)卷積處理層，確定基礎(chǔ)組件，并基于基礎(chǔ)組件和雅可比矩陣特性，構(gòu)建用于對(duì)圖像幀進(jìn)行降/升采樣的采樣模塊；構(gòu)建編解碼模塊，并通過將多個(gè)卷積層級(jí)聯(lián)為知識(shí)蒸餾的結(jié)構(gòu)，構(gòu)建用于恢復(fù)采樣過程中損失信息的損失重建模塊；基于采樣模塊、損失重建模塊和編解碼模塊，構(gòu)建可逆架構(gòu)網(wǎng)絡(luò)，并通過基于多組圖像幀組成的目標(biāo)圖像數(shù)據(jù)集，訓(xùn)練可逆架構(gòu)網(wǎng)絡(luò)，得到視頻傳輸模型。該模型由于算力消耗較小可以被部署在邊緣側(cè)設(shè)備，可以在降低碼率的同時(shí)，實(shí)時(shí)的完成視頻資源的壓縮與恢復(fù)；從而解決了邊緣端設(shè)備上因?yàn)樗懔Σ蛔愣鴮?dǎo)致的視頻傳輸質(zhì)量較差的問題。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于可逆架構(gòu)的圖像處理模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采樣模塊包括預(yù)處理模塊和特征處理模塊，基于所述基礎(chǔ)組件和雅可比矩陣特性，構(gòu)建用于對(duì)初始圖像幀進(jìn)行降/升采樣的采樣模塊包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在模型正向退化流程：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在模型逆向恢復(fù)流程：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在逆向恢復(fù)流程：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過基于多組所述初始圖像幀組成的目標(biāo)圖像數(shù)據(jù)集，訓(xùn)練所述可逆架構(gòu)網(wǎng)絡(luò)包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：
8.一種基于可逆架構(gòu)的視頻傳輸方法，其特征在于，用于基于權(quán)利要求7所述的視頻傳輸處理模型，實(shí)現(xiàn)在邊緣側(cè)終端設(shè)備之間進(jìn)行可逆的視頻數(shù)據(jù)傳輸，所述方法包括：
9.一種基于可逆架構(gòu)的視頻傳輸系統(tǒng)，其特征在于，用于基于權(quán)利要求7所述的視頻傳輸處理模型，實(shí)現(xiàn)在邊緣側(cè)終端設(shè)備之間進(jìn)行可逆的視頻數(shù)據(jù)傳輸
10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種基于可逆架構(gòu)的圖像處理模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采樣模塊包括預(yù)處理模塊和特征處理模塊，基于所述基礎(chǔ)組件和雅可比矩陣特性，構(gòu)建用于對(duì)初始圖像幀進(jìn)行降/升采樣的采樣模塊包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在模型正向退化流程：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在模型逆向恢復(fù)流程：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在逆向恢復(fù)流程：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過基于多組所述初始圖像幀組成的目標(biāo)圖像數(shù)據(jù)集，訓(xùn)練所述可逆架構(gòu)網(wǎng)絡(luò)包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉鄧，
申請(qǐng)(專利權(quán))人：杭州靖安防務(wù)科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。