視頻的處理方法和模型的構(gòu)建方法技術(shù)

本發(fā)明專利技術(shù)公開(kāi)了一種視頻的處理方法和模型的構(gòu)建方法。其中，該模型的構(gòu)建方法包括：獲取滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)；將視頻數(shù)據(jù)中的視頻序列進(jìn)行對(duì)齊處理；將對(duì)齊處理后的視頻序列進(jìn)行處理，得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列；將滿足第二預(yù)設(shè)條件的視頻序列和滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型。本發(fā)明專利技術(shù)解決了現(xiàn)有技術(shù)中重建高動(dòng)態(tài)范圍視頻的效果不佳的技術(shù)問(wèn)題。果不佳的技術(shù)問(wèn)題。果不佳的技術(shù)問(wèn)題。

【技術(shù)實(shí)現(xiàn)步驟摘要】
視頻的處理方法和模型的構(gòu)建方法


[0001]本專利技術(shù)涉及視頻處理
，具體而言，涉及一種視頻的處理方法和模型的構(gòu)建方法。

技術(shù)介紹

[0002]高動(dòng)態(tài)范圍(High Dynamic Range，以下簡(jiǎn)稱HDR)視頻，相對(duì)于標(biāo)準(zhǔn)動(dòng)態(tài)范圍(Standard Dynamic Range，以下簡(jiǎn)稱SDR)視頻，圖像的明暗層次更清晰，圖像細(xì)節(jié)更豐富，能夠更逼真的重現(xiàn)真實(shí)場(chǎng)景。隨著HDR技術(shù)的發(fā)展以及HDR顯示器的逐步普及，對(duì)HDR視頻的需求逐步增加。真正的HDR視頻制作需要在采集端使用高動(dòng)態(tài)范圍的成像器件，制作時(shí)也要使用支持HDR非編軟件，也就是說(shuō)HDR視頻的內(nèi)容制作對(duì)拍攝設(shè)備和前處理技術(shù)都有很高的要求，因此目前的HDR內(nèi)容仍處于相對(duì)匱乏的狀態(tài)。
[0003]目前的HDR重建算法主要是針對(duì)單幀圖片，并不適合用于生成HDR視頻，因?yàn)橐曨l中存在著更復(fù)雜的運(yùn)動(dòng)信息。
[0004]針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

[0005]本專利技術(shù)實(shí)施例提供了一種視頻的處理方法和模型的構(gòu)建方法，以至少解決現(xiàn)有技術(shù)中重建高動(dòng)態(tài)范圍視頻的效果不佳的技術(shù)問(wèn)題。
[0006]根據(jù)本專利技術(shù)實(shí)施例的一個(gè)方面，提供了一種視頻的處理方法，包括：接收客戶端發(fā)送的服務(wù)調(diào)用請(qǐng)求，其中，所述服務(wù)調(diào)用請(qǐng)求中攜帶有滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)以及滿足第二預(yù)設(shè)條件的視頻序列；對(duì)滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)以及滿足第二預(yù)設(shè)條件的視頻序列通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練；以及輸出訓(xùn)練結(jié)果，其中，所述訓(xùn)練結(jié)果為模型參數(shù)集合。r/>[0007]進(jìn)一步地，所述方法還包括：將所述模型參數(shù)集合進(jìn)行打包并發(fā)送至所述客戶端。
[0008]根據(jù)本專利技術(shù)實(shí)施例的一個(gè)方面，提供了一種模型的構(gòu)建方法，包括：獲取滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)；將所述視頻數(shù)據(jù)中的視頻序列進(jìn)行對(duì)齊處理；將對(duì)齊處理后的視頻序列進(jìn)行處理，得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列；將所述滿足第二預(yù)設(shè)條件的視頻序列和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型。
[0009]進(jìn)一步地，在得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列之后，所述方法還包括：從所述滿足第二預(yù)設(shè)條件的視頻序列中進(jìn)行采樣，得到訓(xùn)練樣本數(shù)據(jù)；將所述滿足第二預(yù)設(shè)條件的視頻序列和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型包括：將所述訓(xùn)練樣本數(shù)據(jù)和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述目標(biāo)模型。
[0010]進(jìn)一步地，將所述訓(xùn)練樣本數(shù)據(jù)和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述目標(biāo)模型包括：從所述訓(xùn)練樣本數(shù)據(jù)中選取第一組相鄰三幀圖片輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型，得到中間幀的HDR圖像一；將所述中間幀的
HDR圖像一與對(duì)應(yīng)的滿足所述第一預(yù)設(shè)條件的圖像一進(jìn)行對(duì)比，得到誤差一；從所述訓(xùn)練樣本數(shù)據(jù)中選取第二組相鄰三幀圖片輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型，得到中間幀的HDR圖像二，其中，所述第一組相鄰三幀圖片的中間幀與所述第二組相鄰三幀圖片的中間幀相鄰；將所述中間幀的HDR圖像二與對(duì)應(yīng)的滿足所述第一預(yù)設(shè)條件的圖像二進(jìn)行對(duì)比，得到誤差二；基于所述誤差一和所述誤差二確定損失函數(shù)；將所述損失函數(shù)計(jì)算出的估計(jì)誤差通過(guò)反向傳播算法傳回所述深度卷積神經(jīng)網(wǎng)絡(luò)模型以梯度下降算法訓(xùn)練模型，得到所述目標(biāo)模型。
[0011]進(jìn)一步地，所述方法還包括：對(duì)所述中間幀的HDR圖像一和所述中間幀的HDR圖像二加入時(shí)序一致性的約束條件。
[0012]進(jìn)一步地，將所述視頻數(shù)據(jù)集中的視頻序列進(jìn)行對(duì)齊處理包括：對(duì)所述視頻數(shù)據(jù)中的相鄰三幀圖像，提取每幀圖像上的特征點(diǎn)，其中，所述相鄰三幀圖像中包括：第一幀圖像、第二幀圖像和第三幀圖像，所述第二幀圖像是所述相鄰三幀圖像中的中間幀；基于每幀圖像上的特征點(diǎn)確定所述第一幀圖像的變換矩陣和所述第三幀圖像的變換矩陣；基于所述第一幀圖像的變換矩陣對(duì)所述第一幀圖像進(jìn)行變換，以將所述第一幀圖像和第二幀圖像進(jìn)行對(duì)齊，基于所述第三幀圖像的變換矩陣對(duì)所述第三幀圖像進(jìn)行變換，以將所述第三幀圖像和所述第二幀圖像進(jìn)行對(duì)齊。
[0013]進(jìn)一步地，從所述滿足第二預(yù)設(shè)條件的視頻序列中進(jìn)行采樣，得到訓(xùn)練樣本數(shù)據(jù)包括：對(duì)滿足所述第二預(yù)設(shè)條件的視頻序列中相鄰兩幀圖像序列之間光流大于預(yù)設(shè)光流的圖像區(qū)域進(jìn)行采樣，得到訓(xùn)練樣本數(shù)據(jù)。
[0014]進(jìn)一步地，將對(duì)齊處理后的視頻序列進(jìn)行處理，得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列包括：利用相機(jī)響應(yīng)函數(shù)以及隨機(jī)生成的曝光時(shí)間，對(duì)對(duì)齊處理后的視頻序列進(jìn)行重曝光處理，得到不同曝光時(shí)長(zhǎng)下的滿足所述第二預(yù)設(shè)條件的視頻序列。
[0015]進(jìn)一步地，在得到不同曝光時(shí)長(zhǎng)下的滿足所述第二預(yù)設(shè)條件的視頻序列之后，所述方法還包括：對(duì)所述不同曝光時(shí)長(zhǎng)下的滿足所述第二預(yù)設(shè)條件的視頻序列加入噪聲信號(hào)以及應(yīng)用伽馬顏色變化，以模擬真實(shí)的滿足所述第二預(yù)設(shè)條件的視頻序列。
[0016]進(jìn)一步地，在得到目標(biāo)模型之后，所述方法還包括：獲取滿足所述第二預(yù)設(shè)條件的視頻數(shù)據(jù)，其中，所述視頻數(shù)據(jù)中包括不同曝光時(shí)長(zhǎng)的視頻序列；將所述視頻序列進(jìn)行對(duì)齊處理；將對(duì)齊處理后的視頻序列輸入目標(biāo)模型，得到滿足所述第一預(yù)設(shè)條件的視頻數(shù)據(jù)。
[0017]根據(jù)本專利技術(shù)實(shí)施例的一個(gè)方面，提供了一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述任意一項(xiàng)所述的方法。
[0018]根據(jù)本專利技術(shù)實(shí)施例的一個(gè)方面，提供了一種處理器，其中，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時(shí)執(zhí)行上述任意一項(xiàng)所述的方法。
[0019]在本專利技術(shù)實(shí)施例中，通過(guò)獲取滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)；將所述視頻數(shù)據(jù)中的視頻序列進(jìn)行對(duì)齊處理；將對(duì)齊處理后的視頻序列進(jìn)行處理，得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列；將所述滿足第二預(yù)設(shè)條件的視頻序列和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型，通過(guò)將對(duì)齊處理后的視頻序列輸入目標(biāo)模型，得到滿足所述第一預(yù)設(shè)條件的視頻數(shù)據(jù)對(duì)能夠有效避免因視頻序列對(duì)齊不準(zhǔn)導(dǎo)致的輸出視頻中的迭影現(xiàn)象，從而保證了重建高動(dòng)態(tài)范圍視頻的效果，進(jìn)而解
決了現(xiàn)有技術(shù)中重建高動(dòng)態(tài)范圍視頻的效果不佳的技術(shù)問(wèn)題。
附圖說(shuō)明
[0020]此處所說(shuō)明的附圖用來(lái)提供對(duì)本專利技術(shù)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本專利技術(shù)的示意性實(shí)施例及其說(shuō)明用于解釋本專利技術(shù)，并不構(gòu)成對(duì)本專利技術(shù)的不當(dāng)限定。在附圖中：
[0021]圖1是根據(jù)本專利技術(shù)實(shí)施例的計(jì)算機(jī)終端的硬件結(jié)構(gòu)框圖；
[0022]圖2是根據(jù)本專利技術(shù)實(shí)施例一提供的模型的構(gòu)建方法的流程圖；
[0023]圖3是根據(jù)本專利技術(shù)實(shí)施例一的模型的構(gòu)建方法中訓(xùn)練模型的示意圖；
[0024]圖4是根據(jù)本專利技術(shù)實(shí)施例一提供的可選的模型的構(gòu)建方法的流程圖；
[0025]圖5是根據(jù)本專利技術(shù)實(shí)施例二提供的視頻的處理方法的流程圖；以及
[0026]圖6是根據(jù)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種視頻的處理方法，其特征在于，包括：接收客戶端發(fā)送的服務(wù)調(diào)用請(qǐng)求，其中，所述服務(wù)調(diào)用請(qǐng)求中攜帶有滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)以及滿足第二預(yù)設(shè)條件的視頻序列；對(duì)滿足所述第一預(yù)設(shè)條件的視頻數(shù)據(jù)以及滿足所述第二預(yù)設(shè)條件的視頻序列通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練；以及輸出訓(xùn)練結(jié)果，其中，所述訓(xùn)練結(jié)果為模型參數(shù)集合。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：將所述模型參數(shù)集合進(jìn)行打包并發(fā)送至所述客戶端。3.一種模型的構(gòu)建方法，其特征在于，包括：獲取滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)；將所述視頻數(shù)據(jù)中的視頻序列進(jìn)行對(duì)齊處理；將對(duì)齊處理后的視頻序列進(jìn)行處理，得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列；將所述滿足第二預(yù)設(shè)條件的視頻序列和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在得到不同曝光時(shí)長(zhǎng)下滿足第二預(yù)設(shè)條件的視頻序列之后，所述方法還包括：從所述滿足第二預(yù)設(shè)條件的視頻序列中進(jìn)行采樣，得到訓(xùn)練樣本數(shù)據(jù)；將所述滿足第二預(yù)設(shè)條件的視頻序列和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型包括：將所述訓(xùn)練樣本數(shù)據(jù)和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述目標(biāo)模型。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述訓(xùn)練樣本數(shù)據(jù)和所述滿足第一預(yù)設(shè)條件的視頻數(shù)據(jù)輸入深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述目標(biāo)模型包括：從所述訓(xùn)練樣本數(shù)據(jù)中選取第一組相鄰三幀圖片輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型，得到中間幀的HDR圖像一；將所述中間幀的HDR圖像一與對(duì)應(yīng)的滿足所述第一預(yù)設(shè)條件的圖像一進(jìn)行對(duì)比，得到誤差一；從所述訓(xùn)練樣本數(shù)據(jù)中選取第二組相鄰三幀圖片輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)模型，得到中間幀的HDR圖像二，其中，所述第一組相鄰三幀圖片的中間幀與所述第二組相鄰三幀圖片的中間幀相鄰；將所述中間幀的HDR圖像二與對(duì)應(yīng)的滿足所述第一預(yù)設(shè)條件的圖像二進(jìn)行對(duì)比，得到誤差二；基于所述誤差一和所述誤差二確定損失函數(shù)；將所述損失函數(shù)計(jì)算出的估計(jì)誤差通過(guò)反向傳播算法傳回所述深度卷積神經(jīng)網(wǎng)絡(luò)模型以梯度下降算法訓(xùn)練模型，得到所述目標(biāo)模型。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳冠英，
申請(qǐng)(專利權(quán))人：阿里巴巴集團(tuán)控股有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：