一種無參考三維視頻質(zhì)量評價方法技術(shù)

本發(fā)明專利技術(shù)公開了一種無參考三維視頻質(zhì)量評價方法，其在訓(xùn)練階段，構(gòu)造由原始彩色視頻幀組及對應(yīng)的失真彩色視頻幀組構(gòu)成的第一組訓(xùn)練集的彩色字典和彩色質(zhì)量表，構(gòu)造由原始深度視頻幀組及對應(yīng)的失真深度視頻幀組構(gòu)成的第二組訓(xùn)練集的深度字典和深度質(zhì)量表，使得在測試階段無需計(jì)算字典和質(zhì)量表，避免了復(fù)雜的機(jī)器學(xué)習(xí)訓(xùn)練過程，且無需預(yù)知待評價三維視頻序列的平均主觀評分差值，適用于實(shí)際的應(yīng)用場合；在測試階段，根據(jù)彩色字典和彩色質(zhì)量表、深度字典和深度質(zhì)量表，分別獲得每個失真彩色視頻幀組和失真深度視頻幀組的客觀質(zhì)量評價預(yù)測值，進(jìn)而獲得待評價的三維視頻序列的客觀質(zhì)量評價預(yù)測值，該客觀質(zhì)量評價預(yù)測值與主觀評價值保持了較好的一致性。

A non reference 3D video quality evaluation method

The invention discloses a three-dimensional non reference video quality evaluation method, in the training phase, constructed by the original color video frame group and the corresponding color distortion of video frame is a color dictionary first group training set and color quality table, constructed by the original depth video frame group and the corresponding distortion constitutes depth video frame group the second group training set the depth and depth of the surface quality of the dictionary, in the test stage without calculating the dictionary and quality table, avoiding the complex machine learning training process, and there is no need to predict to evaluate 3D video sequences of the average subjective score difference, it is suitable for practical application; in the testing stage, according to the color dictionary color and quality, depth and depth of quality dictionary table, respectively, obtained the objective quality assessment of each video frame group and color distortion distortion depth video frame group forecast, Then, the objective quality prediction value of the 3D video sequences to be evaluated is obtained, and the objective quality evaluation prediction value is in good agreement with the subjective evaluation value.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種無參考三維視頻質(zhì)量評價方法
本專利技術(shù)涉及一種視頻質(zhì)量評價方法，尤其是涉及一種無參考三維視頻質(zhì)量評價方法。
技術(shù)介紹
進(jìn)入本世紀(jì)以來，隨著數(shù)字2D(二維)視頻技術(shù)日趨成熟，以及計(jì)算機(jī)、通信及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，引發(fā)了人們對新一代視頻系統(tǒng)的強(qiáng)烈需求。現(xiàn)行的二維視頻系統(tǒng)在表現(xiàn)自然場景時，難以滿足用戶的立體感和視點(diǎn)交互等的需求。三維視頻系統(tǒng)由于能夠提供立體感、視點(diǎn)交互性的全新視覺體驗(yàn)而越來越受到人們的歡迎，因此在無線視頻通信、影視娛樂、數(shù)字動漫、虛擬戰(zhàn)場、旅游觀光、遠(yuǎn)程教學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。與立體視頻相比，基于彩色加深度的三維視頻需要同時考慮彩色和深度對虛擬視點(diǎn)繪制的影響，然而，傳統(tǒng)的立體圖像/視頻質(zhì)量評價方法通常不能直接用于評價彩色、深度或虛擬視點(diǎn)視頻質(zhì)量。而對于三維視頻質(zhì)量評價而言，如果直接將立體視頻/圖像質(zhì)量評價方法應(yīng)用于三維視頻，即彩色視頻和深度視頻采用相同的評價方法，則由于彩色視頻是顯性影響虛擬視點(diǎn)，而深度視頻是隱形影響虛擬視點(diǎn)，因此這會導(dǎo)致對虛擬視點(diǎn)繪制質(zhì)量的不可控；或者如果直接將立體視頻質(zhì)量評價方法應(yīng)用于虛擬視點(diǎn)視頻，則由于虛擬視點(diǎn)存在因繪制引起的幾何失真，因此立體視頻質(zhì)量評價方法難以對其進(jìn)行定量化。因此，如何對三維視頻進(jìn)行描述以衡量彩色視頻和深度視頻失真對虛擬視點(diǎn)繪制的影響，特別是如何只通過評價彩色視頻和深度視頻的質(zhì)量來預(yù)測虛擬視點(diǎn)繪制質(zhì)量，都是在對三維視頻進(jìn)行質(zhì)量評價過程中需要研究解決的問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)所要解決的技術(shù)問題是提供一種無參考三維視頻質(zhì)量評價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。本專利技術(shù)解決上述技術(shù)問題所采用的技術(shù)方案為：一種無參考三維視頻質(zhì)量評價方法，其特征在于包括訓(xùn)練階段和測試階段兩個過程；所述的訓(xùn)練階段過程的具體步驟如下：①_1、選取N個原始三維視頻序列，原始三維視頻序列由原始彩色視頻序列和原始深度視頻序列構(gòu)成，原始彩色視頻序列由T幀原始彩色圖像組成，原始深度視頻序列由T幀原始深度圖像組成；然后從每個原始彩色視頻序列中選擇第i個幀組的TGOP幀原始彩色圖像構(gòu)成原始彩色視頻幀組，同樣從每個原始深度視頻序列中選擇第i個幀組的TGOP幀原始深度圖像構(gòu)成原始深度視頻幀組；接著對N個原始彩色視頻幀組和N個原始深度視頻幀組分別進(jìn)行L個不同失真強(qiáng)度的編碼失真，將所有原始彩色視頻幀組及各自對應(yīng)的L個失真強(qiáng)度的失真彩色視頻幀組構(gòu)成第一組訓(xùn)練集，記為并將所有原始深度視頻幀組及各自對應(yīng)的L個失真強(qiáng)度的失真深度視頻幀組構(gòu)成第二組訓(xùn)練集，記為其中，原始彩色圖像和原始深度圖像的寬度均為W且高度均為H，N>1，T≥8，符號為向下取整符號，TGOP表示一個幀組的長度，TGOP≥8，L>1，表示中的第u個原始彩色視頻幀組，表示中的第u個原始彩色視頻幀組對應(yīng)的第v個失真強(qiáng)度的失真彩色視頻幀組，將中的第t幀原始彩色圖像記為將中的第t幀失真彩色圖像記為表示中的第u個原始深度視頻幀組，表示中的第u個原始深度視頻幀組對應(yīng)的第v個失真強(qiáng)度的失真深度視頻幀組，將中的第t幀原始深度圖像記為將中的第t幀失真深度圖像記為1≤t≤TGOP，1≤x≤W，1≤y≤H，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；①_2、獲取中的每個失真彩色視頻幀組的特征矢量，將中的第k個失真彩色視頻幀組的特征矢量記為同樣，獲取中的每個失真深度視頻幀組的特征矢量，將中的第k個失真深度視頻幀組的特征矢量記為其中，1≤k≤M，M＝N×L，和的維數(shù)均為96×1；①_3、根據(jù)中的所有失真彩色視頻幀組的特征矢量構(gòu)造彩色字典，記為DC，同樣，根據(jù)中的所有失真深度視頻幀組的特征矢量構(gòu)造深度字典，記為DD，其中，符號“[]”為矢量表示符號，表示中的第1個失真彩色視頻幀組的特征矢量，表示中的第M個失真彩色視頻幀組的特征矢量，表示中的第1個失真深度視頻序列的幀組矢量，表示中的第M個失真深度視頻幀組的特征矢量；①_4、構(gòu)造DC對應(yīng)的彩色質(zhì)量表，記為qC，同樣，構(gòu)造DD對應(yīng)的深度質(zhì)量表，記為qD，其中，表示采用中的第1個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第k個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第M個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第1個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第k個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第M個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值；所述的測試階段過程的具體步驟如下：②_1、對于任意一個待評價的失真三維視頻序列，其由失真彩色視頻序列和失真深度視頻序列構(gòu)成，將待評價的失真三維視頻序列的失真彩色視頻序列和失真深度視頻序列對應(yīng)記為Ctest和Dtest，Ctest由T'幀失真彩色圖像組成，Dtest由T'幀失真深度圖像組成；然后將Ctest中的T'幀失真彩色圖像分成個失真彩色視頻幀組，并將Dtest中的T'幀失真深度圖像分成個失真深度視頻幀組；其中，失真彩色圖像和失真深度圖像的寬度均為W'且高度均為H'，T'≥8，符號為向下取整符號，TGOP表示一個幀組的長度，TGOP≥8；②_2、按照步驟①_2的過程，以相同的操作獲取Ctest中的每個失真彩色視頻幀組的特征矢量和Dtest中的每個失真深度視頻幀組的特征矢量，將Ctest中的第p個失真彩色視頻幀組的特征矢量記為將Dtest中的第p個失真深度視頻幀組的特征矢量記為其中，1≤p≤P，和的維數(shù)均為96×1；②_3、根據(jù)在訓(xùn)練階段構(gòu)造的彩色字典DC和Ctest中的每個失真彩色視頻幀組的特征矢量，計(jì)算Ctest中的每個失真彩色視頻幀組的稀疏系數(shù)矩陣，將Ctest中的第p個失真彩色視頻幀組的稀疏系數(shù)矩陣記為是通過求解得到的；同樣，根據(jù)在訓(xùn)練階段構(gòu)造的深度字典DD和Dtest中的每個失真深度視頻幀組的特征矢量，計(jì)算Dtest中的每個失真深度視頻幀組的稀疏系數(shù)矩陣，將Dtest中的第p個失真深度視頻幀組的稀疏系數(shù)矩陣記為是通過求解得到的；其中，符號“||||2”為求取矩陣的2-范數(shù)符號，ε為誤差閾值，min{}為取最小值函數(shù)；②_4、根據(jù)在訓(xùn)練階段構(gòu)造的彩色質(zhì)量表qC和Ctest中的每個失真彩色視頻幀組的稀疏系數(shù)矩陣，計(jì)算Ctest中的每個失真彩色視頻幀組的客觀質(zhì)量評價預(yù)測值，將Ctest中的第p個失真彩色視頻幀組的客觀質(zhì)量評價預(yù)測值記為同樣，根據(jù)在訓(xùn)練階段構(gòu)造的深度質(zhì)量表qD和Dtest中的每個失真深度視頻幀組的稀疏系數(shù)矩陣，計(jì)算Dtest中的每個失真深度視頻幀組的客觀質(zhì)量評價預(yù)測值，將Dtest中的第p個失真深度視頻幀組的客觀質(zhì)量評價預(yù)測值記為其中，符號“||||1”為求取矩陣的1-范數(shù)符號；②_5、計(jì)算待評價的失本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種無參考三維視頻質(zhì)量評價方法，其特征在于包括訓(xùn)練階段和測試階段兩個過程；所述的訓(xùn)練階段過程的具體步驟如下：①_1、選取N個原始三維視頻序列，原始三維視頻序列由原始彩色視頻序列和原始深度視頻序列構(gòu)成，原始彩色視頻序列由T幀原始彩色圖像組成，原始深度視頻序列由T幀原始深度圖像組成；然后從每個原始彩色視頻序列中選擇第i個幀組的T

【技術(shù)特征摘要】
1.一種無參考三維視頻質(zhì)量評價方法，其特征在于包括訓(xùn)練階段和測試階段兩個過程；所述的訓(xùn)練階段過程的具體步驟如下：①_1、選取N個原始三維視頻序列，原始三維視頻序列由原始彩色視頻序列和原始深度視頻序列構(gòu)成，原始彩色視頻序列由T幀原始彩色圖像組成，原始深度視頻序列由T幀原始深度圖像組成；然后從每個原始彩色視頻序列中選擇第i個幀組的TGOP幀原始彩色圖像構(gòu)成原始彩色視頻幀組，同樣從每個原始深度視頻序列中選擇第i個幀組的TGOP幀原始深度圖像構(gòu)成原始深度視頻幀組；接著對N個原始彩色視頻幀組和N個原始深度視頻幀組分別進(jìn)行L個不同失真強(qiáng)度的編碼失真，將所有原始彩色視頻幀組及各自對應(yīng)的L個失真強(qiáng)度的失真彩色視頻幀組構(gòu)成第一組訓(xùn)練集，記為并將所有原始深度視頻幀組及各自對應(yīng)的L個失真強(qiáng)度的失真深度視頻幀組構(gòu)成第二組訓(xùn)練集，記為其中，原始彩色圖像和原始深度圖像的寬度均為W且高度均為H，N>1，T≥8，符號為向下取整符號，TGOP表示一個幀組的長度，TGOP≥8，L>1，表示中的第u個原始彩色視頻幀組，表示中的第u個原始彩色視頻幀組對應(yīng)的第v個失真強(qiáng)度的失真彩色視頻幀組，將中的第t幀原始彩色圖像記為將中的第t幀失真彩色圖像記為表示中的第u個原始深度視頻幀組，表示中的第u個原始深度視頻幀組對應(yīng)的第v個失真強(qiáng)度的失真深度視頻幀組，將中的第t幀原始深度圖像記為將中的第t幀失真深度圖像記為1≤t≤TGOP，1≤x≤W，1≤y≤H，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；①_2、獲取中的每個失真彩色視頻幀組的特征矢量，將中的第k個失真彩色視頻幀組的特征矢量記為同樣，獲取中的每個失真深度視頻幀組的特征矢量，將中的第k個失真深度視頻幀組的特征矢量記為其中，1≤k≤M，M＝N×L，和的維數(shù)均為96×1；①_3、根據(jù)中的所有失真彩色視頻幀組的特征矢量構(gòu)造彩色字典，記為DC，同樣，根據(jù)中的所有失真深度視頻幀組的特征矢量構(gòu)造深度字典，記為DD，其中，符號“[]”為矢量表示符號，表示中的第1個失真彩色視頻幀組的特征矢量，表示中的第M個失真彩色視頻幀組的特征矢量，表示中的第1個失真深度視頻序列的幀組矢量，表示中的第M個失真深度視頻幀組的特征矢量；①_4、構(gòu)造DC對應(yīng)的彩色質(zhì)量表，記為qC，同樣，構(gòu)造DD對應(yīng)的深度質(zhì)量表，記為qD，其中，表示采用中的第1個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第k個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第M個失真彩色視頻幀組和對應(yīng)的原始深度視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第1個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第k個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值，表示采用中的第M個失真深度視頻幀組和對應(yīng)的原始彩色視頻幀組繪制得到的虛擬視點(diǎn)視頻構(gòu)成的立體視頻的平均主觀評分均值；所述的測試階段過程的具體步驟如下：②_1、對于任意一個待評價的失真三維視頻序列，其由失真彩色視頻序列和失真深度視頻序列構(gòu)成，將待評價的失真三維視頻序列的失真彩色視頻序列和失真深度視頻序列對應(yīng)記為Ctest和Dtest，Ctest由T'幀失真彩色圖像組成，Dtest由T'幀失真深度圖像組成；然后將Ctest中的T'幀失真彩色圖像分成個失真彩色視頻幀組，并將Dtest中的T'幀失真深度圖像分成個失真深度視頻幀組；其中，失真彩色圖像和失真深度圖像的寬度均為W'且高度均為H'，T'≥8，符號為向下取整符號，TGOP表示一個幀組的長度，TGOP≥8；②_2、按照步驟①_2的過程，以相同的操作獲取Ctest中的每個失真彩色視頻幀組的特征矢量和Dtest中的每個失真深度視頻幀組的特征矢量，將Ctest中的第p個失真彩色視頻幀組的特征矢量記為將Dtest中的第p個失真深度視頻幀組的特征矢量記為其中，1≤p≤P，和的維數(shù)均為96×1；②_3、根據(jù)在訓(xùn)練階段構(gòu)造的彩色字典DC和Ctest中的每個失真彩色視頻幀組的特征矢量，計(jì)算Ctest中的每個失真彩色視頻幀組的稀疏系數(shù)矩陣，將Ctest中的第p個失真彩色視頻幀組的稀疏系數(shù)矩陣記為是通過求解得到的；同樣，根據(jù)在訓(xùn)練階段構(gòu)造的深度字典DD和Dtest中的每個失真深度視頻幀組的特征矢量，計(jì)算Dtest中的每個失真深度視頻幀組的稀疏系數(shù)矩陣，將Dtest中的第p個失真深度視頻幀組的稀疏系數(shù)矩陣記為是通過求解得到的；其中，符號“||||2”為求取矩陣的2-范數(shù)符號，ε為誤差閾值，min{}為取最小值函數(shù)；②_4、根據(jù)在訓(xùn)練階段構(gòu)造的彩色質(zhì)量表qC和Ctest中的每個失真彩色視頻幀組的稀疏系數(shù)矩陣，計(jì)算Ctest中的每個失真彩色視頻幀組的客觀質(zhì)量評價預(yù)測值，將Ctest中的第p個失真彩色視頻幀組的客觀質(zhì)量評價預(yù)測值記為同樣，根據(jù)在訓(xùn)練階段構(gòu)造的深度質(zhì)量表qD和Dtest中的每個失真深度視頻幀組的稀疏系數(shù)矩陣，計(jì)算Dtest中的每個失真深度視頻幀組的客觀質(zhì)量評價預(yù)測值，將Dtest中的第p個失真深度視頻幀組的客觀質(zhì)量評價預(yù)測值記為其中，符號“||||1”為求取矩陣的1-范數(shù)符號；②_5、計(jì)算待評價的失真三維視頻序列的客觀質(zhì)量評價預(yù)測值，記為Q，其中，表示Ctest中的第p個失真彩色視頻幀組的權(quán)重系數(shù)，表示Dtest中的第p個失真深度視頻幀組的權(quán)重系數(shù)，表示Ctest中的第p個失真彩色視頻幀組與Dtest中的第p個失真深度視頻幀組相互作用的權(quán)重系數(shù)。2.根據(jù)權(quán)利要求...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：邵楓，袁其政，姜求平，李福翠，
申請(專利權(quán))人：寧波大學(xué)，
類型：發(fā)明
國別省市：浙江,33