視頻質量評價方法技術

本發明專利技術提出了一種基于圖像結構和人眼視覺特性的全參考圖像質量評價方法，先獲取多視點視頻的源圖像和目標圖像，用顯著圖提取工具箱提取目標圖像的感興趣區域的顯著圖，對顯著圖和目標圖像進行區域匹配，求得最佳加權系數，利用基于圖像結構和人眼視覺的全參考質量評價方法對其進行客觀質量評價。相較于基于3DGMM直方圖的顏色校正方法，本發明專利技術校正效果更佳。并且根據客觀質量評價方法得到評價結果，更符合主客觀的一致性。

【技術實現步驟摘要】
視頻質量評價方法
本專利技術涉及一種多視點視頻圖像處理方法，尤其涉及一種多視點視頻感興趣區域圖像質量評價方法。
技術介紹
隨著數字視頻的迅速發展和廣泛應用，用2D描述的真實世界已不能滿足人們日益增長的視覺需求；但3D立體視頻數據量龐大，這對通信系統中的帶寬和存儲空間提出了嚴峻的挑戰，因此3D視頻數據的高效壓縮意義重大。為了降低數據在存儲和傳輸過程中所占帶寬，往往會在量化過程中降低視頻質量，這會導致數字視頻數據的失真。由于壓縮編碼后的視頻的質量直接反映了改壓縮算法或壓縮算法的性能，視頻服務系統必須能夠及時把握并量化視頻質量下降的情況，因此視頻信息質量評價成為一個值得關注的問題。視頻質量評價包括主觀質量評價(主觀感覺評價法)和客觀質量評價(客觀評定法)。目前大多數圖像處理系統的以人眼為終端系統，它是最直接也是最可靠的圖像質量評價方法，但是這種主觀質量評價操作復雜、受觀測環境和觀察者的背景差異影響大、實時性差，無法適應當前多數視頻服務系統。客觀質量評價包括全參考、部分參考和無參考數據的視頻質量度量。ITU-R專家組將峰值信噪比(PSNR)和均方根誤差(MSE)作為傳統的兩種客觀質量評價標準，但是實踐證明這兩種方法經常出現與人的主觀感覺不一致的情況。這兩種全參考方法是假定在判斷視頻質量時可獲得未失真的原始視頻，來對比失真視頻和原始視頻從而評價失真視頻的質量，所得的并不是真正的圖像質量，而是相似程度或保真程度。大部分視頻服務應用中，人是最終的視頻接收者，對于各種圖像質量客觀評價方法，其研究的目的必須是使客觀質量的評價結果與人的主觀感覺相符，因此，仍需要新的視頻質量評價方法。
技術實現思路
針對目前視頻質量評價方法存在的不足，本專利技術提供了一種視頻質量評價方法。本專利技術所述的視頻質量評價方法，包括：——獲取多視點視頻的源圖像和目標圖像，在獲取的目標圖像中采集顯著圖，其(x,y)位置的灰度值為S(x,y)；將獲得的顯著圖和源圖像中相同位置的區域進行匹配，公式為：bj＝cj×S(x,y)；其中，Iref(x,y)為源圖像在(x,y)位置的像素R、G、B中某一顏色的分量值，源圖像與目標圖像中匹配像素點在圖像中位置上的差異為(Δx,Δy)，Itar(x+Δx,y+Δy)為目標圖像中對應位置的灰度值，aj和bj分別代表乘性因子和加性因子，cj為顯著性圖的乘性因子；通過求源圖像和目標圖像亮度直方圖來求解最佳加權系數aj、bj和cj；將源圖像和目標圖像匹配，進行感興趣區域的多視點顏色校正；——輸出校正后的圖像，利用全參考質量評價方法進行質量評價。在一種優選實施例中，所述全參考質量評價方法包括如下組中的任意一種或幾種：PSNR算法、MSE算法、特征相似性FSIM算法、基于Riesz變換的特征相似性RFSIM算法、基于光譜殘留SR-SIM算法、基于視覺顯著感應VSI算法。在一種優選實施例中，對FSIM指數的計算分為兩個步驟：首先計算局部相似圖，然后將相似圖映射到一個單一的相似性得分。在一種優選實施例中，所述顯著圖為人感興趣區域。所述人感興趣區域是指：吸引人眼注意力的對象。其中，所述人感興趣的區域的采集可以是通過基于顯著度的注意計算模型、或復雜靜止自然圖像顯著度測試模型來實現。在一種優選實施例中，所輸出的校正后的圖像，可以包括彩色圖像、或者彩色圖像與所述彩色圖像所對應的灰度圖。與現有的技術相比，本專利技術提出的基于感興趣區域的視頻質量評價方法的優點在于：通過將視覺注意機制應用于圖像感興趣區域的提取，提取圖像的顯著性圖，可以大大提高效率和準確度，避免不必要的計算資源浪費，同時能得到很好的主觀感知圖，并且和客觀質量評價具有很好的一致性。附圖說明圖1為本專利技術視頻質量評價方法流程示意圖；圖2為本專利技術方法在MATLAB環境下進行測試的實驗結果圖，其中，圖2A為賽車視頻圖像序列實驗結果，圖2B為舞蹈視頻圖像序列實驗結果；圖中帶粗體邊框的為參考圖。具體實施方式本專利技術提出了一種基于圖像結構和人眼視覺特性的全參考圖像質量評價方法，先獲取多視點視頻的源圖像和目標圖像，用顯著圖提取工具箱提取目標圖像的感興趣區域的顯著圖，對顯著圖和源圖像進行區域匹配，求得最佳加權系數，對合成的彩色圖像進行主觀質量評價，再利用基于圖像結構和人眼視覺的全參考質量評價方法對其進行客觀質量評價。參照圖1和圖2，采用640x480的賽車視頻圖像(race1)序列視點圖像和舞蹈視頻圖像(flamenco2)序列視點圖像在MATLAB環境下進行測試，將本申請所述的基于感興趣區域的顏色校正方法與基于3DGMM直方圖的顏色校正方法進行對比。本專利技術方法如下：獲取多視點視頻的源圖像和目標圖像，在獲取的多視點視頻的目標圖像中提取感興趣區域的顯著圖(其灰度值為S(x,y))，再對獲得的顯著圖和源圖像進行匹配；公式可表示為：Iref(x,y)＝aj×Itar(x+Δx,y+Δy)+bj；bj＝cj×S(x,y)；其中，將圖像進行三通道劃分，Iref(x,y)為源圖像在(x,y)位置的像素R、G、B中某一顏色的分量值，源圖像與目標圖像中對應像素在位置上的差異為(Δx,Δy)，Itar(x+Δx,y+Δy)為目標圖像中對應位置的灰度值，aj和bj分別代表乘性因子和加性因子；cj為顯著圖的乘性因子。通過求源圖像和目標圖像亮度直方圖來求解最佳加權系數aj、bj和cj；將源圖像和目標圖像匹配，感興趣區域的多視點顏色校正。輸出校正后的圖像，并對感興趣區域進行質量評價。其中，質量評價包括主觀質量評價。其中，質量評價包括主觀質量評價、以及利用基于圖像結構和人眼視覺的全參考質量評價方法對其進行客觀質量評價。從圖1和圖2中可以看到本文提出的基于感興趣區域的顏色校正方法在主觀上的校正效果良好。本專利技術采用PSNR、MSE、FSIM、RFSIM、SR-SIM、VSI等幾種高效的質量評價方法對提出的基于感興趣區域的顏色校正的結果進行客觀質量評價，實驗結果如表1、表2所示。表1序列race1的第0視點的評價結果表2序列flamenco2的第0視點的評價結果其中，對FSIM指數的計算分兩步，首先計算局部相似圖，然后把相似圖映射到一個單一的相似性得分。再計算基于Riesz變換的特征相似性的評價標準RFSIM、基于光譜殘留的評價指數SR-SIM、基于視覺顯著感應的評價指數VSI，對合成的圖像進行不同標準的客觀質量評價。最后把各種客觀質量評價指標與主觀質量評價相比較，看他們是否符合主客觀質量評價的一致性。從以上表格數據可以看出于感興趣區域的顏色校正方法在客觀指標上的校正效果與主觀感知質量一致。從實驗結果中可以看到，相較于基于3DGMM直方圖的顏色校正方法(圖2中b)部分)，本專利技術實施例中基于感興趣區域的方法在主觀上的校正效果更佳。并且根據客觀質量評價方法得到的結果，相較于基于3DGMM直方圖的顏色校正方法(圖2中b)部分)，本專利技術基于感興趣區域的顏色校正方法在客觀指標上具有較好的效果，即本專利技術提出的方法符合主客觀的一致性。以上對本專利技術的具體實施例進行了詳細描述，但其只是作為范例，本專利技術并不限制于以上描述的具體實施例。對于本領域技術人員而言，任何對本專利技術進行的等同修改和替代也都在本專利技術的范疇之中。因此，在不脫離本專利技術的精神和范圍下所作的均等本文檔來自技高網...

【技術保護點】
一種視頻質量評價方法，其特征在于，包括：——獲取多視點視頻的原圖像和目標圖像，在獲取的目標圖像中采集顯著圖，其(x,y)位置的灰度值為S(x,y)；將獲得的顯著圖和目標圖像中相同位置的區域進行匹配，公式為：Iref(x,y)＝aj×Itar(x+Δx,y+Δy)+bj；bj＝cj×S(x,y)；其中，Iref(x,y)為源圖像在(x,y)位置的像素R、G、B中某一顏色的分量值，源圖像與目標圖像中匹配像素點在圖像中位置上的差異為(Δx,Δy)，Itar(x+Δx,y+Δy)為目標圖像中對應位置的灰度值，aj和bj分別代表乘性因子和加性因子，cj為顯著性圖的乘性因子；通過求原圖像和目標圖像亮度直方圖來求解最佳加權系數aj、bj和cj；將圖像和目標圖像匹配，進行感興趣區域的多視點顏色校正；——輸出校正后的圖像，利用全參考質量評價方法進行質量評價。

【技術特征摘要】
1.一種視頻質量評價方法，其特征在于，包括：——獲取多視點視頻的源圖像和目標圖像，在獲取的目標圖像中采集顯著圖，其(x,y)位置的灰度值為S(x,y)；將獲得的顯著圖和源圖像中相同位置的區域進行匹配，公式為：Iref(x,y)＝aj×Itar(x+Δx,y+Δy)+bj；bj＝cj×S(x,y)；其中，Iref(x,y)為源圖像在(x,y)位置的像素R、G、B中某一顏色的分量值，源圖像與目標圖像中匹配像素點在圖像中位置上的差異為(Δx,Δy)，Itar(x+Δx,y+Δy)為目標圖像中對應位置的灰度值，aj和bj分別代表乘性因子和加性因子，cj為顯著圖的乘性因子；通過求源圖像和目標圖像亮度直方圖來求解最佳加權系數aj、bj和cj；將源圖像和目標圖像匹配，進行感興趣區域的多視點顏色校正；——輸出校正后的圖像，利用全參考質量評價方法進行質量評價。2.根據...

【專利技術屬性】
技術研發人員：張倩，郭文鳳，陳佳佳，王斌，王沛，張靜，黃繼風，
申請(專利權)人：上海師范大學，
類型：發明
國別省市：上海;31