一種對于合成圖像的質量評價方法技術

本發明專利技術涉及一種對于合成圖像的質量評價方法，其特征在于：首先，根據合成算法破壞了圖像的結構，設計基于中性域提取局部結構特征圖，然后基于結構圖計算結構分數；其次，考慮到在合成過程中和后續的渲染過程中，合成圖像的紋理被不同程度的破壞，設計基于頻域提取圖像的局部紋理圖，之后基于紋理圖計算紋理分數；再后，通過考慮合成圖像中特有的拉伸失真，設計提取拉伸區域，之后基于拉伸區域計算拉伸分數；最后，將三個得到的質量分數池化得到最終的合成圖像質量分數。實驗結果表明，與最先進的方法相比，該方法在預測合成圖像的視覺質量方面表現了良好的有效性和優越性。

A quality evaluation method for synthetic image

【技術實現步驟摘要】
一種對于合成圖像的質量評價方法
本專利技術設計了一種全參考合成圖像質量評價方法，屬于多媒體
，具體屬于數字圖像和數字視頻處理

技術介紹
近些年來，合成圖像算法得到了研究學者們的廣泛關注，該算法可以應用于多種領域，包括3D電視、虛擬現實、自由視點電視等等。合成圖像算法只需一個視點圖像和相對應的深度圖便可以合成其他視點的虛擬視圖，它不僅減少了數據的傳輸量、網絡帶寬使用率，而且還節省了時間、減少了人力、物力的耗費。然而，現有的合成圖像算法合成得到的圖像可能會丟失一些重要的信息，這將導致圖像質量降低。在根據某一視點圖像和相對應的深度圖合成其他視點圖像時，較好的合成算法可以保存較好的結構信息、紋理信息、色彩信息。但是，到目前為止，還未有較好的合成圖像算法能夠合成高質量的圖像。因此，如何評價通過合成算法得到的合成圖像的視覺質量對于設計有效的合成算法是很重要的。一般來說，主觀質量評估是最有效和最可靠的，它反應了人眼對圖像質量好壞的直觀判斷。提出能夠對合成圖像進行自動評價的算法的目的在于：(1)可以設計合成圖像質量評價算法內嵌到合成圖像的任何處理環節，來對合成得到的圖像質量進行監督并及時進行反饋，有利于后續的優化處理。(2)通過高效的合成圖像質量評價方法，可以對合成圖像算法進行指導，有利于提高算法性能，增強合成圖像質量與人眼主觀評判好壞的相關性。同時可指引合成算法關注與主觀質量關系密切的組成部分，以精簡算法，提高合成圖像的轉換速率。因此，有效且預測準確的合成圖像質量評價算法對于合成圖像的發展會有很大的促進作用。
技術實現思路
為了改善評價結果受圖像失真類型及內容的影響的不足，本專利技術就合成圖像質量評價模型提出了一種新的方法，所用的視覺信息包含局部結構信息、局部紋理信息、拉伸區域信息。本專利技術涉及一種對于合成圖像的質量評價方法，其特征在于：首先，根據合成算法破壞了圖像的結構，設計基于中性域提取局部結構特征圖，然后基于結構圖計算結構分數；其次，考慮到在合成過程中和后續的渲染過程中，合成圖像的紋理被不同程度的破壞，設計基于頻域提取圖像的局部紋理圖，之后基于紋理圖計算紋理分數；再后，通過考慮合成圖像中特有的拉伸失真，設計提取拉伸區域，之后基于拉伸區域計算拉伸分數；最后，將三個得到的質量分數池化得到最終的合成圖像質量分數。實驗結果表明，與最先進的方法相比，該方法在預測合成圖像的視覺質量方面表現了良好的有效性和優越性。一種對于合成圖像的質量評價方法，其特征在于，包括以下步驟：A、基于中性域提取合成圖像中局部結構特征，以評估合成圖像的結構變化；B、基于頻域提取合成圖像中局部紋理特征，描述合成圖像的質量退化情況；C、提取合成圖像中的拉伸區域，基于拉伸區域計算信息熵，描述合成圖像中拉伸區域的能量變化情況；D、采用池化操作合理融合三個模塊的質量分數得到最終的合成圖像質量分數。進一步地，其包含視覺特征、局部特征。進一步地，局部特征包含有：結構特征、紋理特征、拉伸特征。進一步地，其中，關于結構特征的具體步驟是：A.中性域中的三個子集T、I、F可被定義為：F(i,j)＝1-T(i,j)(3)其中，d(i,j)代表圖像中的像素點，和分別表示的最大值和最小值，符號N代表均值濾波滑動窗口的大小，和分別代表的最大值和最小值，符號|·|代表計算絕對值；B.基于RGB三個通道的參考圖像和合成圖像，可計算得到6個I子集圖，由于I子集圖中包含有效的結構信息，采用中性域中的I子集提取結構信息，得到的6個結構命名為IR,IG,IB,IGs,IGs,IBs；C.其中，IR,IG,IB,IGs,IGs,IBs6個結構圖被作為圖像的一階導數圖，考慮到圖像的二階導數可以提取到圖像中更加細節的信息，采用sobel算子濾波得到6個二階導數圖；D.由于RGB三個通道在紋理、相位和邊緣方面具有較高相似性和一致性，采用min函數來降低特征冗余度，最終的參考圖像結構圖Imin(i,j)和合成圖像結構圖Ismin(i,j)可通過下式計算得到：Imin＝min(IR,IG,IB)(12)Ismin＝min(IRs,IGs,IBs)(13)E.最終局部結構質量分數計算過程如下：Idiff(i,j)＝|Imin(i,j)-Ismin(i,j)|(14)其中M和N分別代表圖像的長和寬。進一步地，其中，紋理特征的具體步驟是：A.紋理特征圖的提取采用了log-Gabor濾波器，該濾波器可以同時分析到圖像空域和頻域的信息，其中，2Dlog-Gabor濾波器定義如下：其中l0代表中心頻率，θ0表示中心方向，σ和σθ分別是頻率和方向的寬度參數，其中，采用了一個尺度和4個方向0°、45°、90°和135°；對于一副圖像，通過log-Gabor濾波器濾波得到4個復雜矩陣，每個復雜矩陣可以通過下式計算得到：其中Gr(i,j)和Gi(i,j)分別表示復數的實部和虛部；B.參考圖像和合成圖像進行log-Gabor濾波后，分別得到四個紋理特征圖，依次命名為T0、T45、T90、T135、參考圖像和合成圖像相應的差異紋理圖可以通過下式計算得到：最終利用公式(15)可以計算得到四個質量分數，將四個質量分數的均值作為最終紋理分數。進一步地，其中，拉伸分數的具體步驟是：A.提取圖像的拉伸區域，計算公式如下：E0.2＝0.2×W(23)E0.8＝(1-0.2)×W(24)其中W表示圖像的寬，E0.2和E0.8分別代表圖像的左部分(占20％)、右部分(占20％)；B.基于提取到的拉伸區域，計算信息熵作為該模塊的質量分數；其中p(x)表示灰度圖像的一維信息熵；最終的拉伸質量分數可以通過下式計算得到：Escore＝|E-Es|(27)其中，E和Es分別表示參考圖像拉伸分數和合成圖像拉伸分數。進一步地，最終的質量分數需要融合得到一個預測圖像質量分數：其中的參數α，γ和β用來平衡結構、紋理和拉伸分數的相對貢獻，Iscore、Tscore和Escore分別表示結構分數、紋理分數和拉伸分數。附圖說明圖1為本專利技術的算法框架圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。其中，本文所涉及的技術特征、簡寫/縮本文檔來自技高網...

【技術保護點】
1.一種對于合成圖像的質量評價方法，其特征在于，包括以下步驟：/nA、基于中性域提取合成圖像中局部結構特征，以評估合成圖像的結構變化；/nB、基于頻域提取合成圖像中局部紋理特征，描述合成圖像的質量退化情況；/nC、提取合成圖像中的拉伸區域，基于拉伸區域計算信息熵，描述合成圖像中拉伸區域的能量變化情況；/nD、采用池化操作合理融合三個模塊的質量分數得到最終的合成圖像質量分數。/n

【技術特征摘要】
1.一種對于合成圖像的質量評價方法，其特征在于，包括以下步驟：
A、基于中性域提取合成圖像中局部結構特征，以評估合成圖像的結構變化；
B、基于頻域提取合成圖像中局部紋理特征，描述合成圖像的質量退化情況；
C、提取合成圖像中的拉伸區域，基于拉伸區域計算信息熵，描述合成圖像中拉伸區域的能量變化情況；
D、采用池化操作合理融合三個模塊的質量分數得到最終的合成圖像質量分數。


2.根據權利要求1所述的一種對于合成圖像的質量評價方法，其特征在于：其包含視覺特征、局部特征。


3.根據權利要求2所述的一種對于合成圖像的質量評價方法，其特征在于：局部特征包含有：結構特征、紋理特征、拉伸特征。


4.根據權利要求3所述的一種對于合成圖像的質量評價方法，其特征在于：其中，關于結構特征的具體步驟是：
A.中性域中的三個子集T、I、F可被定義為：






F(i，j)＝1-T(i，j)(3)






其中，d(i，j)代表圖像中的像素點，和分別表示的最大值和最小值，符號N代表均值濾波滑動窗口的大小，和分別代表的最大值和最小值，符號|·|代表計算絕對值；
B.基于RGB三個通道的參考圖像和合成圖像，可計算得到6個I子集圖，由于I子集圖中包含有效的結構信息，采用中性域中的I子集提取結構信息，得到的6個結構命名為IR，IG，IB，IGs，IGs，IBs；


















C.其中，IR，IG，IB，IGs，IGs，IBs6個結構圖被作為圖像的一階導數圖，考慮到圖像的二階導數可以提取到圖像中更加細節的信息，采用sobel算子濾波得到6個二階導數圖；
D.由于RGB三個通道在紋理、相位和邊緣方面具有較高相似性和一致性，采用min函數來降低特征冗余度，最終的參考圖像結構圖Imin(i，j)和合成圖像結構圖Ismin(i，j)可通過下式計算得到：
Imin＝min(IR，IG，IB)(12)
Ismin＝min(IRs，IGs，IBs)(13)
E.最終局部結構質量分數計算過程如下：
Idiff(i，j)＝|Imin(i，j)-Ismin...

【專利技術屬性】
技術研發人員：方玉明，鄢杰斌，丁夢娜，眭相杰，
申請(專利權)人：方玉明，
類型：發明
國別省市：江西;36