基于雙目融合特征相似度的無參考立體圖像質量評價方法技術

本發明專利技術公開了一種基于雙目融合特征相似度的無參考立體圖像質量評價方法，其通過對待評價的失真立體圖像的左視點圖像和右視點圖像分別進行Gabor濾波和LOG濾波，得到左右視點融合圖像和左右視點融合視覺特征圖；然后計算左右視點融合圖像與左右視點融合視覺特征圖之間的自相似度圖像；再獲取自相似度圖像的量化圖像的直方圖統計特征向量和自相似度圖像的局部二值化模式圖像的直方圖統計特征向量；最后獲取待評價的失真立體圖像的客觀質量評價預測值；優點是其能夠充分考慮到立體視覺感知特性，從而能夠有效地提高客觀評價結果與主觀感知之間的相關性。

【技術實現步驟摘要】
基于雙目融合特征相似度的無參考立體圖像質量評價方法
本專利技術涉及一種立體圖像質量客觀評價方法，尤其是涉及一種基于雙目融合特征相似度的無參考立體圖像質量評價方法。
技術介紹
進入二十一世紀以來，隨著立體圖像/視頻系統處理技術的日趨成熟，以及計算機網絡與通信技術的快速發展，已引起人們對立體圖像/視頻系統的強烈需求。相比傳統的單視點圖像/視頻系統，立體圖像/視頻系統由于能夠提供深度信息來增強視覺的真實感，給用戶以身臨其境的全新視覺體驗而越來越受到人們的歡迎，已被認為是下一代媒體主要的發展方向，已引發了學術界、產業界的廣泛關注。然而，人們為了獲得更好的立體臨場感和視覺體驗，對立體視覺主觀感知質量提出了更高的要求。在立體圖像/視頻系統中，采集、編碼、傳輸、解碼及顯示等處理環節都會引入一定失真，這些失真將對立體視覺主觀感知質量產生不同程度的影響，因此如何有效地進行無參考質量評價是亟需解決的難點問題。綜上，評價立體圖像質量，并建立與主觀質量評價相一致的客觀評價模型顯得尤為重要。目前，研究人員提出了不少針對單視點視覺質量的無參考評價方法，然而由于缺乏系統理論深入研究立體視覺感知特性，因此還沒有有效地無參考立體圖像質量評價方法。相比單視點視覺質量無參考評價模型，無參考立體圖像質量評價模型需要考慮不同失真類型立體掩蔽效應以及與之相關的雙目競爭/抑制和雙目融合等立體感知因素對視覺質量的影響。因此，不能簡單地把現有的單視點視覺質量無參考評價模型直接擴展到無參考立體圖像質量評價方法中。現有的無參考質量客觀評價方法主要是通過機器學習來預測評價模型的，但針對立體圖像，現有的立體圖像評價方法還是平面圖像評價方法的簡單擴展，并沒有考慮雙目視覺特性，因此，如何在評價過程中有效地提取特征信息，在評價過程中進行雙目視覺特性結合，使得客觀評價結果更加符合人類視覺感知系統，是立體圖像進行客觀質量評價過程中需要研究解決的問題。
技術實現思路
本專利技術所要解決的技術問題是提供一種基于雙目融合特征相似度的無參考立體圖像質量評價方法，其能夠充分考慮到立體視覺感知特性，從而能夠有效地提高客觀評價結果與主觀感知之間的相關性。本專利技術解決上述技術問題所采用的技術方案為：一種基于雙目融合特征相似度的無參考立體圖像質量評價方法，其特征在于包括以下步驟：①令Sdis表示待評價的失真立體圖像，將Sdis的左視點圖像記為{Ldis(x,y)}，將Sdis的右視點圖像記為{Rdis(x,y)}；然后采用塊匹配方法，計算{Ldis(x,y)}與{Rdis(x,y)}之間的視差圖像，記為{ddis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的寬度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐標位置為(x,y)的像素點的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐標位置為(x,y)的像素點的像素值，ddis(x,y)表示{ddis(x,y)}中坐標位置為(x,y)的像素點的像素值；②采用Gabor濾波方法對{Ldis(x,y)}進行操作，得到左視點響應圖，記為{GL,dis(x,y)}；并采用LOG濾波方法對{Ldis(x,y)}進行操作，得到左視點視覺特征圖，記為{FL,dis(x,y)}；其中，GL,dis(x,y)表示{GL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FL,dis(x,y)表示{FL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；同樣，采用Gabor濾波方法對{Rdis(x,y)}進行操作，得到右視點響應圖，記為{GR,dis(x,y)}；并采用LOG濾波方法對{Rdis(x,y)}進行操作，得到右視點視覺特征圖，記為{FR,dis(x,y)}；其中，GR,dis(x,y)表示{GR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FR,dis(x,y)表示{FR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；③根據{Ldis(x,y)}和{Rdis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合圖像，記為{RL,R,dis(x,y)}，其中，RL,R,dis(x,y)表示{RL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；④根據{FL,dis(x,y)}和{FR,dis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合視覺特征圖，記為{FL,R,dis(x,y)}，其中，FL,R,dis(x,y)表示{FL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；⑤計算{RL,R,dis(x,y)}與{FL,R,dis(x,y)}之間的自相似度圖像，記為{Hdis,sim(x,y)}，其中，Hdis,sim(x,y)表示{Hdis,sim(x,y)}中坐標位置為(x,y)的像素點的像素值；⑥采用量化方法對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的量化圖像，記為{Hdis,sim,Q(x,y)}；并采用局部二值化模式操作對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的局部二值化模式圖像，記為{Hdis,sim,lbp(x,y)}；其中，Hdis,sim,Q(x,y)表示{Hdis,sim,Q(x,y)}中坐標位置為(x,y)的像素點的像素值，Hdis,sim,lbp(x,y)表示{Hdis,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值；⑦采用直方圖統計方法對{Hdis,sim,Q(x,y)}進行統計操作，得到{Hdis,sim,Q(x,y)}的直方圖統計特征向量，記為Hdis,sim,Q,hist；同樣，采用直方圖統計方法對{Hdis,sim,lbp(x,y)}進行統計操作，得到{Hdis,sim,lbp(x,y)}的直方圖統計特征向量，記為Hdis,sim,lbp,hist；其中，Hdis,sim,Q,hist的維數為1×m'維，Hdis,sim,Q,hist中的第m個元素為Hdis,sim,Q,hist(m)，Hdis,sim,lbp,hist的維數為1×m'維，Hdis,sim,lbp,hist中的第m個元素為Hdis,sim,lbp,hist(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的領域參數；⑧采用n”幅原始的無失真立體圖像，建立其在不同失真類型不同失真程度下的失真立體圖像集合，將該失真立體圖像集合作為訓練集，訓練集包括多幅失真立體圖像；然后利用主觀質量評價方法評價出訓練集中的每幅失真立體圖像的平均主觀評分值，將訓練集中的第j幅失真立體圖像的平均主觀評分值記為DMOSj；再按照步驟①至步驟⑦的操作，以相同的方式獲取訓練集中的每幅失真立體圖像對應的自相似度圖像的量化圖像的直方圖統計特征向量和自相似度圖像的局部二值化模式圖像的直方圖統計特征向量，將訓練集中的第j幅失真立體圖像對應的自相似度圖像的量化圖像的直方圖統計特征向量和自相似度圖像的局部二值化模式圖像的直方圖統計特征向量分別本文檔來自技高網...

【技術保護點】
一種基于雙目融合特征相似度的無參考立體圖像質量評價方法，其特征在于包括以下步驟：①令Sdis表示待評價的失真立體圖像，將Sdis的左視點圖像記為{Ldis(x,y)}，將Sdis的右視點圖像記為{Rdis(x,y)}；然后采用塊匹配方法，計算{Ldis(x,y)}與{Rdis(x,y)}之間的視差圖像，記為{ddis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的寬度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐標位置為(x,y)的像素點的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐標位置為(x,y)的像素點的像素值，ddis(x,y)表示{ddis(x,y)}中坐標位置為(x,y)的像素點的像素值；②采用Gabor濾波方法對{Ldis(x,y)}進行操作，得到左視點響應圖，記為{GL,dis(x,y)}；并采用LOG濾波方法對{Ldis(x,y)}進行操作，得到左視點視覺特征圖，記為{FL,dis(x,y)}；其中，GL,dis(x,y)表示{GL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FL,dis(x,y)表示{FL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；同樣，采用Gabor濾波方法對{Rdis(x,y)}進行操作，得到右視點響應圖，記為{GR,dis(x,y)}；并采用LOG濾波方法對{Rdis(x,y)}進行操作，得到右視點視覺特征圖，記為{FR,dis(x,y)}；其中，GR,dis(x,y)表示{GR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FR,dis(x,y)表示{FR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；③根據{Ldis(x,y)}和{Rdis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合圖像，記為{RL,R,dis(x,y)}，其中，RL,R,dis(x,y)表示{RL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；④根據{FL,dis(x,y)}和{FR,dis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合視覺特征圖，記為{FL,R,dis(x,y)}，其中，FL,R,dis(x,y)表示{FL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；⑤計算{RL,R,dis(x,y)}與{FL,R,dis(x,y)}之間的自相似度圖像，記為{Hdis,sim(x,y)}，其中，Hdis,sim(x,y)表示{Hdis,sim(x,y)}中坐標位置為(x,y)的像素點的像素值；⑥采用量化方法對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的量化圖像，記為{Hdis,sim,Q(x,y)}；并采用局部二值化模式操作對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的局部二值化模式圖像，記為{Hdis,sim,lbp(x,y)}；其中，Hdis,sim,Q(x,y)表示{Hdis,sim,Q(x,y)}中坐標位置為(x,y)的像素點的像素值，Hdis,sim,lbp(x,y)表示{Hdis,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值；⑦采用直方圖統計方法對{Hdis,sim,Q(x,y)}進行統計操作，得到{Hdis,sim,Q(x,y)}的直方圖統計特征向量，記為Hdis,sim,Q,hist；同樣，采用直方圖統計方法對{Hdis,sim,lbp(x,y)}進行統計操作，得到{Hdis,sim,lbp(x,y)}的直方圖統計特征向量，記為Hdis,sim,lbp,hist；其中，Hdis,sim,Q,hist的維數為1×m'維，Hdis,sim,Q,hist中的第m個元素為Hdis,sim,Q,hist(m)，Hdis,sim,lbp,hist的維數為1×m'維，Hdis,sim,lbp,hist中的第m個元素為Hdis,sim,lbp,hist(m)，1≤m≤m'，m'＝P+2，P表示局部二值化模式操作中的領域參數；⑧采用n”幅原始的無失真立體圖像，建立其在不同失真類型不同失真程度下的失真立體圖像集合，將該失真立體圖像集合作為訓練集，訓練集包括多幅失真立體圖像；然后利用主觀質量評價方法評價出訓練集中的每幅失真立體圖像的平均主觀評分值，將訓練集中的第j幅失真立體圖像的平均主觀評分值記為DMOSj；再按照步驟①至步驟⑦的操作，以相同的方式獲取訓練集中的每幅失真立體圖像對應的自相似度圖像的量化圖像的直方圖統計特征向量和自相似度圖像的局部二值化...

【技術特征摘要】
1.一種基于雙目融合特征相似度的無參考立體圖像質量評價方法，其特征在于包括以下步驟：①令Sdis表示待評價的失真立體圖像，將Sdis的左視點圖像記為{Ldis(x,y)}，將Sdis的右視點圖像記為{Rdis(x,y)}；然后采用塊匹配方法，計算{Ldis(x,y)}與{Rdis(x,y)}之間的視差圖像，記為{ddis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的寬度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐標位置為(x,y)的像素點的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐標位置為(x,y)的像素點的像素值，ddis(x,y)表示{ddis(x,y)}中坐標位置為(x,y)的像素點的像素值；②采用Gabor濾波方法對{Ldis(x,y)}進行操作，得到左視點響應圖，記為{GL,dis(x,y)}；并采用LOG濾波方法對{Ldis(x,y)}進行操作，得到左視點視覺特征圖，記為{FL,dis(x,y)}；其中，GL,dis(x,y)表示{GL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FL,dis(x,y)表示{FL,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；同樣，采用Gabor濾波方法對{Rdis(x,y)}進行操作，得到右視點響應圖，記為{GR,dis(x,y)}；并采用LOG濾波方法對{Rdis(x,y)}進行操作，得到右視點視覺特征圖，記為{FR,dis(x,y)}；其中，GR,dis(x,y)表示{GR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值，FR,dis(x,y)表示{FR,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；③根據{Ldis(x,y)}和{Rdis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合圖像，記為{RL,R,dis(x,y)}，其中，RL,R,dis(x,y)表示{RL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；④根據{FL,dis(x,y)}和{FR,dis(x,y)}、{GL,dis(x,y)}和{GR,dis(x,y)}、{ddis(x,y)}，計算Sdis的左右視點融合視覺特征圖，記為{FL,R,dis(x,y)}，其中，FL,R,dis(x,y)表示{FL,R,dis(x,y)}中坐標位置為(x,y)的像素點的像素值；⑤計算{RL,R,dis(x,y)}與{FL,R,dis(x,y)}之間的自相似度圖像，記為{Hdis,sim(x,y)}，其中，Hdis,sim(x,y)表示{Hdis,sim(x,y)}中坐標位置為(x,y)的像素點的像素值；⑥采用量化方法對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的量化圖像，記為{Hdis,sim,Q(x,y)}；并采用局部二值化模式操作對{Hdis,sim(x,y)}進行處理，得到{Hdis,sim(x,y)}的局部二值化模式圖像，記為{Hdis,sim,lbp(x,y)}；其中，Hdis,sim,Q(x,y)表示{Hdis,sim,Q(x,y)}中坐標位置為(x,y)的像素點的像素值，Hdis,sim,lbp(x,y)表示{Hdis,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值；⑦采用直方圖統計方法對{Hdis,sim,Q(x,y)}進行統計操作，得到{Hdis,sim,Q(x,y)}的直方圖統計特征向量，記為Hdis,sim,Q,hist；同樣，采用直方圖統計方法對{Hdis,sim,lbp(x,y)}進行統計操作，得到{Hdis,sim,lbp(x,y)}的直方圖統計特征向量，記為Hdis,sim,lbp,hist；其中，Hdis,sim,Q,hist的維數為1×m'維，Hdis,sim,Q,hist中的第m個元素為Hdis,sim,Q,hi...

【專利技術屬性】
技術研發人員：周武杰，王中鵬，邱薇薇，周揚，吳茗蔚，翁劍楓，葛丁飛，王新華，孫麗慧，陳壽法，鄭衛紅，李鑫，吳潔雯，文小軍，金國英，
申請(專利權)人：浙江科技學院，
類型：發明
國別省市：浙江;33