一種評估水下視頻質量的無參考評價方法技術

本發明專利技術公開了一種評估水下視頻質量的無參考評價方法，屬于視頻分析技術領域，利用深度神經網絡提取出視頻幀的語義特征，結合水下彩色圖像質量評價指標

【技術實現步驟摘要】
一種評估水下視頻質量的無參考評價方法


[0001]本專利技術屬于視頻分析
，具體涉及一種評估水下視頻質量的無參考評價方法
。

技術介紹

[0002]視頻圖像的質量評價指標準可以分為主觀評價方法和客觀評價方法
。
主觀評價由觀察者對視頻或圖像給出主觀評分，符合人眼視覺特性，但工作量大
、
實時性差
、
無法自動化實現，在水下視頻圖像的質量評分上并不適用
。
客觀評價方法是利用計算機算法進行打分，可以進行實時在線測評，根據評價時是否需要參考圖像又可以分為全參考
、
半參考
(
部分參考
)
和無參考三類評價方法
。
視頻質量指標，尤其是實用性更強的客觀評價指標，在視頻技術研究中處于關鍵地位
。
有效且準確的視頻質量評價指標能直接衡量視頻質量，也引導著高質量視頻的獲取，還是驗證水下視頻增強與復原算法性能的重要手段
。
[0003]水下視頻在水域尤其是海洋的探索開發中，有不可替代的作用
。
不同于通常大氣環境下的視頻，水下視頻由于特殊的光學環境導致的色偏
、
模糊
、
光照不均
、
對比度低以及成像設備在水中晃動導致的失焦等問題，存在明顯的質量退化
。
通用的自然視頻評價指標并不能準確的衡量水下視頻質量
。
因此，需要建立針對水下視頻的質量評價指標
。
因為水下視頻通常缺少高質量參考視頻，所以需要采用無參考的方法進行水下視頻質量評價
。
而目前，現有技術中沒有針對水下視頻質量評價的無參考評價指標
。

技術實現思路

[0004]專利技術目的：針對通用視頻質量評價指標不能準確評估水下視頻質量這一問題，基于傳統的圖像質量評價指標和深度神經網絡技術，本專利技術提出一種評估水下視頻質量的無參考評價方法
。
[0005]技術方案：為實現本專利技術的目的，本專利技術所采用的技術方案是：一種評估水下視頻質量的無參考評價方法，具體如下：
[0006]本專利技術將水下視頻分解成幀，并按幀處理，每一幀即為一張水下圖像
。
首先，針對水下視頻特有的色偏
、
模糊
、
霧化等質量退化因素，本專利技術使用一組圖像質量評價指標獲得視頻幀的退化特征
。
使用水下彩色質量評價指標
UCIQE
提取視頻幀的色彩特征，該指標以色度
、
飽和度和對比度為測量分量，通過線性的方式將測量分量線性組合，有效地量化了水下圖像的色彩和對比度；使用邊緣圖像塊的對比度指數值和來表示水下彩色圖像的模糊程度，提取出視頻幀模糊程度特征；使用自然圖像質量指標
NIQE
衡量水下圖像的霧化程度，測試圖像的
NIQE
指標表示為從測試圖像中提取的
NSS
?
自然場景統計特征的
MVG
模型與從自然圖像語料中提取的質量感知特征的
MVG
模型之間的距離
。
本專利技術用水下圖像與自然圖像的距離來衡量水下圖像的霧化程度
。
其次，人類對視覺圖像
/
視頻質量的判斷受到內容的影響，針對視頻內容的感知問題，本專利技術使用預訓練的
ResNet50
深度神經網絡結合特征注意力機制提取視頻幀的語義特征向量，降維后得到視頻幀的語義質量分數
。
然后，將各指標分
數進行歸一化處理，與語義質量分數進行拼接，得到每一幀的特征向量
。
最后，使用門循環單元網絡捕獲視頻幀之間的時序信息并進行特征融合，加上時序注意力機制，得到最終的視頻質量分數
。
[0007]本專利技術方法具體實現包括以下模塊：
[0008]模塊1：退化特征提取模塊；
[0009]模塊2：語義特征提取模塊；
[0010]模塊3：時序信息與特征融合模塊
。
[0011]模塊1：退化特征提取模塊
。
水下視頻的主要退化現象包括色偏
、
模糊和霧化，因此本專利技術提取出這三種退化對應的分數作為視頻退化特征
。
[0012]步驟
1.1
：計算視頻幀色彩分數
S
col
。
[0013]UCIQE(underwater colour image quality evaluation)
是一種使用廣泛的水下圖像質量指標
。
以色度
、
飽和度和對比度為測量分量，通過線性的方式將測量分量線性組合，有效地量化了水下圖像的色彩
、
模糊程度和對比度
。UCIQE
的計算公式如式
(1)
所示：
[0014]UCIQE
＝
c1×
σ
c
+c2×
con
l
+c3×
μ
s
????????????????????
(1)
[0015]其中，
σ
c
是視頻幀的色度的標準方差，
con
l
是視頻幀的亮度的對比度，
μ
s
是視頻幀的飽和度的平均值
。c1、c2和
c3代表權重
。
原始的系數
c1＝
0.4680
，
c2＝
0.2745
，
c3＝
0.2576。
即視頻幀的色彩特征分數
S
col
＝
UCIQE。
[0016]步驟
1.2
：計算視頻幀模糊分數
S
blu
。
[0017]由于水介質的散射，特別是前向散射的影響，使水下圖像嚴重失真，出現模糊
。
本專利技術利用邊緣圖像塊的對比度指數值來表示水下彩色圖像的模糊
。
[0018]尋找邊緣圖像塊的方法是判斷邊緣像素的數量是否大于一個塊中像素總數的設定比例值
。
模糊指數為所有邊緣圖像塊均方根對比度值之和，均方根對比度之和計算公式如式
(2)
所示：
[0019][0020]其中，
H*W
為視頻幀的尺寸，
H
是圖像像素的高度，
W
是圖像像素的寬度，
T
是邊緣圖像塊的個數，
V
(i,j)
是視頻幀
V
中處于
(i,j)
位置處的像素值，是所有像素的平均強度
。
視頻幀的模糊特征分數
S
blu
＝
...

【技術保護點】

【技術特征摘要】
1.
一種評估水下視頻質量的無參考評價方法，其特征在于，包括以下步驟：首先，將水下視頻分解成幀，并按幀處理，每一幀即為一張水下圖像，對視頻幀進行退化特征提取，提取出色偏
、
模糊和霧化這三種退化對應的分數作為視頻退化特征；其次，使用預訓練的
ResNet50
深度神經網絡結合特征注意力機制提取視頻幀的語義特征向量，降維后得到視頻幀的語義質量分數；然后，將視頻退化特征各指標分數進行歸一化處理，與語義質量分數進行拼接，得到每一幀的特征向量；最后，使用門循環單元網絡捕獲視頻幀之間的時序信息并進行特征融合，加上時序注意力機制，得到最終的視頻質量分數
。2.
根據權利要求1所述的一種評估水下視頻質量的無參考評價方法，其特征在于，使用水下彩色質量評價指標
UCIQE
提取視頻幀的色彩特征；該指標以色度
、
飽和度和對比度為測量分量，通過線性的方式將測量分量線性組合，量化水下圖像的色彩和對比度；
UCIQE
計算公式如下：
UCIQE
＝
c1×
σ
c
+c2×
con
l
+c3×
μ
s
????
(1)
其中，
σ
c
是視頻幀的色度的標準方差，
con
l
是視頻幀的亮度的對比度，
μ
s
是視頻幀的飽和度的平均值；
c1、c2和
c3代表權重；視頻幀色彩分數
S
col
＝
UCIQE。3.
根據權利要求1所述的一種評估水下視頻質量的無參考評價方法，其特征在于，使用邊緣圖像塊的對比度指數值表示水下圖像的模糊程度，提取出視頻幀模糊程度特征；尋找邊緣圖像塊的方法是判斷邊緣像素的數量是否大于一個塊中像素總數的設定比例值；模糊指數為所有邊緣圖像塊均方根對比度值之和，計算公式如下：其中，
Blu(V)
是均方根對比度之和，
H*W
為視頻幀的尺寸，
H
是圖像像素的高度，
W
是圖像像素的寬度，
T
是邊緣圖像塊的個數，
V
(i
，
j)
是視頻幀
V
中處于
(i
，
j)
位置處的像素值，是所有像素的平均強度；視頻幀的模糊特征分數
S
blu
＝
Blu(V)。4.
根據權利要求1所述的一種評估水下視頻質量的無參考評價方法，其特征在于，使用自然圖像質量指標
NIQE
衡量水下圖像的霧化程度；測試圖像的
NIQE
指標表示為從測試圖像中提取的
...

【專利技術屬性】
技術研發人員：胡凱，蔣瑤，陳彥霖，
申請(專利權)人：南京信息工程大學，
類型：發明
國別省市：