【技術實現步驟摘要】
本專利技術涉及圖像處理，尤其是涉及一種亮度色度聯合學習的水下圖像質量評價系統及其方法。
技術介紹
1、至今為止，水下圖像通常存在對比度低、顏色失真和模糊等問題，這不僅降低了視覺效果，還影響了圖像的實際應用價值?，F有的水下圖像質量評價指標在評估增強圖像質量時表現較差。然而，現有的水下圖像增強算法仍存在以下問題：
2、1.大量的水下圖像增強方法以改善水下圖像的視覺質量為目的，然而，目前面臨的困難主要是水下圖像退化嚴重，真實無失真參考圖像無法獲得。在現有的合成數據集中表現優異的增強算法泛化能力較差，用到真實的水下圖像上表現欠佳，可能會出現過增強、欠增強、結構損失等情況。
3、2.現有的評價指標如uciqe和uiqm等，在評估過增強的圖像時的分數高于最佳增強圖像，在評估增強后圖像的質量時顯得不可靠，這與人類的主觀視覺感知評價不符合。
4、針對上述情況，問題的根源在于這些指標所提取的圖像的全局特征，它們反映圖像的色偏和模糊。對于水下原始圖像而言，圖像越清晰，色彩越鮮艷、對比度越高通常代表著更高的視覺質量。增強算法會引入了額外失真，現有的水下圖像質量評價指標只關注了已經存在的失真(如色偏和模糊)，忽視了增強處理后可能出現的過度增強、結構損失等問題，嚴重影響增強后圖像的質量。
5、公開號為cn111354048a的專利技術專利公開了一種面向相機獲取圖片的質量評價方法，該方法提取亮度和色度特征、圖片噪聲的特征、圖像的結構特征、對比度特征、圖片歸一化系數的統計特征，然后計算圖像與其稀疏表示之間的差異
技術實現思路
1、本專利技術的目的就是為了克服上述現有技術存在的缺陷而提供一種亮度色度聯合學習的水下圖像質量評價系統及其方法。
2、本專利技術的目的可以通過以下技術方案來實現：
3、根據本專利技術的一個方面，提供了一種亮度色度聯合學習的水下圖像質量評價系統，該系統包括雙向參考生成模塊、色度失真評估模塊、亮度失真評估模塊、色度亮度聯合評估模塊；
4、所述雙向參考生成模塊由兩個生成對抗網絡組成，用于生成待評估圖像的未增強和最佳增強的偽參考圖像；
5、所述色度失真評估模塊由卷積層與三層多尺度特征映射模塊級聯組成，用于評價模塊用于檢測色度域中的不同種類的失真，獲得色度質量表示；
6、所述亮度失真評估模塊由并行空間注意力模塊與三層多尺度特征映射模塊級聯組成，用于評價模塊用于檢測亮度域中的不同種類的失真，獲得亮度質量表示；
7、所述色度亮度聯合評估模塊由三層卷積層與密集塊、一層全連接層級聯組成，用于聯合色度質量表示與亮度質量表示得到待評價的增強圖像的圖像質量表示。
8、作為優選的技術方案，多尺度特征映射模塊結構具體為：
9、兩路并行的密集塊與轉換層級聯，輸出得到兩路特征向量，將兩路特征向量串接卷積層、歸一化層和激活函數tanh層的級聯，輸出得到質量表示。
10、作為優選的技術方案，密集塊由n級批歸一化層、relu層、卷積層級聯組成，n≥3。
11、作為優選的技術方案，并行空間注意力模塊由三路并行的卷積所構成，并行卷積核的大小分別為3×3、5×5和7×7，擴張率分別為1、2和3。
12、根據本專利技術的另一個方面，提供了一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，該方法應用如上所述的一種亮度色度聯合學習的水下圖像質量評價系統所工作，方法步驟包括：
13、s1、采集水下原始圖像，利用增強算法對其進行增強，選取增強效果最好的圖像為最佳增強圖像；
14、s2、利用水下原始圖像與最佳增強圖像分別作為標簽訓練兩個生成對抗網絡，得到兩張偽參考圖像，包括原始圖像參考圖和最佳增強參考圖；
15、s3、將s2中得到的兩張偽參考圖像與待評價的增強圖像從rgb格式轉換到ycbcr格式；
16、s4、分離兩張偽參考圖像與待評價的增強圖像的亮度通道y和色度通道cbcr，分別利用搭建的色度失真評估模塊和亮度失真評估模塊從亮度、色度兩個方面對待評價的增強圖像進行圖像質量評價，得到亮度質量表示與色度質量表示；
17、s5、由亮度質量表示與色度質量表示聯合表示待評價的增強圖像的圖像質量。
18、作為優選的技術方案，s2中兩個生成對抗網絡的生成器g采用denseunet網絡，判別器d采用patchgan網絡。
19、作為優選的技術方案，生成器的損失函數采用l2和lvhg感知損失函數為：
20、
21、其中，為在imagenet數據集上預訓練的vgg-19網絡的pool-3層的特征圖；
22、所述判別器的損失函數采用wgan-gp算法：
23、
24、其中，為損失函數，λ為懲罰系數，ig為生成器生成圖像，ik為原始圖像或最佳增強圖像；是鑒別器d的輸出相對于它的輸入的梯度范數，為期望值。
25、作為優選的技術方案，s4中從色度方面對待評價的增強圖像進行圖像質量評價的過程為：
26、將待評估的增強圖像及其未增強參考圖的cbcr通道相減，將未增強參考和最優增強參考的cbcr通道相減，兩值作為多尺度特征映射模塊的輸入，此時多尺度特征映射模塊中三級各級輸出即為圖像的色度質量表示。
27、作為優選的技術方案，s4中從亮度方面對待評價的增強圖像進行圖像質量評價的過程為：
28、所述的將待評價的增強圖像及其對應的原始圖像參考圖的y通道相減，將原始圖像參考圖y通道和最佳增強參考圖y通道相減，兩值作為并行注意力模塊的輸入；并將并行注意力模塊的輸出輸入到多尺度特征映射模塊，此時多尺度特征映射模塊中三級各級輸出即為圖像的亮度質量表示。
29、作為優選的技術方案，s5中聯合表示待評價的增強圖像的圖像質量的具體步驟為：
30、將s4中得到的色度特征表示和亮度特征表示分別進行級聯輸入到密集塊中，再通過計算得到圖像的最終的質量分數，整個網絡的損失函數為為：
31、
32、其中，為計算得到的圖像質量，為該圖像的主觀質量標簽的平均主觀評分。
33、與現有技術相比，本專利技術具有以下優點：
34、1、本專利技術通過利用水下原始圖像與最佳增強圖像分別作為標簽訓練兩個生成對抗網絡，得到兩張偽參考圖像；得到的兩張偽參考圖像與待評價的增強圖像從rgb格式轉換到ycbcr格式；并分離兩張偽參考圖像與待評價的增強圖像的亮通道y和色度通道cbcr，分別從亮度、色度兩個方面對待評價的增強圖像進行圖像質量本文檔來自技高網...
【技術保護點】
1.一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，該系統包括雙向參考生成模塊、色度失真評估模塊、亮度失真評估模塊、色度亮度聯合評估模塊；
2.根據權利要求1所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述的多尺度特征映射模塊結構具體為：
3.根據權利要求2所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述密集塊由n級批歸一化層、ReLU層、卷積層級聯組成，n≥3。
4.根據權利要求1所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述并行空間注意力模塊由三路并行的卷積所構成，并行卷積核的大小分別為3×3、5×5和7×7，擴張率分別為1、2和3。
5.一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，該方法應用如權利要求1-4任一所述的一種亮度色度聯合學習的水下圖像質量評價系統所工作，方法步驟包括：
6.根據權利要求5所述的一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，所述S2中兩個生成對抗網絡的生成器G采用DenseUNet網絡，判別器D采用Pat
7.根據權利要求6所述的一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，所述生成器的損失函數采用L2和Lvgg感知損失函數為：
8.根據權利要求5所述的一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，所述S4中從色度方面對待評價的增強圖像進行圖像質量評價的過程為：
9.根據權利要求5所述的一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，所述S4中從亮度方面對待評價的增強圖像進行圖像質量評價的過程為：
10.根據權利要求5所述的一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，所述S5中聯合表示待評價的增強圖像的圖像質量的具體步驟為：
...【技術特征摘要】
1.一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，該系統包括雙向參考生成模塊、色度失真評估模塊、亮度失真評估模塊、色度亮度聯合評估模塊；
2.根據權利要求1所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述的多尺度特征映射模塊結構具體為：
3.根據權利要求2所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述密集塊由n級批歸一化層、relu層、卷積層級聯組成，n≥3。
4.根據權利要求1所述的一種亮度色度聯合學習的水下圖像質量評價系統，其特征在于，所述并行空間注意力模塊由三路并行的卷積所構成，并行卷積核的大小分別為3×3、5×5和7×7，擴張率分別為1、2和3。
5.一種亮度色度聯合學習的水下圖像質量評價方法，其特征在于，該方法應用如權利要求1-4任一所述的一種亮度色度聯合學習的水下圖像質量評價系統所工作，方法步驟包...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。