【技術實現步驟摘要】
本專利技術涉及計算機視覺領域和人工智能領域，尤其是涉及一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法。
技術介紹
1、在惡劣天氣條件下捕獲的圖像通常會受到各種因素的影響，如雨滴、霧霾和雪花等，這些因素會顯著降低圖像的質量。惡劣天氣條件下的圖像復原是計算機視覺領域內的一個重要研究方向，旨在通過各種算法恢復圖像的清晰度和可見性。傳統方法通常專注于單一天氣現象(如去雨、去霧或去雪)，采用特定的算法來處理特定的天氣條件下捕獲的圖像。近年來，研究者們嘗試開發一體化解決方案，通過單一模型處理多種惡劣天氣條件下的圖像恢復問題。這些方法雖然在合成數據集上展示了一定的成效，但在真實世界的應用場景中，由于訓練數據與實際應用場景之間存在顯著的域差異，其泛化能力受到限制。
2、部分已有技術中采用單一模型處理多種惡劣天氣條件下的圖像恢復技術，通過聯合訓練和統一的模型權重實現了對不同惡劣天氣條件的圖像復原。此外，通過知識蒸餾和對比學習等技術，一些方法嘗試處理多天氣條件下的圖像恢復復原。盡管這些方法在處理多種惡劣天氣條件下的圖像恢復方面取得了進展，但它們通常忽視了圖像的語義上下文，且大多數方法仍然依賴于合成數據進行訓練，限制了其在真實世界應用中的有效性。
3、綜上，現有惡劣天氣圖像恢復技術中存在的兩大主要問題：首先，現有方法大多基于合成數據進行訓練，導致其在處理真實世界場景時表現出顯著的性能差距；其次，這些方法在圖像清晰度恢復的同時，往往忽視了場景的語義上下文，未能充分利用圖像的語義信息以提高恢復質量。由于這些限制，現有技術難以有
技術實現思路
1、本專利技術的目的就是為了克服上述現有技術存在的缺陷而提供一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，以改善在多種惡劣天氣條件下的真實世界場景中的圖像復原性能。
2、本專利技術的目的可以通過以下技術方案來實現：
3、本專利技術的一個方面，提供了一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，利用預訓練好的圖像復原框架對輸入的圖像進行處理，實現圖像的復原，其中，所述圖像復原框架的訓練過程包括：
4、獲取帶有標簽的惡劣天氣圖像樣本并輸入學生網絡中，基與復原后的圖像以及對應的標簽，計算監督損失；
5、獲取無標簽的惡劣天氣圖像樣本并分別輸入教師網絡和所述學生網絡中，基于所述學生網絡復原后的圖像，利用視覺語言模型進行可見度評價，基于偽標簽和所述學生網絡復原后的圖像，計算偽標簽損失，
6、基于所述學生網絡復原后的圖像，利用預訓練好的clip模型計算對應的圖像嵌入，基于所述圖像嵌入與預設的晴朗天氣提示向量的文本嵌入計算天氣提示學習損失，
7、基于所述學生網絡復原后的圖像，以及預設的無標簽的惡劣天氣圖像樣本在良好天氣條件下的場景描述，計算語義正則化損失，
8、計算用于將學生網絡復原后的圖像、偽標簽以及無標簽的惡劣天氣圖像樣本對齊的特征相似度損失；
9、基于所述監督損失、偽標簽損失、天氣提示學習損失、語義正則化損失和特征相似度損失，計算綜合損失，實現圖像復原框架的訓練。
10、作為優選的技術方案，偽標簽的生成過程包括：
11、在訓練前，利用視覺語言模型對無標簽的惡劣天氣圖像樣本進行可見度評分，生成偽標簽；
12、在訓練過程中，對于所述學生網絡復原后的圖像，利用視覺語言模型進行可見度評分，若評分結果高于對應的無標簽的惡劣天氣圖像樣本的可見度評分，則更新所述偽標簽。
13、作為優選的技術方案，所述偽標簽損失采用下式計算：
14、
15、其中，分別表示利用視覺語言模型對所述學生網絡復原后的圖像進行可見度評價的評分、偽標簽，表示外觀損失函數。
16、作為優選的技術方案，所述clip模型的訓練過程包括：
17、構建晴朗、雨、霧和雪四種天氣情況下用于捕捉與天氣情況相關的成像特征的天氣提示向量；
18、在所述clip模型的文本編碼器的嵌入空間中初始化天氣提示向量，利用不同天氣情況下的真實圖像，通過所述clip模型的圖像編碼器提取參考圖像嵌入，以最小化天氣分類損失為目標實現所述clip模型的訓練。
19、作為優選的技術方案，所述天氣提示學習損失采用下式計算：
20、
21、其中，cos(·,·)表示余弦相似度，分別表示晴朗、雨、霧和雪四種天氣情況下的天氣提示向量的文本嵌入，表示學生網絡復原后的圖像的嵌入。
22、作為優選的技術方案，所述無標簽的惡劣天氣圖像樣本在良好天氣條件下的場景描述的獲取過程包括：
23、針對無標簽的惡劣天氣圖像樣本，利用另一個視覺語言模型生成描述圖像天氣條件的負面場景描述，基于所述負面場景描述轉換得到對應的正面場景描述。
24、作為優選的技術方案，所述語義正則化損失采用下式計算：
25、
26、其中，cos(·,·)表示余弦相似度，分別表示圖像天氣條件的正面場景描述和負面場景描述的嵌入，表示學生網絡復原后的圖像的嵌入。
27、作為優選的技術方案，所述綜合損失采用下式計算：
28、
29、其中，分別為監督損失、偽標簽損失、天氣提示學習損失、語義正則化損失、特征相似度損失，w1,w2,w3,w4是加權參數。
30、本專利技術的另一個方面，提供了一種電子設備，包括：一個或多個處理器以及存儲器，所述存儲器內儲存有一個或多個程序，所述一個或多個程序包括用于執行前述基于視覺語言模型的真實場景惡劣天氣圖像復原方法的指令。
31、本專利技術的另一個方面，提供了一種計算機可讀存儲介質，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行前述基于視覺語言模型的真實場景惡劣天氣圖像復原方法的指令。
32、與現有技術相比，本專利技術至少具有以下有益效果之一：
33、(1)模型泛化能力強：通過引入一種基于半監督學習和教師-學生網絡結構的圖像復原框架，通過結合有標簽的合成圖像和無標簽的真實世界圖像進行訓練，顯著提升了模型在真實世界惡劣天氣條件下的泛化能力，這解決或部分解決了現有技術依賴合成數據訓練導致的泛化能力不足問題，使得模型能夠更準確地復原真實世界中的惡劣天氣圖像。
34、(2)圖像恢復在不同天氣條件下的適應性強：本專利技術采用天氣提示學習方法，通過對視覺語言模型進行特定的天氣條件提示，訓練模型準確識別并應對各種天氣情況下的圖像特征，不僅提高了圖像清晰度的恢復質量，還增強了模型在多樣化天氣條件下的適應性和準確性。
35、(3)圖像語義恢復能力強：本專利技術基于描述輔助的語義增強實現圖像復原框架的訓練，通過將惡劣天氣圖像的負面描述轉化為正面的場景描述，以此來指導圖像的語義恢復過程，能夠在保本文檔來自技高網...
【技術保護點】
1.一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，利用預訓練好的圖像復原框架對輸入的圖像進行處理，實現圖像的復原，其中，所述圖像復原框架的訓練過程包括：
2.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，偽標簽的生成過程包括：
3.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述偽標簽損失采用下式計算：
4.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述CLIP模型的訓練過程包括：
5.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述天氣提示學習損失采用下式計算：
6.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述無標簽的惡劣天氣圖像樣本在良好天氣條件下的場景描述的獲取過程包括：
7.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述語義正則化損失采用下式
8.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述綜合損失采用下式計算：
9.一種電子設備，其特征在于，包括：一個或多個處理器以及存儲器，所述存儲器內儲存有一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于視覺語言模型的真實場景惡劣天氣圖像復原方法的指令。
10.一種計算機可讀存儲介質，其特征在于，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于視覺語言模型的真實場景惡劣天氣圖像復原方法的指令。
...【技術特征摘要】
1.一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，利用預訓練好的圖像復原框架對輸入的圖像進行處理，實現圖像的復原，其中，所述圖像復原框架的訓練過程包括：
2.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，偽標簽的生成過程包括：
3.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述偽標簽損失采用下式計算：
4.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述clip模型的訓練過程包括：
5.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，其特征在于，所述天氣提示學習損失采用下式計算：
6.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，...
【專利技術屬性】
技術研發人員：胡梟瑋，徐家奇，武萌陽，
申請(專利權)人：上海人工智能創新中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。