【技術實現步驟摘要】
本專利技術涉及計算機視覺，具體涉及一種基于可變形注意力機制的圖像去雨方法。
技術介紹
1、隨著自動駕駛技術的不斷發展，車輛感知任務在自動駕駛系統中扮演著至關重要的角色。當前自動駕駛車輛的感知系統往往依賴于攝像頭獲取的圖像信息來感知周圍環境、識別道路標志、檢測障礙物等，從而做出相應的決策和行駛規劃。然而，在室外駕駛環境中，天氣因素如雨、雪、霧等常常會對攝像頭獲取的圖像產生負面影響，降低了圖像的質量和清晰度，從而影響了自動駕駛車輛的感知能力和安全性。
2、雨天作為常見天氣，更需要進行圖像雨水去噪的研究。研究如何有效應對雨天等惡劣天氣條件下的圖像質量問題，尤其是開發高效的圖像去雨方法，對于提升自動駕駛車輛在各種天氣條件下的感知能力和安全性具有重要意義。
3、當前圖像去雨技術主要聚焦于深度學習領域。公開號為cn117689580a的中國專利申請公開了一種基于形變多頭注意力的圖像去雨方法、裝置、設備及介質，在transformer的基礎上開發了形變多頭注意力機制，通過對深度語義特征的分析，實現圖像去雨操作。公開號為cn117474783a的中國專利申請公開了一種基于生成對抗網絡的兩步式單幅圖像去雨方法，使用生成對抗網絡架構，首先訓練一個雨水生成器，同時訓練一個判別器捕捉雨水掩膜，然后在去雨階段中提取圖像中的雨水掩膜，最終生成去雨圖像。然而，單尺度去雨技術對于雨滴密集區域具有其局限性，因此部分研究關注到使用多尺度特征融合的方法進行圖像去雨操作。公開號為cn117475285a的中國專利申請公開了一種基于多尺度融合的漸
技術實現思路
1、鑒于上述問題，本專利技術提供了一種基于可變形注意力機制的圖像去雨方法，解決了現有技術中雨水圖像中的雨紋通常影響的是目標周圍的特征，大量的像素點間的關聯會造成計算量冗余的問題，并且解決了由于雨紋的不規則特性，普通卷積核感受野有限，易陷入被雨水噪點全覆蓋的問題。
2、本專利技術提供了一種基于可變形注意力機制的圖像去雨方法，包括以下步驟：
3、步驟s1、構建雨水圖像和干凈圖像對數據集；
4、步驟s2、確定圖像去雨模型，所述圖像去雨模型包括生成模塊和判別模塊；
5、步驟s3、所述生成模塊基于可變形注意力機制對數據集中的雨水圖像進行處理，生成偽去雨圖像；
6、步驟s4、所述判別模塊對所述偽去雨圖像和數據集中的干凈圖像進行判斷，獲取判別結果；
7、步驟s5、基于所述判別結果，調整所述生成模塊和所述判別模塊的參數，對圖像去雨模型進行訓練，使得所述生成模塊和所述判別模塊性能達到最優；
8、步驟s6、將訓練完成的圖像去雨模型應用于圖像雨水去噪，獲取去雨圖像。
9、優選地，步驟s1具體包括：基于干凈圖像數據，合成與干凈圖像同一位置對應的自然雨天圖像，形成由干凈圖像和雨水圖像構成圖像對的數據集。
10、優選地，步驟s3具體包括：步驟s3-1、生成模塊基于可變形注意力機制對輸入圖像進行特征提取，獲取注意力金字塔；步驟s3-2、對所述注意力金字塔進行多尺度特征融合，對融合獲得的特征圖進行多層處理，輸出偽去雨圖像。
11、優選地，步驟s3-1具體包括：
12、使用不同大小的卷積核對輸入雨水圖像進行下采樣，得到不同分辨率的圖像組成的圖像金字塔，所述不同分辨率的圖像包括：低分辨率圖像、高分辨率圖像和原始分辨率圖像；
13、使用基于可變形注意力機制的卷積神經網絡對所述不同分辨率的圖像進行特征提取，生成不同尺度的注意力圖，組成注意力金字塔；
14、其中，所述可變形注意力機制的卷積神經網絡設置有根據輸入數據動態調整的注意力權重矩陣，所述注意力權重矩陣用于調整神經網絡感受野，使得感受野與雨水噪點的尺寸相匹配。
15、優選地，步驟s3-2具體包括：
16、分別對注意力金字塔中不同尺度的注意力圖進行上采樣并進行疊加，將疊加后的注意力圖與原始圖像相乘，得到多尺度融合特征圖；
17、對于多尺度融合特征圖進行多層處理，包括：多個卷積層進行更細粒度的特征提取，多層殘差模塊進一步提取特征，使用同卷積層相同數量的反卷積層，將多層特征圖恢復至所述輸入雨水圖像的尺寸；最終根據輸出的特征圖得出偽去雨圖像。
18、優選地，步驟s4具體包括：步驟s4-1、所述判別模塊對偽去雨圖像和干凈圖像分別進行判別，得出偽去雨圖像和干凈圖像的類別判別結果；步驟s4-2、基于所述偽去雨圖像的類別判別結果，計算生成模塊損失和偽圖損失；基于所述干凈圖像的類別判別結果，計算真圖損失。
19、優選地，步驟s4-1具體包括：判別模塊對偽去雨圖像和干凈圖像分別進行判別處理，包括：經過多層卷積層、池化層的處理，將獲得的高維特征圖輸入到二分類器，分別獲得偽去雨圖像和干凈圖像的類別判別結果。
20、優選地，步驟s4-2具體包括：
21、生成模塊損失g_loss的計算方式為：
22、g_loss＝bceloss(x1,y1)＝-w·[y1·log(x1)+(1-y1)·log(1-x1)]
23、x1＝d(g(a)),y1＝1
24、其中，bceloss(·)為二元交叉熵損失函數，x1為偽去雨圖像g(a)的類別判別結果d(g(a))；y1為全1矩陣；w表示模型的權重；
25、偽圖損失fake_loss的計算方式為：
26、fake_loss＝bceloss(x1,y0)＝-w·[y0·log(x1)+(1-y0)·log(1-x1)]
27、x1＝d(g(a)),y0＝0
28、其中，y0為全0矩陣；
29、真圖損失real_loss的計算方式為：
30、real_loss＝bceloss(x2,y1)＝-w·[y1·log(x2)+(1-y1)·log(1-x2)]
31、x2＝d(b),y1＝1
32、其中，x2為干凈圖像b的類別判別結果d(b)；y1為全1矩陣。
33、優選地，步驟s5中所述，基于所述判別結果，調整所述生成模塊和所述判別模塊的參數具體包括：
34、根據計算出的生成模塊損失g_loss進行后向傳播，調整生成模塊部分的參數，包括：調整所述可變形注意力機制的卷積神經網絡的注意力權重以及調整生成模塊中卷積層、殘差模塊和反卷積層的網絡參數；
35、將偽圖損失fake_loss與真圖損失real_loss求取平均值，作為判別模塊的總體損失d_loss，根據計算出的判別模塊的本文檔來自技高網...
【技術保護點】
1.一種基于可變形注意力機制的圖像去雨方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S1具體包括：
3.根據權利要求2所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S3具體包括：
4.根據權利要求3所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S3-1具體包括：
5.根據權利要求4所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S3-2具體包括：
6.根據權利要求3-5中任一項所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S4具體包括：
7.根據權利要求6所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S4-1具體包括：
8.根據權利要求7所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S4-2具體包括：
9.根據權利要求8所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟S5中所述，基于所述判別結果，調整所述生成模塊和所述判別模塊的參數具體包括：<...
【技術特征摘要】
1.一種基于可變形注意力機制的圖像去雨方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟s1具體包括：
3.根據權利要求2所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟s3具體包括：
4.根據權利要求3所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟s3-1具體包括：
5.根據權利要求4所述的基于可變形注意力機制的圖像去雨方法，其特征在于，步驟s3-2具體包括：<...
【專利技術屬性】
技術研發人員：王章宇，李泓波，周彬，劉文韜，楊松岳，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。