【技術實現步驟摘要】
本專利技術涉及圖像轉換與模型壓縮領域，具體來說，涉及基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法。
技術介紹
1、隨著網絡技術的蓬勃發展和多媒體設備的廣泛應用，圖像轉換技術在各種場景下日益普及。該技術旨在將一幅源圖像轉換為具有不同風格的圖像。現有的圖像識別模型的訓練集一般只有日間采集的圖像樣本，對夜間圖像的泛化性不高例如，在夜間條件下，由于光線和可視性變差，圖像的視覺信息較少，導致基于日間圖像訓練的圖像識別模型對于夜間圖像的識別準確降低。同時，在夜間復雜光照環境下，大部分現有的圖像識別算法會受到燈光干擾，導致檢測精度大幅下降。因此，如何實現夜間到日間的圖像轉換，從而提升識別圖像識別模型的準確率顯得尤為迫切和急切。
2、在過去的數十年中，學術界相繼提出了許多針對夜間-日間圖像轉換的方法。傳統的圖像轉換方法可以分為基于圖像增強和基于生成式模型的圖像風格轉換方法兩類。基于圖像增強的早期方法由于其算法相對簡單而備受關注。然而，這類方法通過在圖像像素層面進行操作，因而在不同的夜間環境中表現出較差的泛化能力。此外，這些方法在處理低照度夜間圖像的整體轉換時往往難以取得理想效果。另一種生成式圖像轉換方法通過生成對抗網絡等生成模型，學習不同領域之間的圖像映射關系，從而實現圖像在不同領域間的轉換。在這一過程中，生成器和判別器通過對抗性訓練不斷優化：生成器旨在生成逼真的圖像，以混淆判別器，而判別器則致力于更精準地區分生成圖像與真實圖像。通過這種對抗機制，生成器逐漸提高其生成圖像的真實性與質量。此類方法在提升圖像質量、保持語義一致性以
3、但現有的基于生成式模型的夜間-日間的圖像轉換方法存在以下幾個不足之處：
4、1)在現有技術中，一般采用循環對抗生成網絡進行圖像轉換，其模型復雜度高，難以部署在邊緣設備、移動端設備的問題，嚴重限制了夜間圖像轉換技術的實用性。
5、2)現有基于循環對抗生成網絡的圖像轉換方法存在識別精度不佳的問題，主要原因是轉換后的圖像識別主體易受到背景干擾，導致圖像的識別主體轉換的質量下降。
6、針對相關技術中的問題，目前尚未提出有效的解決方案。
技術實現思路
1、針對相關技術中的問題，本專利技術提出基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，以克服現有相關技術所存在的上述技術問題。
2、為此，本專利技術采用的具體技術方案如下：
3、s1、從夜間數據集與日間數據集中挑選圖像數據，結合聯合損失函數并生成轉換夜間與日間圖像的最終網絡模型；
4、s2、將共享注意力模塊引入生成的最終網絡模型中，并構建用于夜間到日間圖像轉換的共享注意力循環對抗生成網絡模型；
5、s3、通過引用知識蒸餾算法壓縮共享注意力循環對抗生成網絡模型，得到教師生成器模型，并將知識通過教師生成器模型傳遞至學生生成器模型；
6、s4、將學生生成器模型中的特征圖通過解碼器對特征圖進行上采樣還原，得到夜間到日間的轉換后的圖像。
7、進一步的，所述從夜間數據集與日間數據集中挑選圖像數據，結合聯合損失函數并生成轉換夜間與日間圖像的最終網絡模型包括以下步驟：
8、s11、將夜間數據集輸入到生成器中，并計算夜間域的循環一致性損失；
9、s12、將日間數據集輸入到生成器中，并計算日間域的循環一致性損失；
10、s13、利用聯合損失函數優化網絡模型參數，并構建最終網絡模型。
11、進一步的，所述聯合損失函數公式如下：
12、l(g,f,dx,dy)＝lgan(g,dy,x,y)+lgan(f,dx,y,x)；
13、其中，f表示由夜間域x轉換到日間域y的映射函數；dx表示夜間域x的域鑒別器；g表示日間域y轉換到夜間域x的映射函數；dy表示日間域y的域鑒別器；x表示夜間域；y表示日間域；lcyc(g,f)表示循環一致性損失；lgan(g,dy,x,y)表示由夜間域x轉換到日間域y的對抗損失；lgan(f,dx,y,x)表示由日間域y轉換到夜間域x的對抗損失；lidentity(g,f)表示著色損失；l(g,f,dx,dy)表示生成對抗網絡的聯合損失函數。
14、進一步的，所述將夜間數據集輸入到生成器中，并計算夜間域的循環一致性損失包括以下步驟：
15、s111、將夜間數據集中的樣本數據輸入到生成器中，生成轉換后的日間域圖像，將生成的日間域圖像輸入判別器中，得到判別結果，并計算夜間域圖像轉換的對抗損失；
16、s112、將生成的日間域圖像再次輸入到生成器中，轉換生成夜間域的圖像，并將生成的夜間域圖像傳入判別器中，得到判別結果，計算夜間域的循環一致性損失。
17、進一步的，所述生成器由編碼器、瓶頸模塊、解碼器組成；
18、其中，所述編碼器從輸入圖像中提取特征，并將特征轉換成抽象的特征圖；
19、所述瓶頸模塊通過殘差塊處理編碼后的特征，增加網絡架構的深度；
20、所述解碼器將瓶頸模塊提取的特征圖解碼至與輸入圖像相同的空間維度，并生成最終的輸出圖像。
21、進一步的，所述將共享注意力模塊引入生成的最終網絡模型中，并構建用于夜間到日間圖像轉換的共享注意力循環對抗生成網絡模型包括以下步驟：
22、s21、將共享注意力模塊設置在編碼器的卷積層之前及解碼器的轉置卷積層之后；
23、s22、在每個鍵向量之間使用跳過連接，并在連接之間引入細化網絡，基于細化網絡轉置卷積層之間共享的注意力圖；
24、s23、將注意力圖的數量作為超參數，且注意力圖的數量設置為每層輸入通道數的一半，學習超參數之間的依賴關系；
25、s24、通過依賴關系，構建用于夜間到日間圖像轉換的共享注意力循環對抗生成網絡模型。
26、進一步的，所述共享注意力權重的計算有下式給出：
27、
28、其中σrow表示沿矩陣y的每一行應用softmax函數；σcol表示沿矩陣y的每一列應用softmax函數；dk表示鍵向量的維度；q表示查詢向量；k表示鍵向量；t表示矩陣轉置操作；o表示編碼器的共享注意力輸出的注意力權重。
29、進一步的，所述通過引用知識蒸餾算法壓縮共享注意力循環對抗生成網絡模型，得到教師生成器模型，并將知識通過教師生成器模型傳遞至學生生成器模型包括以下步驟：
30、s31、基于共享注意力循環對抗生成網絡的夜間轉換模型中的生成器作為教師生成器，構建教師生成器模型；
31、s32、訓練生成器將夜間域的卷積層映射到yi日間域的卷積層，利用鑒別器來區分教師生成器的生成圖像和真實圖像；
32、s33、教師生成器通過編碼器生成夜間域圖像的特征圖，通過解碼器將夜間域圖像的特征圖解碼成日間域的圖像特征圖；
本文檔來自技高網...
【技術保護點】
1.基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，該夜間-日間圖像轉換方法包括以下步驟：
2.根據權利要求1所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述從夜間數據集與日間數據集中挑選圖像數據，結合聯合損失函數并生成轉換夜間與日間圖像的最終網絡模型包括以下步驟：
3.根據權利要求2所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述聯合損失函數公式如下：
4.根據權利要求2所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述將夜間數據集輸入到生成器中，并計算夜間域的循環一致性損失包括以下步驟：
5.根據權利要求4所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述生成器由編碼器、瓶頸模塊、解碼器組成；
6.根據權利要求5所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述將共享注意力模塊引入生成的最終網絡模型中，并構建用于夜間到日間圖像轉換的共享注意力循環對抗生成網絡模型包括以下步驟：p>
7.根據權利要求6所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述共享注意力權重的計算有下式給出：
8.根據權利要求1所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述通過引用知識蒸餾算法壓縮共享注意力循環對抗生成網絡模型，得到教師生成器模型，并將知識通過教師生成器模型傳遞至學生生成器模型包括以下步驟：
9.根據權利要求1所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述基于學生生成器模型訓練后得到輕量化學生生成器模型，將輕量化學生生成器模型中的特征圖通過解碼器進行采樣還原，得到夜間到日間的轉換后的圖像包括以下步驟：
10.根據權利SS要求9所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述總損失函數與優化目標定義為：
...【技術特征摘要】
1.基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，該夜間-日間圖像轉換方法包括以下步驟：
2.根據權利要求1所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述從夜間數據集與日間數據集中挑選圖像數據，結合聯合損失函數并生成轉換夜間與日間圖像的最終網絡模型包括以下步驟：
3.根據權利要求2所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述聯合損失函數公式如下：
4.根據權利要求2所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述將夜間數據集輸入到生成器中，并計算夜間域的循環一致性損失包括以下步驟：
5.根據權利要求4所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述生成器由編碼器、瓶頸模塊、解碼器組成；
6.根據權利要求5所述的基于輕量化循環對抗生成網絡的夜間-日間圖像轉換方法，其特征在于，所述將共享注...
【專利技術屬性】
技術研發人員：黃俊豪，周志立，饒遠，楊忠良，周琳娜，齊濤，
申請(專利權)人：廣州大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。