【技術實現步驟摘要】
本申請屬于圖像生成，特別涉及一種可見光圖像生成紅外圖像的方法和系統。
技術介紹
1、紅外目標圖像對于軍事用途來說十分重要，然而紅外目標圖像較為匱乏。針對紅外目標圖像缺乏的問題，現有技術中大多采用基于生成對抗網絡模型的數據增廣技術將可見光圖像進行處理以生成近紅外圖像，以此擴充紅外樣本數量。然而在生成對抗網絡中，pix2pix和cyclegan為可見光圖像轉換為紅外圖像提供了通用網絡框架，但這些通用方法生成的紅外圖像在不同程度上存在紋理不清晰、結構缺失的問題。
技術實現思路
1、本申請的目的是提供了一種可見光圖像生成紅外圖像的方法和系統，以解決或減輕
技術介紹
中的至少一個問題。
2、一方面，本申請的技術方案是：一種可見光圖像生成紅外圖像的方法，包括：
3、構建圖像尺寸一致、數量比例為1:1的紅外圖像與可見光圖像組成的配對輸入數據；
4、構建語義分割模型，將配對輸入數據中的可見光圖像輸入到語義分割模型中得到可見光圖像的語義特征；
5、構建用于生成紅外圖像的生成器，所述生成器包括編碼器、解碼器以及空洞卷積模型，通過將配對輸入數據中的可見光圖像輸入到編碼器中進行特征提取，得到可見光圖像的特征編碼，之后將可見光圖像的語義特征與特征編碼在空洞卷積模型中進行合并，并經過解碼器解碼后得到生成的紅外圖像；
6、構建判別器及損失函數，通過向判別器及損失函數中輸入配對輸入數據中的紅外圖像，判別器及損失函數對配對輸入數據中的紅外圖像及生成器生成的紅外
7、獲取真實的可見光圖像，將真實的可見光圖像輸入到紅外圖像生成模型中，從而得到真實的可見光圖像對應的紅外圖像。
8、在本申請優選實施方式中，構建配對輸入數據的過程為：
9、采用具有紅外傳感器及可見光傳感器的無人機在不同時間和不同場景下采集紅外與可見光視頻序列，調整紅外與可見光視頻序列的尺寸一致后，進行圖像配對，構建數量1:1的成對紅外圖像與可見光圖像的配對輸入數據。
10、在本申請優選實施方式中，所述語義分割模型為深度5的unet網絡，unet網絡包括5個編碼塊和5個解碼塊，每個編碼塊由卷積核大小為4、步長為2、填充大小為1的下采樣卷積層，批歸一化層和relu激活層組成，5個編碼塊對應的下采樣卷積層輸出通道分別為[64,128,256,512,1024]，每個解碼塊由卷積核大小為4、步長為2、填充大小為1的反卷積層，批歸一化層和relu激活層組成，5個解碼塊對應的反卷積層輸出通道分別為[512,256,128,64,3]。
11、在本申請優選實施方式中，所述生成器的編碼器為基于深度殘差網絡的編碼器，該編碼器包括多個卷積模塊以及殘差模塊組成，所述深度殘差網絡的編碼器首先對輸入的可見光圖像進行卷積操作，其中卷積核大小為?7×7，步長為2，填充大小為3×3；之后，使用基于resnet34的四層殘差網絡作為預訓練網絡結構，采用跳躍連接的方式增強區域塊的泛化表征能力，將配對輸入數據的可見光圖像輸入到搭建好的編碼器中即得到可見光圖像的特征編碼，包括淺層特征與底層特征。
12、在本申請優選實施方式中，所述生成器的空洞卷積模型是一種串、并聯并存的連接網絡，空洞卷積模型將可見光圖像的語義特征與特征編碼進行融合，得到可見光圖像的空間特征信息，并輸入到后續的解碼器中。
13、在本申請優選實施方式中，所述生成器的解碼器采用一種殘差網絡的瓶頸連接結構，利用1×1的卷積核來提升網絡的計算效率，利用轉置卷積上采樣將邊長變為原來的32倍，還原原始的可見光圖像的尺寸得到生成的紅外圖像。
14、在本申請優選實施方式中，所述判別器由一個五層卷積網絡構成，判別器首先對生成器生成的紅外圖像進行5次卷積操作，得到一個30×30像素的特征圖，然后將獲得的特征圖輸入交叉熵函數，判斷其是否符合目標圖像分布。
15、在本申請優選實施方式中，所述損失函數包括生成對抗損失函數、l2損失函數和語義分割損失函數，
16、所述生成對抗損失函數為：
17、{min}_{g}{max}_jxlrjlt{l}_{adv}(g,d)=\sum{[logd(y)]}+\sum{[1-logd(g(x))]}
18、式中， g為生成器， d為判別器， x為真實的可見光圖像， y為真實的紅外圖像， g(x)為對抗網絡生成的紅外圖像；
19、所述l2損失函數為：
20、
21、式中， g為生成器， x為真實的可見光圖像， g(x)為對抗網絡生成的紅外圖像。
22、所述語義分割損失函數為：
23、{l}^{r}_{seg}={e}_{{x,c}^{s}}[-{c}^{s}log(s(x))]
24、其中，為場景類別，s表示語義編碼分支，x為真實的可見光圖像。
25、另一方面，本申請提供的技術方案是：一種可見光圖像生成紅外圖像的系統，包括：
26、數據輸入模塊，用于構建圖像尺寸一致、數量比例為1:1的紅外圖像與可見光圖像組成的配對輸入數據；
27、語義分割模型，用于將配對輸入數據中的可見光圖像輸入到語義分割模型中得到可見光圖像的語義特征；
28、生成器，用于生成紅外圖像，所述生成器包括編碼器、解碼器以及空洞卷積模型，通過將配對輸入數據中的可見光圖像輸入到編碼器中進行特征提取，得到可見光圖像的特征編碼，之后將可見光圖像的語義特征與特征編碼在空洞卷積模型中進行合并，并經過解碼器解碼后得到生成的紅外圖像；
29、判別器及損失函數模塊，通過向判別器及損失函數模塊中輸入配對輸入數據中的紅外圖像，判別器及損失函數模塊對配對輸入數據中的紅外圖像及生成器生成的紅外圖像進行損失判別，進而反饋優化生成器，從而得到紅外圖像生成模型；
30、紅外圖像生成模型，用于獲取真實的可見光圖像，將真實的可見光圖像輸入到紅外圖像生成模型中，從而得到真實的可見光圖像對應的紅外圖像。
31、在本申請優選實施方式中，所述數據輸入模塊構建配對輸入數據的過程為：
32、采用具有紅外傳感器及可見光傳感器的無人機在不同時間和不同場景下采集紅外與可見光視頻序列，調整紅外與可見光視頻序列的尺寸一致后，進行圖像配對，從而構建圖像尺寸一致、數量比例為1:1的成對的紅外圖像與可見光圖像的配對輸入數據。
33、在本申請優選實施方式中，所述語義分割模型為深度是5的unet網絡，該unet網絡包括5個編碼塊和5個解碼塊，每個編碼塊由卷積核大本文檔來自技高網...
【技術保護點】
1.一種可見光圖像生成紅外圖像的方法，其特征在于，包括：
2.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，構建配對輸入數據的過程為：
3.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述語義分割模型為深度是5的UNet網絡，該UNet網絡包括5個編碼塊和5個解碼塊，每個編碼塊由卷積核大小為4、步長為2、填充大小為1的下采樣卷積層，批歸一化層和Relu激活層組成，5個編碼塊對應的下采樣卷積層輸出通道分別為[64,128,256,512,1024]；每個解碼塊由卷積核大小為4、步長為2、填充大小為1的反卷積層，批歸一化層和Relu激活層組成，5個解碼塊對應的反卷積層輸出通道分別為[512,256,128,64,3]。
4.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的編碼器為基于深度殘差網絡的編碼器，該編碼器包括多個卷積模塊以及殘差模塊，所述深度殘差網絡的編碼器首先對輸入的可見光圖像進行卷積操作，其中卷積核大小為?7×7，步長為2，填充大小為3×3；之后，使用基于ResNet34的四層殘差網
5.如權利要求4所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的空洞卷積模型是一種串、并聯并存的連接網絡，空洞卷積模型將可見光圖像的語義特征與特征編碼進行融合，得到可見光圖像的空間特征信息，并輸入到后續的解碼器中。
6.如權利要求5所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的解碼器采用一種殘差網絡的瓶頸連接結構，利用1×1的卷積核來提升網絡的計算效率，利用轉置卷積上采樣將邊長變為原來的32倍，還原原始的可見光圖像的尺寸得到生成的紅外圖像。
7.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述判別器由一個五層卷積網絡構成，判別器首先對生成器生成的紅外圖像進行5次卷積操作，得到一個30×30像素的特征圖，然后將獲得的特征圖輸入交叉熵函數，判斷其是否符合目標圖像分布。
8.如權利要求7所述的可見光圖像生成紅外圖像的方法，其特征在于，所述損失函數包括生成對抗損失函數、L2損失函數和語義分割損失函數，
9.一種可見光圖像生成紅外圖像的系統，其特征在于，包括：
10.如權利要求9所述的可見光圖像生成紅外圖像的系統，其特征在于，所述數據輸入模塊構建配對輸入數據的過程為：
11.如權利要求9所述的可見光圖像生成紅外圖像的系統，其特征在于，所述語義分割模型為深度是5的UNet網絡，該UNet網絡包括5個編碼塊和5個解碼塊，每個編碼塊由卷積核大小為4、步長為2、填充大小為1的下采樣卷積層，批歸一化層和Relu激活層組成，5個編碼塊對應的下采樣卷積層輸出通道分別為[64,128,256,512,1024]；每個解碼塊由卷積核大小為4、步長為2、填充大小為1的反卷積層，批歸一化層和Relu激活層組成，5個解碼塊對應的反卷積層輸出通道分別為[512,256,128,64,3]。
12.如權利要求9所述的可見光圖像生成紅外圖像的系統，其特征在于，所述生成器的編碼器為基于深度殘差網絡的編碼器，該編碼器包括多個卷積模塊以及殘差模塊，所述深度殘差網絡的編碼器首先對輸入的可見光圖像進行卷積操作，其中卷積核大小為?7×7，步長為2，填充大小為3×3；之后，使用基于ResNet34的四層殘差網絡作為預訓練網絡結構，采用跳躍連接的方式增強區域塊的泛化表征能力，將配對輸入數據的可見光圖像輸入到搭建好的編碼器中即得到可見光圖像的特征編碼，包括淺層特征與底層特征。
13.如權利要求12所述的可見光圖像生成紅外圖像的系統，其特征在于，所述生成器的空洞卷積模型是一種串、并聯并存的連接網絡，空洞卷積模型將可見光圖像的特征編碼及語義特征進行融合，得到可見光圖像的空間特征信息，并輸入到后續的解碼器中。
14.如權利要求13所述的可見光圖像生成紅外圖像的系統，其特征在于，所述生成器的解碼器采用一種殘差網絡的瓶頸連接結構，利用1×1的卷積核來提升網絡的計算效率，利用轉置卷積上采樣將邊長變為原來的32倍，還原原始的可見光圖像的尺寸得到生成的紅外圖像。
15.如權利要求9所述的可見光圖像生成紅外圖像的系統，其特征在于，所述判別器由一個五層卷積網絡構成，判別器首先對生成器生成的紅外圖像進行5次卷積操作，得到一個30×30像素的特征圖，然后將獲得的特征圖輸入交叉熵函數，判斷其...
【技術特征摘要】
1.一種可見光圖像生成紅外圖像的方法，其特征在于，包括：
2.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，構建配對輸入數據的過程為：
3.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述語義分割模型為深度是5的unet網絡，該unet網絡包括5個編碼塊和5個解碼塊，每個編碼塊由卷積核大小為4、步長為2、填充大小為1的下采樣卷積層，批歸一化層和relu激活層組成，5個編碼塊對應的下采樣卷積層輸出通道分別為[64,128,256,512,1024]；每個解碼塊由卷積核大小為4、步長為2、填充大小為1的反卷積層，批歸一化層和relu激活層組成，5個解碼塊對應的反卷積層輸出通道分別為[512,256,128,64,3]。
4.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的編碼器為基于深度殘差網絡的編碼器，該編碼器包括多個卷積模塊以及殘差模塊，所述深度殘差網絡的編碼器首先對輸入的可見光圖像進行卷積操作，其中卷積核大小為?7×7，步長為2，填充大小為3×3；之后，使用基于resnet34的四層殘差網絡作為預訓練網絡結構，采用跳躍連接的方式增強區域塊的泛化表征能力，將配對輸入數據中的可見光圖像輸入到搭建好的編碼器中即得到可見光圖像的特征編碼，包括淺層特征與底層特征。
5.如權利要求4所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的空洞卷積模型是一種串、并聯并存的連接網絡，空洞卷積模型將可見光圖像的語義特征與特征編碼進行融合，得到可見光圖像的空間特征信息，并輸入到后續的解碼器中。
6.如權利要求5所述的可見光圖像生成紅外圖像的方法，其特征在于，所述生成器的解碼器采用一種殘差網絡的瓶頸連接結構，利用1×1的卷積核來提升網絡的計算效率，利用轉置卷積上采樣將邊長變為原來的32倍，還原原始的可見光圖像的尺寸得到生成的紅外圖像。
7.如權利要求1所述的可見光圖像生成紅外圖像的方法，其特征在于，所述判別器由一個五層卷積網絡構成，判別器首先對生成器生成的紅外圖像進行5次卷積操作，得到一個30×30像素的特征圖，然后將獲得的特征圖輸入交叉熵函數，判斷其是否符合目標圖像分布。
8.如權利要求7所述的可見光圖像生成紅外圖像的方法，其特征在于，所述損失函數包括生成對抗損失函數、l2損失函數和語義分割損失函數，
9.一種可見光圖像生成紅外圖像的系統，其特征在于，包括：
10.如權利要求9所述的可見光圖像生成紅外圖像的系統，其特征在于，所述數據輸入模塊構建配對輸入數據的過程為：
【專利技術屬性】
技術研發人員：張靖，梅利彬，羅文強，李衛紅，王軍，張安，
申請(專利權)人：中國航空工業集團公司西安飛機設計研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。