【技術(shù)實(shí)現(xiàn)步驟摘要】
技術(shù)介紹
1、紅外熱像儀不受光照條件影響，能夠在夜間或低照度條件下成像，同時(shí)紅外熱像儀具備一定的穿透能力，能夠穿透煙霧清晰成像。無人機(jī)平臺搭載紅外熱像儀已經(jīng)廣泛應(yīng)用于戰(zhàn)場偵察和目標(biāo)識別打擊等軍事領(lǐng)域以及野外人員搜救、森林火災(zāi)預(yù)警和安防監(jiān)控等民用領(lǐng)域。
2、無人機(jī)平臺搭載紅外熱像儀進(jìn)行紅外成像時(shí)，無人機(jī)平臺需要快速運(yùn)動，同時(shí)需要以較高的速度旋轉(zhuǎn)紅外熱像儀，這導(dǎo)致紅外成像存在模糊的情況。現(xiàn)有紅外去模糊的方法主要包括基于運(yùn)動模糊核評估去除紅外模糊的方法和基于深度網(wǎng)絡(luò)模型去除紅外模糊的方法。在基于運(yùn)動模糊核評估去除紅外模糊的方法中，首先通過圖像流或自監(jiān)督回歸的方式求出圖像對應(yīng)的運(yùn)動模糊核，再通過運(yùn)動模糊核去除紅外圖像模糊。在基于深度網(wǎng)絡(luò)模型去除紅外模糊的方法中，通常采用完全監(jiān)督學(xué)習(xí)的方式，即通過大量的模糊-清晰圖像對構(gòu)建數(shù)據(jù)集訓(xùn)練模型，進(jìn)而根據(jù)模型進(jìn)行紅外去模糊。然而，在基于運(yùn)動模糊核評估去除紅外模糊的方法中，需要消耗大量的計(jì)算資源和時(shí)間，無法滿足無人機(jī)平臺的實(shí)時(shí)去模糊需求，且無人機(jī)平臺的運(yùn)動方式為非線性運(yùn)動，會導(dǎo)致模糊核難以進(jìn)行準(zhǔn)確評估；在基于深度網(wǎng)絡(luò)模型去除紅外模糊的方法中，大量的模糊-清晰圖像對難以獲取和構(gòu)建，且實(shí)際場景與訓(xùn)練數(shù)據(jù)集存在較大差異，會導(dǎo)致完全監(jiān)督訓(xùn)練得到的模型泛化性較差。
3、因此，亟需一種新的技術(shù)方案，用以解決如何對無人機(jī)平臺快速運(yùn)動和紅外熱像儀快速轉(zhuǎn)動場景下拍攝的紅外圖像實(shí)現(xiàn)實(shí)時(shí)去模糊處理的技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供了一種
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種面向無人機(jī)平臺的紅外圖像去模糊方法，包括：
3、通過無人機(jī)拍攝目標(biāo)區(qū)域的清晰圖像集和運(yùn)動視頻，獲取無人機(jī)拍攝運(yùn)動視頻期間的陀螺儀信息；根據(jù)陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖。
4、根據(jù)運(yùn)動視頻得到場景模糊度信息；根據(jù)清晰圖像集和場景模糊度信息得到第一數(shù)據(jù)集；第一數(shù)據(jù)集包括基于場景一對一配對的清晰圖像和合成模糊圖像；根據(jù)第一數(shù)據(jù)集和像素分布強(qiáng)度圖得到訓(xùn)練集和驗(yàn)證集。
5、根據(jù)訓(xùn)練集對第一模型進(jìn)行訓(xùn)練，并以預(yù)設(shè)輪次為間隔保存訓(xùn)練得到的第二模型，得到第二模型集；第一模型包括用于去除圖像模糊的多尺度編碼器-解碼器網(wǎng)絡(luò)模型。
6、根據(jù)驗(yàn)證集和第二模型集計(jì)算全部第二模型的第一指標(biāo)，當(dāng)存在第一指標(biāo)結(jié)果大于預(yù)設(shè)閾值的第二模型時(shí)，選擇第一指標(biāo)結(jié)果最大的第二模型進(jìn)行無人機(jī)實(shí)時(shí)紅外圖像去模糊；根據(jù)驗(yàn)證集和第二模型集計(jì)算全部第二模型的第一指標(biāo)包括：
7、根據(jù)驗(yàn)證集驗(yàn)證第二模型集中的全部第二模型，第二模型輸出驗(yàn)證結(jié)果。
8、根據(jù)驗(yàn)證集和驗(yàn)證結(jié)果計(jì)算第一指標(biāo)。
9、第一指標(biāo)包括圖像恢復(fù)質(zhì)量評價(jià)指標(biāo)psnr，可表示為：
10、，
11、其中， mse表示合成模糊圖像與第二模型輸出結(jié)果之間的均方誤差，第二模型輸出結(jié)果即經(jīng)過第二模型去模糊之后得到的清晰圖像； max i表示合成模糊圖像的顏色最大數(shù)值。
12、優(yōu)選的，獲取無人機(jī)拍攝運(yùn)動視頻期間的陀螺儀信息；根據(jù)陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖包括：
13、在無人機(jī)拍攝運(yùn)動視頻期間，通過無人機(jī)中裝載的imu傳感器持續(xù)采集無人機(jī)的陀螺儀信息；陀螺儀信息包括角速度數(shù)據(jù)。
14、將陀螺儀信息輸入殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型，得到模糊軌跡矩陣；根據(jù)模糊軌跡生成像素分布強(qiáng)度圖；模糊軌跡矩陣包括模糊圖像的模糊軌跡。
15、優(yōu)選的，根據(jù)清晰圖像集和場景模糊度信息得到第一數(shù)據(jù)集包括：
16、以場景模糊度信息作為場景模糊程度的參照標(biāo)準(zhǔn)，根據(jù)清晰圖像集進(jìn)行時(shí)間平均合成，得到合成模糊圖像集。
17、將清晰圖像集和合成模糊圖像集中場景相互對應(yīng)的清晰圖像與合成模糊圖像進(jìn)行一對一配對，得到第一數(shù)據(jù)集。
18、優(yōu)選的，根據(jù)第一數(shù)據(jù)集和像素分布強(qiáng)度圖得到訓(xùn)練集和驗(yàn)證集包括：
19、根據(jù)場景模糊度信息將第一數(shù)據(jù)集與像素分布強(qiáng)度圖進(jìn)行基于場景的匹配。
20、將第一數(shù)據(jù)集中的數(shù)據(jù)復(fù)制成三份分別作為三個(gè)通道的數(shù)據(jù)，將像素分布強(qiáng)度圖作為第四通道的數(shù)據(jù)，得到包含四個(gè)通道數(shù)據(jù)的第二數(shù)據(jù)集。
21、將第二數(shù)據(jù)集按預(yù)設(shè)比例進(jìn)行劃分，得到訓(xùn)練集和驗(yàn)證集。
22、優(yōu)選的，選擇第一指標(biāo)結(jié)果最大的第二模型進(jìn)行無人機(jī)實(shí)時(shí)紅外圖像去模糊包括：
23、選擇第一指標(biāo)結(jié)果最大的第二模型作為第三模型。
24、將無人機(jī)實(shí)時(shí)采集的紅外圖像作為第三模型的輸入。
25、第三模型根據(jù)無人機(jī)實(shí)時(shí)采集的紅外圖像輸出處理結(jié)果。
26、完成無人機(jī)實(shí)時(shí)紅外圖像去模糊處理。
27、優(yōu)選的，在根據(jù)陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖之前，還包括：
28、構(gòu)建殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型，包括：
29、第一33卷積層、tanh非線性激活函數(shù)層、第二33卷積層和第一11卷積層。
30、第一33卷積層、tanh非線性激活函數(shù)層和第二33卷積層依次連接；其中第一33卷積層的輸出還通過殘差連接方式與第二33卷積層的輸出相加后連接至第一11卷積層的輸入。
31、第一33卷積層用于接收輸入的陀螺儀信息，進(jìn)行3?3卷積處理后將輸出發(fā)送至tanh非線性激活函數(shù)層，還用于將輸出通過殘差連接方式與第二33卷積層的輸出相加后連接至第一11卷積層的輸入。
32、tanh非線性激活函數(shù)層用于接收第一33卷積層發(fā)送的結(jié)果，進(jìn)行處理后將輸出發(fā)送至第二33卷積層。
33、第二33卷積層用于接收來自tanh非線性激活函數(shù)層的輸出，進(jìn)行33卷積處理后輸出。
34、第一11卷積層用于接收第一33卷積層輸出與第二33卷積層輸出的殘差連接方式相加結(jié)果，對殘差連接方式相加結(jié)果進(jìn)行11卷積后輸出模糊軌跡矩陣。
35、優(yōu)選的，在根據(jù)訓(xùn)練集對第一模型進(jìn)行訓(xùn)練之前，還包括：
36、構(gòu)建第一模型，即構(gòu)建多尺度編碼器-解碼器網(wǎng)絡(luò)模型，包括：
37、構(gòu)建依次連接的第一編碼節(jié)點(diǎn)、第二編碼節(jié)點(diǎn)、第三編碼節(jié)點(diǎn)、頸層節(jié)點(diǎn)、第三解碼節(jié)點(diǎn)、第二解碼節(jié)點(diǎn)和第一解碼節(jié)點(diǎn)。
38、第一編碼節(jié)點(diǎn)用于接收初始輸入圖像，將初始輸入圖像進(jìn)行處理后輸出。
39、第一編碼節(jié)點(diǎn)的輸出經(jīng)過下采樣后與等比例縮小至1/2大小的初始輸入圖像相連接得到第一輸入。
40、第二編碼節(jié)點(diǎn)用于接收第一輸入，將第一輸入進(jìn)行處理后輸出。
41、第二編碼節(jié)點(diǎn)的輸出經(jīng)過下采樣后與等比例縮小至1/4大小的初始輸入圖像相連接得到第二輸入。...
【技術(shù)保護(hù)點(diǎn)】
1.一種面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，所述獲取無人機(jī)拍攝運(yùn)動視頻期間的陀螺儀信息；根據(jù)所述陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖包括：
3.根據(jù)權(quán)利要求2所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，根據(jù)所述清晰圖像集和所述場景模糊度信息得到第一數(shù)據(jù)集包括：
4.根據(jù)權(quán)利要求3所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，根據(jù)所述第一數(shù)據(jù)集和所述像素分布強(qiáng)度圖得到訓(xùn)練集和驗(yàn)證集包括：
5.根據(jù)權(quán)利要求4所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，所述選擇第一指標(biāo)結(jié)果最大的第二模型進(jìn)行無人機(jī)實(shí)時(shí)紅外圖像去模糊包括：
6.根據(jù)權(quán)利要求5所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，在根據(jù)所述陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖之前，還包括：
7.根據(jù)權(quán)利要求6所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，在根據(jù)所述訓(xùn)練集對第一模型進(jìn)行訓(xùn)練之前，還
8.根據(jù)權(quán)利要求7所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，所述第一編碼節(jié)點(diǎn)、第二編碼節(jié)點(diǎn)、第三編碼節(jié)點(diǎn)、第三解碼節(jié)點(diǎn)、第二解碼節(jié)點(diǎn)和第一解碼節(jié)點(diǎn)的結(jié)構(gòu)相同，均包括：
9.一種面向無人機(jī)平臺的紅外圖像去模糊系統(tǒng)，用于權(quán)利要求1至8任一項(xiàng)所述的方法，其特征在于，所述系統(tǒng)包括無人機(jī)、紅外熱像儀、邊緣計(jì)算處理單元和通信單元；
...【技術(shù)特征摘要】
1.一種面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，所述獲取無人機(jī)拍攝運(yùn)動視頻期間的陀螺儀信息；根據(jù)所述陀螺儀信息結(jié)合殘差連接網(wǎng)絡(luò)結(jié)構(gòu)模型得到像素分布強(qiáng)度圖包括：
3.根據(jù)權(quán)利要求2所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，根據(jù)所述清晰圖像集和所述場景模糊度信息得到第一數(shù)據(jù)集包括：
4.根據(jù)權(quán)利要求3所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，根據(jù)所述第一數(shù)據(jù)集和所述像素分布強(qiáng)度圖得到訓(xùn)練集和驗(yàn)證集包括：
5.根據(jù)權(quán)利要求4所述的面向無人機(jī)平臺的紅外圖像去模糊方法，其特征在于，所述選擇第一指標(biāo)結(jié)果最大的第二模型進(jìn)行無人機(jī)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：童小鐘，蘇紹璟，左震，魏俊宇，孫曉永，孫備，吳鵬，郭曉俊，趙宗慶，郭潤澤，黃泓赫，
申請(專利權(quán))人：中國人民解放軍國防科技大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。