【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及信號(hào)處理，尤其是涉及一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法。
技術(shù)介紹
1、隨著傳感技術(shù)的發(fā)展，各種不同類型的傳感器能夠廣泛覆蓋不同領(lǐng)域的監(jiān)測(cè)和探測(cè)任務(wù)。例如，光學(xué)傳感器、紅外傳感器、雷達(dá)等多種傳感器可以在同一時(shí)刻獲取關(guān)于目標(biāo)或場(chǎng)景的不同信息。通過(guò)對(duì)來(lái)自多個(gè)傳感器的數(shù)據(jù)進(jìn)行融合，可以充分利用不同傳感器的優(yōu)勢(shì)，進(jìn)行目標(biāo)檢測(cè)、跟蹤和識(shí)別的任務(wù)。分布式多源圖像融合技術(shù)，正是基于這一背景，分布式多源圖像融合是指將來(lái)自不同空間位置的傳感器的數(shù)據(jù)進(jìn)行融合，得到更豐富、全面的信息。具體而言，單個(gè)源圖像往往只能提供有限的信息：光學(xué)圖像以其高分辨率的彩色信息見長(zhǎng)，能清晰展現(xiàn)目標(biāo)的外觀特征；而紅外圖像則能捕捉目標(biāo)的熱輻射信息，反映目標(biāo)的溫度分布。當(dāng)這兩種或更多類型的圖像進(jìn)行融合時(shí)，可以相互補(bǔ)充，形成更完整的目標(biāo)特征描述，進(jìn)而顯著提升目標(biāo)識(shí)別的精度和魯棒性。
2、然而，分布式多源圖像融合并非易事，它面臨著諸多挑戰(zhàn)。首先，不同傳感器可能采用不同的成像原理和技術(shù)參數(shù)，導(dǎo)致圖像在分辨率、色彩空間、光照條件等方面存在差異。其次，由于傳感器分布在不同空間位置，圖像之間的時(shí)空同步問(wèn)題也需妥善解決。此外，如何在融合過(guò)程中有效保留并整合各類圖像的關(guān)鍵信息，避免信息丟失或冗余，也是一大難題。針對(duì)上述挑戰(zhàn)，研究學(xué)者提出諸多解決方案。如公開號(hào)為cn118279768a名稱為“基于msfr的無(wú)人機(jī)航拍多源艦船圖像融合識(shí)別方法及設(shè)備”的申請(qǐng)文件中，針對(duì)傳感器采集到多源圖像存在像素偏差問(wèn)題，通過(guò)設(shè)計(jì)端對(duì)端網(wǎng)絡(luò)msfr，利用空間關(guān)系共同學(xué)習(xí)調(diào)制
3、這些研究提出的技術(shù)手段雖然實(shí)現(xiàn)了無(wú)人機(jī)光學(xué)和紅外圖像的有效融合，但是大多聚焦于同一平臺(tái)、同一載荷下的傳感器圖像融合，對(duì)于異構(gòu)平臺(tái)下圖像之間的時(shí)空差異問(wèn)題考慮不足。為解決這一局限性，本專利技術(shù)提出了一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，從而來(lái)解決現(xiàn)有方法中存在的不足。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是提供一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，解決現(xiàn)有技術(shù)存在的不同傳感器和成像系統(tǒng)間因時(shí)間、空間和姿態(tài)差異導(dǎo)致的數(shù)據(jù)偏差的問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，包括以下步驟：
3、步驟1、時(shí)間同步校準(zhǔn)；輸入光學(xué)圖像和紅外圖像，通過(guò)時(shí)間同步校準(zhǔn)對(duì)光學(xué)圖像和紅外圖像的采集時(shí)間進(jìn)行同步；
4、步驟2、時(shí)間插值補(bǔ)償校準(zhǔn)，修正光學(xué)圖像和紅外圖像的時(shí)間偏移；
5、步驟3、姿態(tài)校準(zhǔn)，將光學(xué)圖像和紅外圖像對(duì)齊到統(tǒng)一的空間坐標(biāo)系，消除不同視角所引起的偏差；
6、步驟4、幾何畸變校準(zhǔn)，修正圖像的幾何失真；
7、步驟5、交互式圖像融合，通過(guò)深度學(xué)習(xí)圖像處理的方法對(duì)光學(xué)圖像和紅外圖像進(jìn)行融合。
8、優(yōu)選的，步驟1中時(shí)間同步校準(zhǔn)的過(guò)程如下：
9、s11、利用全球定位系統(tǒng)（gps）或基于衛(wèi)星的高精度時(shí)間同步模塊獲取每個(gè)傳感器的時(shí)間戳；假設(shè)各傳感器的時(shí)間標(biāo)記分別為和這些時(shí)間戳可以通過(guò)gps同步或基準(zhǔn)時(shí)鐘對(duì)齊；
10、s12、設(shè)定目標(biāo)統(tǒng)一時(shí)間，并將各個(gè)傳感器采集的圖像通過(guò)多維插值方法進(jìn)行時(shí)間修正，修正后的時(shí)間的計(jì)算表達(dá)式如下：
11、；
12、式中，為傳感器實(shí)際采集時(shí)間；
13、s13、采用拉格朗日插值法進(jìn)行時(shí)間點(diǎn)的修正，表達(dá)式如下：
14、；
15、式中，為拉格朗日基函數(shù)，為已知采樣點(diǎn)的時(shí)間戳，表示經(jīng)過(guò)拉格朗日插值法修正的時(shí)間點(diǎn)。
16、優(yōu)選的，步驟2中時(shí)間插值補(bǔ)償校準(zhǔn)的過(guò)程如下：
17、s21、通過(guò)傳感器的時(shí)間戳和傳感器實(shí)際采集時(shí)間，建立時(shí)間間隔，并基于樣條插值的算法進(jìn)行插值補(bǔ)償，表達(dá)式如下：
18、；
19、式中，為時(shí)間對(duì)應(yīng)的圖像像素值，為基于樣條的插值函數(shù)，為插值系數(shù)；
20、s22、對(duì)每個(gè)圖像點(diǎn)進(jìn)行s21的插值，得到補(bǔ)償后的圖像。通過(guò)此方法，所有傳感器的圖像可以精確地對(duì)齊到目標(biāo)時(shí)間點(diǎn)，避免因時(shí)間差異帶來(lái)的誤差。
21、優(yōu)選的，步驟3中姿態(tài)校準(zhǔn)的過(guò)程如下：
22、s31、假設(shè)每個(gè)傳感器的姿態(tài)信息（俯仰角、偏航角和滾轉(zhuǎn)角）由慣性測(cè)量單元（imu）提供，利用旋轉(zhuǎn)矩陣對(duì)圖像進(jìn)行校正，表達(dá)式如下：
23、；
24、式中，是俯仰角，是偏航角，是滾轉(zhuǎn)角；
25、s32、采用旋轉(zhuǎn)矩陣對(duì)圖像進(jìn)行空間轉(zhuǎn)換，設(shè)為光學(xué)和紅外圖像的坐標(biāo)系中的點(diǎn)，通過(guò)姿態(tài)矩陣進(jìn)行映射得到統(tǒng)一坐標(biāo)系下的點(diǎn)，表達(dá)式如下：
26、；
27、式中，表示映射后得到統(tǒng)一坐標(biāo)系下的點(diǎn)。
28、優(yōu)選的，步驟4中幾何畸變校準(zhǔn)的過(guò)程如下：
29、s41、通過(guò)標(biāo)準(zhǔn)的張正友相機(jī)標(biāo)定法，利用棋盤格標(biāo)定圖案，獲得畸變參數(shù)，構(gòu)建畸變模型，表達(dá)式如下：
30、；
31、式中，、、為徑向畸變系數(shù)，為點(diǎn)到圖像中心的距離，表示幾何畸變校準(zhǔn)前的圖像；
32、s42、對(duì)每一張圖像進(jìn)行畸變校正，恢復(fù)圖像的真實(shí)幾何結(jié)構(gòu)。對(duì)每個(gè)像素點(diǎn)進(jìn)行逐個(gè)修正，計(jì)算出修正后的像素位置，得到最終的幾何校正圖像。
33、優(yōu)選的，步驟5中交互式圖像融合的過(guò)程如下：
34、s51、構(gòu)建交互融合網(wǎng)絡(luò)，通過(guò)交互融合網(wǎng)絡(luò)從圖像中提取光學(xué)圖像的深度特征和紅外圖像的深度特征，并對(duì)其通過(guò)卷積神經(jīng)網(wǎng)絡(luò)融合模塊進(jìn)行融合，獲得深度特征融合，表達(dá)式如下：
35、；
36、其中，為卷積神經(jīng)網(wǎng)絡(luò)融合模塊；
37、s52、訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練過(guò)程的損失函數(shù)的表達(dá)式如下：
38、；
39、式中，為內(nèi)容損失，為風(fēng)格損失，為邊緣損失，為平滑損失， 、 、 、為超參數(shù)。
40、因此，本專利技術(shù)采用上述一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，具有以下有益效果：
41、（1）通過(guò)時(shí)間同步校準(zhǔn)確保圖像在相同時(shí)間點(diǎn)采集，空間校準(zhǔn)修正幾何畸變，姿態(tài)校準(zhǔn)調(diào)整設(shè)備角度差異，提升了不同源圖像的匹配精度；為后續(xù)特征提取和融合提供了高精度的數(shù)據(jù)基礎(chǔ)；
42、（2）通過(guò)多層卷積層和池化層對(duì)圖像特征進(jìn)行逐步提取，在每一層進(jìn)行特征交互本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟1中時(shí)間同步校準(zhǔn)的過(guò)程如下：
3.根據(jù)權(quán)利要求2所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟2中時(shí)間插值補(bǔ)償校準(zhǔn)的過(guò)程如下：
4.根據(jù)權(quán)利要求3所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟3中姿態(tài)校準(zhǔn)的過(guò)程如下：
5.根據(jù)權(quán)利要求4所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟4中幾何畸變校準(zhǔn)的過(guò)程如下：
6.根據(jù)權(quán)利要求5所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟5中交互式圖像融合的過(guò)程如下：
【技術(shù)特征摘要】
1.一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟1中時(shí)間同步校準(zhǔn)的過(guò)程如下：
3.根據(jù)權(quán)利要求2所述的一種基于多級(jí)時(shí)空校準(zhǔn)的分布式多源圖像交互融合方法，其特征在于，步驟2中時(shí)間插值補(bǔ)償校準(zhǔn)的過(guò)程如下：
4.根據(jù)權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐山峰，王成才，王茹斐，劉春旭，潘琦，王肖，張容靜，
申請(qǐng)(專利權(quán))人：中國(guó)電子科技集團(tuán)有限公司電子科學(xué)研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。