【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于輸電線路，具體涉及一種輸變電設(shè)備巡檢紅外與可見光圖像融合方法。
技術(shù)介紹
1、電力系統(tǒng)因其在長期運(yùn)行、供電安全及操作便捷性等方面的要求，所以需要保證電氣設(shè)備的穩(wěn)定性與可靠性。然而，電氣設(shè)備故障頻發(fā)，其中溫度異常是故障前兆的主要表現(xiàn)之一。若未能及時(shí)識別故障類型并采取維修措施，將可能導(dǎo)致重大經(jīng)濟(jì)損失。因此紅外與可見光圖像融合技術(shù)在電力系統(tǒng)監(jiān)測中扮演著至關(guān)重要的角色。
2、鑒于高壓電氣設(shè)備地理位置分布的特殊性，現(xiàn)如今電網(wǎng)檢測工作主要依賴于智能巡檢機(jī)器人、無人機(jī)及人工檢測三種方式。其中，運(yùn)用多模態(tài)成像傳感器和圖像處理技術(shù)的巡檢機(jī)器人與無人機(jī)，通過捕捉電力設(shè)備運(yùn)行狀態(tài)下的紅外與可見光圖像，實(shí)現(xiàn)了對設(shè)備的實(shí)時(shí)監(jiān)測和故障診斷。
3、紅外圖像能夠反映電氣設(shè)備的溫度信息，而可見光圖像則能清晰地呈現(xiàn)電氣設(shè)備的外觀細(xì)節(jié)。然而，這兩種圖像在成像機(jī)制、分辨率及視場方面存在差異，限制了其單獨(dú)使用時(shí)的效果。為了滿足實(shí)際應(yīng)用需求，在電力設(shè)備故障檢測領(lǐng)域引入紅外與可見光圖像融合技術(shù)。通過融合兩種圖像的特征，實(shí)現(xiàn)了對電力設(shè)備發(fā)熱點(diǎn)的識別和定位，增強(qiáng)了故障判定的準(zhǔn)確性和全面性。并且隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)的方法被應(yīng)用于圖像融合領(lǐng)域，無需手動(dòng)設(shè)計(jì)融合規(guī)則，只需通過大量數(shù)據(jù)集進(jìn)行訓(xùn)練，即可得到高質(zhì)量的融合圖像。
4、現(xiàn)有的圖像融合方法（如densefuse、fusiongan等）雖然取得了一定的效果，但往往只能提取圖像的淺層特征，無法有效挖掘圖像中的深層信息，這導(dǎo)致融合后的圖像在細(xì)節(jié)表現(xiàn)上有所欠缺，無法充分展
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)的不足，本專利技術(shù)的目的在于提供一種輸變電設(shè)備巡檢紅外與可見光圖像融合方法，能夠?qū)⒖梢姽鈭D像以及紅外圖像中的特征很好地提取出來并融合在一起，可實(shí)現(xiàn)輸變電設(shè)備巡檢紅外圖像與可見光圖像的高性能融合，并且通過增強(qiáng)紅外圖像對比度和去除噪聲預(yù)處理操作，以及對高頻局部特征進(jìn)一步增強(qiáng)紋理以及對比度，從而解決了細(xì)節(jié)丟失、目標(biāo)不顯著及對比度低等問題，為進(jìn)一步實(shí)現(xiàn)輸變電設(shè)備熱故障精準(zhǔn)定位提供支撐。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：一種輸變電設(shè)備巡檢紅外與可見光圖像融合方法，包括以下步驟：
3、s1：獲取電力設(shè)備的紅外圖像與可見光圖像，構(gòu)建電力設(shè)備的圖像數(shù)據(jù)集，并劃分為訓(xùn)練集與測試集；
4、s2：構(gòu)建紅外與可見光圖像融合網(wǎng)絡(luò)模型eivfusion，該模型包括三個(gè)階段；
5、第一階段的輸入為可見光圖像與紅外圖像，可見光圖像經(jīng)過共享編碼器提取可見光圖像特征，然后可見光圖像特征分為兩支，一支可見光圖像特征經(jīng)過低頻全局特征編碼器提取可見光圖像低頻全局特征，一支可見光圖像特征經(jīng)過高頻局部特征編碼器提取可見光圖像高頻局部特征，可見光圖像高頻局部特征經(jīng)過強(qiáng)化紋理與對比度模塊處理得到可見光圖像強(qiáng)化高頻局部特征，可見光圖像低頻全局特征和可見光圖像強(qiáng)化高頻局部特征經(jīng)過共享解碼器得到重建可見光圖像；紅外圖像經(jīng)過紅外圖像預(yù)處理模塊處理后經(jīng)過共享編碼器提取紅外圖像特征，然后紅外圖像特征分為兩支，一支紅外圖像特征經(jīng)過低頻全局特征編碼器提取紅外圖像低頻全局特征，一支紅外圖像特征經(jīng)過高頻局部特征編碼器提取紅外圖像高頻局部特征，紅外圖像高頻局部特征經(jīng)過強(qiáng)化紋理與對比度模塊處理得到紅外圖像強(qiáng)化高頻局部特征，紅外圖像低頻全局特征和紅外圖像強(qiáng)化高頻局部特征經(jīng)過共享解碼器得到重建紅外圖像；
6、第二階段的輸入為重建可見光圖像與重建紅外圖像，重建可見光圖像經(jīng)過共享編碼器提取重建可見光圖像特征，然后重建可見光圖像特征分為兩支，一支重建可見光圖像特征經(jīng)過低頻全局特征編碼器提取重建可見光圖像低頻全局特征，一支重建可見光圖像特征經(jīng)過高頻局部特征編碼器提取重建可見光圖像高頻局部特征；重建紅外圖像經(jīng)過共享編碼器提取重建紅外圖像特征，然后重建紅外圖像特征分為兩支，一支重建紅外圖像特征經(jīng)過低頻全局特征編碼器提取重建紅外圖像低頻全局特征，一支重建紅外圖像特征經(jīng)過高頻局部特征編碼器提取重建紅外圖像高頻局部特征；將重建可見光圖像低頻全局特征和重建紅外圖像低頻全局特征輸入低頻全局特征融合層中得到低頻全局融合特征，重建可見光圖像高頻局部特征經(jīng)過強(qiáng)化紋理與對比度模塊處理得到重建可見光圖像強(qiáng)化高頻局部特征，重建紅外圖像高頻局部特征經(jīng)過強(qiáng)化紋理與對比度模塊處理得到重建紅外圖像強(qiáng)化高頻局部特征，將重建可見光圖像強(qiáng)化高頻局部特征和重建紅外圖像強(qiáng)化高頻局部特征輸入高頻局部特征融合層中得到高頻局部融合特征；
7、第三階段的輸入為低頻全局融合特征與高頻局部融合特征，低頻全局融合特征與高頻局部融合特征在通道維度上級聯(lián)得到混合特征，混合特征經(jīng)過自適應(yīng)亮度調(diào)節(jié)模塊處理得到強(qiáng)化混合特征，強(qiáng)化混合特征經(jīng)過共享解碼器生成最終的融合圖像；
8、s3：利用訓(xùn)練集中電力設(shè)備的紅外圖像與可見光圖像對紅外與可見光圖像融合網(wǎng)絡(luò)模型eivfusion進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)模型eivfusion；
9、s4：將測試集中電力設(shè)備的紅外圖像與可見光圖像輸入訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)模型eivfusion中得到融合圖像。
10、進(jìn)一步優(yōu)選，所述紅外圖像預(yù)處理模塊的處理過程為：先使用限制對比度自適應(yīng)直方圖均衡化clahe增強(qiáng)紅外圖像的對比度，然后對紅外圖像進(jìn)行去噪處理。
11、進(jìn)一步優(yōu)選，所述共享編碼器采用stca模塊，所述共享解碼器與共享編碼器的結(jié)構(gòu)相反，stca模塊的處理過程為：輸入圖像先通過卷積層提取局部特征，再通過激活函數(shù)relu進(jìn)行非線性變換，使用最大池化層進(jìn)行空間降采樣，然后用卷積核進(jìn)一步提取特征，接著使用層歸一化操作對特征進(jìn)行標(biāo)準(zhǔn)化，通過局部窗口自注意力機(jī)制捕捉全局信息，然后使用全局平均池化對特征進(jìn)行空間維度的全局信息聚合，生成每個(gè)通道的全局描述,?使用全連接層處理全局描述，通過學(xué)習(xí)生成每個(gè)通道的重要性權(quán)重，采用激活函數(shù)relu進(jìn)行非線性變換，輸出通道級的權(quán)重分布，最后使用跨模態(tài)注意力機(jī)制實(shí)現(xiàn)紅外圖像的特征和可見光圖像的特征之間的交互，通過將紅外圖像的特征作為查詢q，可見光圖像的特征作為鍵k和值v，使紅外圖像的特征在計(jì)算注意力時(shí)根據(jù)可見光圖像的特征信息進(jìn)行動(dòng)態(tài)調(diào)整，在輸出中得到增強(qiáng)的紅外特征。
12、進(jìn)一步優(yōu)選，所述低頻全局特征編碼器和低頻全局特征融合層均采用ltcs模塊，ltcs模塊的處理過程為：輸入特征通過卷積層提取局部特征，提取的卷積特征被展平并輸入全連接層，實(shí)現(xiàn)特征維度的變換，然后通過多頭自注意力機(jī)制捕捉輸入特征中不同位置之間的長程依賴，對每個(gè)位置的特征進(jìn)行非線性變換，然后通過swish?激活函本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述紅外圖像預(yù)處理模塊的處理過程為：先使用限制對比度自適應(yīng)直方圖均衡化CLAHE增強(qiáng)紅外圖像的對比度，然后對紅外圖像進(jìn)行去噪處理。
3.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述共享編碼器采用STCA模塊，所述共享解碼器與共享編碼器的結(jié)構(gòu)相反，STCA模塊的處理過程為：輸入圖像先通過卷積層提取局部特征，再通過激活函數(shù)ReLU進(jìn)行非線性變換，使用最大池化層進(jìn)行空間降采樣，然后用卷積核進(jìn)一步提取特征，接著使用層歸一化操作對特征進(jìn)行標(biāo)準(zhǔn)化，通過局部窗口自注意力機(jī)制捕捉全局信息，然后使用全局平均池化對特征進(jìn)行空間維度的全局信息聚合，生成每個(gè)通道的全局描述,?使用全連接層處理全局描述，通過學(xué)習(xí)生成每個(gè)通道的重要性權(quán)重，采用激活函數(shù)ReLU進(jìn)行非線性變換，輸出通道級的權(quán)重分布，最后使用跨模態(tài)注意力機(jī)制實(shí)現(xiàn)紅外圖像的特征和可見光圖像的特征之間的交互，通過將紅外圖像的特征作為查詢Q，可見光
4.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述低頻全局特征編碼器和低頻全局特征融合層均采用LTCS模塊，LTCS模塊的處理過程為：輸入特征通過卷積層提取局部特征，提取的卷積特征被展平并輸入全連接層，實(shí)現(xiàn)特征維度的變換，然后通過多頭自注意力機(jī)制捕捉輸入特征中不同位置之間的長程依賴，對每個(gè)位置的特征進(jìn)行非線性變換，然后通過Swish?激活函數(shù)提升梯度流動(dòng)，通過線性變換調(diào)整特征維度，通過ReLU激活函數(shù)提升非線性表示，然后對特征進(jìn)行層歸一化，將層歸一化后的特征與通過多頭自注意力機(jī)制處理后的特征進(jìn)行殘差連接，最后通過通道和空間的聯(lián)合注意力機(jī)制提取得到低頻全局特征。
5.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述高頻局部特征編碼器和高頻局部特征融合層均采用可逆神經(jīng)網(wǎng)絡(luò)INN模塊。
6.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述強(qiáng)化紋理與對比度模塊中采用SLfusion算子增強(qiáng)高頻局部特征的強(qiáng)紋理特征以及弱紋理特征，生成紋理增強(qiáng)后的高頻局部特征，再通過以卷積層所構(gòu)成的對比度增強(qiáng)模塊來提高高頻局部特征的對比度，SLfusion算子的表達(dá)式為：
7.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述自適應(yīng)亮度調(diào)節(jié)模塊的處理過程為：
8.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，第一階段的損失函數(shù)包括紅外圖像和可見光圖像的重建損失函數(shù)以及特征分解損失函數(shù)，第一階段的損失函數(shù)表達(dá)式為：
9.根據(jù)權(quán)利要求8所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，第二階段的損失函數(shù)表達(dá)式為：
10.根據(jù)權(quán)利要求9所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，第三階段的損失函數(shù)包括紋理損失、強(qiáng)度損失、顏色一致性損失、特征分解損失，第三階段的損失函數(shù)表達(dá)式為：
...【技術(shù)特征摘要】
1.一種輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述紅外圖像預(yù)處理模塊的處理過程為：先使用限制對比度自適應(yīng)直方圖均衡化clahe增強(qiáng)紅外圖像的對比度，然后對紅外圖像進(jìn)行去噪處理。
3.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述共享編碼器采用stca模塊，所述共享解碼器與共享編碼器的結(jié)構(gòu)相反，stca模塊的處理過程為：輸入圖像先通過卷積層提取局部特征，再通過激活函數(shù)relu進(jìn)行非線性變換，使用最大池化層進(jìn)行空間降采樣，然后用卷積核進(jìn)一步提取特征，接著使用層歸一化操作對特征進(jìn)行標(biāo)準(zhǔn)化，通過局部窗口自注意力機(jī)制捕捉全局信息，然后使用全局平均池化對特征進(jìn)行空間維度的全局信息聚合，生成每個(gè)通道的全局描述,?使用全連接層處理全局描述，通過學(xué)習(xí)生成每個(gè)通道的重要性權(quán)重，采用激活函數(shù)relu進(jìn)行非線性變換，輸出通道級的權(quán)重分布，最后使用跨模態(tài)注意力機(jī)制實(shí)現(xiàn)紅外圖像的特征和可見光圖像的特征之間的交互，通過將紅外圖像的特征作為查詢q，可見光圖像的特征作為鍵k和值v，使紅外圖像的特征在計(jì)算注意力時(shí)根據(jù)可見光圖像的特征信息進(jìn)行動(dòng)態(tài)調(diào)整，在輸出中得到增強(qiáng)的紅外特征。
4.根據(jù)權(quán)利要求1所述的輸變電設(shè)備巡檢紅外與可見光圖像融合方法，其特征在于，所述低頻全局特征編碼器和低頻全局特征融合層均采用ltcs模塊，ltcs模塊的處理過程為：輸入特征通過卷積層提取局部特征，提取的卷積特征被展平并輸入全連接層，實(shí)現(xiàn)特征維度的變換，然后通過多頭自注意力機(jī)制捕捉輸入特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾兵，巫平強(qiáng)，謝云敏，李得志，萬好，劉邦，曾赟，華威，周志豪，陳顯彪，陳宇聰，饒繁星，楊小品，張文華，彭聰，金子涵，周娛璐，易可欣，陳昱璋，
申請(專利權(quán))人：南昌工程學(xué)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。