本申請涉及圖像處理、計算機視覺技術(shù)領(lǐng)域，尤其涉及多模態(tài)巡檢圖像配準(zhǔn)及模型構(gòu)建的方法、電子設(shè)備，本申請通過得到訓(xùn)練集圖像；其中，所述訓(xùn)練集圖像包括：多模態(tài)移動圖像以及多模態(tài)固定圖像；將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，利用訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，實現(xiàn)紅外可見光圖像的自動配準(zhǔn)，進(jìn)而提高后期目標(biāo)識別和檢測等任務(wù)的執(zhí)行效率。
【技術(shù)實現(xiàn)步驟摘要】
本申請涉及圖像處理、計算機視覺，尤其涉及多模態(tài)巡檢圖像配準(zhǔn)及模型構(gòu)建的方法、電子設(shè)備。
技術(shù)介紹
1、輸電線路具有電力傳輸功能，是智能電網(wǎng)的重要組成部分。作為供電脈絡(luò)的輸電線路在電力系統(tǒng)中承擔(dān)著重要的輸電任務(wù)，如果線路出現(xiàn)異常，會造成嚴(yán)重的電網(wǎng)系統(tǒng)故障，嚴(yán)重的會導(dǎo)致整個電網(wǎng)系統(tǒng)癱瘓，影響群眾的安全與電力使用。
2、輸電線路由于地理位置特殊，并且導(dǎo)線長期暴露在外，容易受到外界因素影響，導(dǎo)致輸電線路不能安全運行的重要因素之一就是異物。輸電線路周圍環(huán)境雜物漂浮物較多，在惡劣天氣的影響下，極有可能導(dǎo)致異物落在輸電線路塔身或者導(dǎo)線上，不及時處理常常會引發(fā)惡性電力事故。近年來，環(huán)境氣候的惡化與垃圾處理的不均衡擴大了輸電導(dǎo)線出現(xiàn)異物懸掛的可能性，因此積極進(jìn)行輸電導(dǎo)線懸掛異物檢測并及時清理，對智能電網(wǎng)的可靠安全運行具有重要意義。
3、傳統(tǒng)的電力巡檢主要依靠人工勘查，通過電力工人在現(xiàn)場對輸電線路中的電塔、輸電線、絕緣子等高壓電力器件進(jìn)行檢測和維護(hù)，以確保供電系統(tǒng)的正常運行。然而，在偏遠(yuǎn)山區(qū)執(zhí)行巡檢任務(wù)時，巡檢人員只能通過望遠(yuǎn)鏡觀察遠(yuǎn)處，或者攀爬進(jìn)入山區(qū)的基塔進(jìn)行檢查。這種人工巡檢方式效率低、勞動強度大、安全性低，并且存在視野盲區(qū)難以檢測的問題。
4、即現(xiàn)有的人工巡檢方式效率低、勞動強度大、安全性低。
技術(shù)實現(xiàn)思路
1、為至少在一定程度上克服相關(guān)技術(shù)中現(xiàn)有的人工巡檢方式效率低、勞動強度大、安全性低的問題，本申請?zhí)峁┮环N多模態(tài)巡檢圖像配準(zhǔn)及模型構(gòu)建的方法、電子設(shè)備。</p>2、本申請的方案如下：
3、為實現(xiàn)以上目的，本申請?zhí)岢鋈缦陆鉀Q方案：
4、第一方面，本申請?zhí)峁┒嗄B(tài)巡檢圖像配準(zhǔn)模型構(gòu)建的方法，所述方法包括：
5、得到訓(xùn)練集圖像；其中，所述訓(xùn)練集圖像包括：多模態(tài)移動圖像以及多模態(tài)固定圖像；
6、將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型。
7、進(jìn)一步地，所述將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，包括：
8、將訓(xùn)練集圖像中的多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到預(yù)設(shè)的粗配準(zhǔn)網(wǎng)絡(luò)中，利用粗配準(zhǔn)網(wǎng)絡(luò)中預(yù)設(shè)的初識變形場將多模態(tài)移動圖像與多模態(tài)固定圖像進(jìn)行對齊，并利用nmi損失函數(shù)來補償多模態(tài)移動圖像與多模態(tài)固定圖像的結(jié)構(gòu)上的差異，得到第一處理數(shù)據(jù)；
9、將所述第一處理數(shù)據(jù)輸入到預(yù)設(shè)的模態(tài)翻譯網(wǎng)絡(luò)中，利用所述模態(tài)翻譯網(wǎng)絡(luò)中生成的加性翻譯掩碼對所述第一處理數(shù)據(jù)進(jìn)行模態(tài)翻譯，得到第二處理數(shù)據(jù)；
10、將所述第二處理數(shù)據(jù)輸入到預(yù)設(shè)的細(xì)配準(zhǔn)網(wǎng)絡(luò)中進(jìn)行圖像配準(zhǔn)，得到第三處理數(shù)據(jù)；
11、利用所述第三處理數(shù)據(jù)以及預(yù)設(shè)的損失函數(shù)，對初始的多模態(tài)巡檢圖像配準(zhǔn)模型進(jìn)行調(diào)整后再次訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型。
12、進(jìn)一步地，所述預(yù)設(shè)的損失函數(shù)，包括：
13、第一損失函數(shù)、第二損失函數(shù)、第三損失函數(shù)。
14、進(jìn)一步地，所述第一損失函數(shù)，如式(1)所示：
15、
16、其中，l1表示第一損失函數(shù)；α1和β1表示g1超參數(shù)；g1表示粗配準(zhǔn)網(wǎng)絡(luò)；lsmooth(φ0)表示光滑的變形場；φ0表示變形場；ft1表示多模態(tài)固定圖像；mt2表示多模態(tài)移動圖像；表示通過變形場φ0翹曲的mt2；表示t1圖像經(jīng)過逆形變場得到t1向t2配準(zhǔn)的圖像；表示通過變形場φ0翹曲的mt2與ft1之間的nmi損失函數(shù)；
17、表示t1圖像經(jīng)過逆形變場得到t1向t2配準(zhǔn)的圖像，與t2之間的計算損失函數(shù)。
18、進(jìn)一步地，所述第二損失函數(shù)，如式(2)所示：
19、
20、其中，l2表示第二損失函數(shù)；α2、β2和λ2為g2的超參數(shù)；g2表示模態(tài)翻譯網(wǎng)絡(luò)；mask表示平移掩碼。
21、6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第三損失函數(shù)，如式(3)所示：
22、
23、其中，l3表示第三損失函數(shù)；α3、β3、λ3為g3的超參數(shù)；g3表示細(xì)配準(zhǔn)網(wǎng)絡(luò)；mt2-t1表示t2經(jīng)過翻譯網(wǎng)絡(luò)得到的圖像，而表示這個翻譯圖像經(jīng)過形變場，成為翻譯圖像向t1的配準(zhǔn)圖像。
24、進(jìn)一步地，所述nmi損失函數(shù)，如式(4)所示：
25、
26、其中，表示與ft1之間的nmi損失函數(shù)；其中，表示通過變形場φ0翹曲的mt2；ft1表示多模態(tài)固定圖像；p(a，b)、p(a)p(b)表示兩幅圖像的聯(lián)合且獨立的強度分布。
27、進(jìn)一步地，所述方法還包括：
28、采用預(yù)設(shè)的mse損耗函數(shù)來優(yōu)化模態(tài)翻譯網(wǎng)絡(luò)。
29、第二方面，本申請?zhí)峁┒嗄B(tài)巡檢圖像配準(zhǔn)的方法，所述方法包括：
30、得到測試集圖像；其中，所述測試集圖像包括：多模態(tài)移動圖像以及多模態(tài)固定圖像；
31、將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型中，輸出多模態(tài)圖像的配準(zhǔn)結(jié)果；
32、其中，所述訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型為采用上述任一項所述的方法構(gòu)建得到。
33、第三方面，本申請?zhí)峁┮环N電子設(shè)備，所述設(shè)備包括：
34、存儲器，其上存儲有可執(zhí)行程序；
35、處理器，用于執(zhí)行所述存儲器中的所述可執(zhí)行程序，以實現(xiàn)上述中任一項所述的多模態(tài)巡檢圖像配準(zhǔn)模型構(gòu)建的方法；或者實現(xiàn)上述所述的多模態(tài)巡檢圖像配準(zhǔn)的方法。
36、本申請?zhí)峁┑募夹g(shù)方案可以包括以下有益效果：
37、本申請通過得到訓(xùn)練集圖像；其中，所述訓(xùn)練集圖像包括：多模態(tài)移動圖像以及多模態(tài)固定圖像；將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，利用訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，實現(xiàn)紅外可見光圖像的自動配準(zhǔn)，進(jìn)而提高后期目標(biāo)識別和檢測等任務(wù)的執(zhí)行效率。
38、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請。
本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.多模態(tài)巡檢圖像配準(zhǔn)模型構(gòu)建的方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)的損失函數(shù)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一損失函數(shù)，如式(1)所示：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二損失函數(shù)，如式(2)所示：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第三損失函數(shù)，如式(3)所示：
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述NMI損失函數(shù)，如式(4)所示：
8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
9.多模態(tài)巡檢圖像配準(zhǔn)的方法，其特征在于，所述方法包括：
10.一種電子設(shè)備，其特征在于，所述設(shè)備包括：
【技術(shù)特征摘要】
1.多模態(tài)巡檢圖像配準(zhǔn)模型構(gòu)建的方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述多模態(tài)移動圖像以及多模態(tài)固定圖像輸入到初始的多模態(tài)巡檢圖像配準(zhǔn)模型中，進(jìn)行訓(xùn)練，得到訓(xùn)練后的多模態(tài)巡檢圖像配準(zhǔn)模型，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)的損失函數(shù)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一損失函數(shù)，如式(1)所示：
5.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：于虹，
申請(專利權(quán))人：云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。