【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)提供一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，屬于輸電線路熱缺陷檢測(cè)。
技術(shù)介紹
1、輸電線路電力設(shè)備數(shù)量繁多且種類復(fù)雜，電力設(shè)備長(zhǎng)期處于戶外的高壓、高溫、高負(fù)載工作狀態(tài)下，電力設(shè)備內(nèi)部缺陷在運(yùn)行過(guò)程中將不斷惡化甚至發(fā)展為缺陷故障。盡管存在多種類型故障，但當(dāng)發(fā)生故障時(shí)電力設(shè)備往往會(huì)顯示出異常發(fā)熱跡象。因此，定期檢查電力設(shè)備熱狀態(tài)，并進(jìn)一步的診斷和分析以獲得對(duì)電力設(shè)備的實(shí)時(shí)情況感知是確保電力系統(tǒng)可靠安全運(yùn)行的必要手段。
2、針對(duì)電力設(shè)備熱缺陷問(wèn)題，更多的研究基于紅外圖像。dai?y等提出了非對(duì)稱上下文調(diào)制機(jī)制，對(duì)紅外熱像中小目標(biāo)進(jìn)行檢測(cè)和識(shí)別。吳昊月等提出改進(jìn)的faster?rcnn算法，對(duì)紅外圖像中絕緣子、電流互感器等設(shè)備進(jìn)行熱缺陷檢測(cè)。李文璞等基于faster?rcnn模型，提出改進(jìn)r3det模型對(duì)紅外圖像中變電設(shè)備區(qū)域識(shí)別定位。然而，紅外圖像存在對(duì)比度低和嚴(yán)重缺乏詳細(xì)信息導(dǎo)致設(shè)備類型目標(biāo)識(shí)別精度不高的問(wèn)題。因此，由于深度學(xué)習(xí)目標(biāo)檢測(cè)算法針對(duì)紅外目標(biāo)識(shí)別能力有限，無(wú)法僅依靠熱紅外圖像滿足電力設(shè)備全時(shí)、全天候熱缺陷檢測(cè)的需求。
3、隨著深度學(xué)習(xí)的迅速發(fā)展，基于可見(jiàn)光、紅外圖像進(jìn)行電力設(shè)備熱缺陷檢測(cè)的研究開(kāi)始出現(xiàn)?？梢?jiàn)光圖像成像清晰度高，提供具有高空間分辨率和清晰度的紋理細(xì)節(jié)，但在一些特殊場(chǎng)景紅外圖像更具優(yōu)勢(shì)；紅外圖像主要呈現(xiàn)目標(biāo)的溫度信息，在特殊場(chǎng)景中，能夠更好的顯示目標(biāo)。因此將可見(jiàn)光圖像和紅外圖像進(jìn)行融合可實(shí)現(xiàn)信息互補(bǔ)，提高檢測(cè)效率；bushra?jalil等集成紅外與可見(jiàn)光圖像來(lái)檢測(cè)電力線
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)為了克服現(xiàn)有技術(shù)中存在的不足，所要解決的技術(shù)問(wèn)題為：提供一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法的改進(jìn)。
2、為了解決上述技術(shù)問(wèn)題，本專利技術(shù)采用的技術(shù)方案為：一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，包括如下的檢測(cè)步驟：
3、步驟1：構(gòu)建輸電線路電力設(shè)備圖像數(shù)據(jù)集；
4、步驟2：基于aml-yolo算法改進(jìn)yolov5s網(wǎng)絡(luò)中對(duì)電力設(shè)備的識(shí)別與定位：
5、步驟2.1：采用ghostnet網(wǎng)絡(luò)進(jìn)行深度可分離逐層卷積處理，通過(guò)原特征圖中每個(gè)通道進(jìn)行多次線性變換生成ghost特征圖；
6、步驟2.2：在雙向特征融合結(jié)構(gòu)的基礎(chǔ)上，構(gòu)建并行多分支網(wǎng)絡(luò)結(jié)構(gòu)，采用自適應(yīng)多尺度雙向特征融合通道對(duì)圖像不同層次的特征進(jìn)行融合，特征提取網(wǎng)絡(luò)ghostnet層次的圖像特征引入特征融合過(guò)程；
7、步驟3：基于融合策略算法對(duì)輸入目標(biāo)檢測(cè)模型的熱圖像和可見(jiàn)光圖像進(jìn)行檢測(cè)，輸出模型結(jié)果；
8、步驟4：對(duì)輸電線路中絕緣子、防震錘、懸垂線夾進(jìn)行不同程度熱缺陷檢測(cè)：
9、根據(jù)多模態(tài)融合可視化結(jié)果對(duì)所識(shí)別設(shè)備區(qū)域進(jìn)行主動(dòng)測(cè)溫，并將電力設(shè)備實(shí)時(shí)溫度在融合圖像中進(jìn)行可視化展示；
10、通過(guò)提取溫度值對(duì)所識(shí)別不同類型電力設(shè)備進(jìn)行缺陷判斷，根據(jù)同類比較和溫差判斷情況，將嚴(yán)重程度分為不同等級(jí)并輸出。
11、所述步驟1中構(gòu)建輸電線路電力設(shè)備圖像數(shù)據(jù)集的具體方法為：
12、步驟1.1：使用無(wú)人機(jī)針對(duì)輸電線路獲取拍攝路線及拍攝電力設(shè)備目標(biāo)信息，接收數(shù)據(jù)采集指令后，根據(jù)待采集對(duì)象位置通過(guò)拍攝路線采集電力設(shè)備對(duì)應(yīng)可見(jiàn)光、熱紅外圖像；
13、步驟1.2：對(duì)輸電線路電力設(shè)備熱紅外、可見(jiàn)光圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)標(biāo)注，對(duì)數(shù)據(jù)集中不同位置、尺寸的設(shè)備按照pascal?voc數(shù)據(jù)集格式進(jìn)行標(biāo)注，其中訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分比例為7：1：2；
14、步驟1.3：構(gòu)建對(duì)應(yīng)可見(jiàn)光、熱紅外圖像的電力設(shè)備數(shù)據(jù)集。
15、所述步驟2.1中采用ghostnet網(wǎng)絡(luò)進(jìn)行特征提取的具體方法為：
16、步驟2.1.1：采用深度可分離逐層卷積對(duì)圖像尺寸進(jìn)行壓縮，通過(guò)1×1卷積調(diào)整通道數(shù)確保經(jīng)過(guò)ghost模塊后殘差融合時(shí)步長(zhǎng)和通道數(shù)一致：
17、當(dāng)步長(zhǎng)等于1時(shí)，經(jīng)過(guò)2次連續(xù)的ghost模塊和殘差模塊操作與輸入特征融合；
18、當(dāng)步長(zhǎng)等于2時(shí)，經(jīng)過(guò)第1次ghost模塊操作圖像壓縮后，ghost?bottleneck輸出特征為與殘差邊融合結(jié)果；
19、步驟2.1.2：將卷積后生成的ghost特征圖與其通道映射的多個(gè)特征圖經(jīng)線性運(yùn)算后進(jìn)行拼接，并使用標(biāo)準(zhǔn)1×1卷積減少堆疊操作增加的輸出特征圖通道數(shù)：
20、設(shè)定x為輸入數(shù)據(jù)，高度為h和寬度為w，通道數(shù)為c，運(yùn)用1×1常規(guī)卷積降維生成通道數(shù)為m，高度為h'，寬度為w'的ghost特征圖y，卷積運(yùn)算量為h*w*c*h'*w'*m，計(jì)算公式為：
21、y＝x×f；
22、式中，f∈rc×k×k×m表示n個(gè)大小為1×1的卷積核；
23、步驟2.1.3：將得到的特征圖y(w'×h'×m)每個(gè)通道的特征圖y'進(jìn)行s次線性變換λ操作產(chǎn)生n個(gè)ghost特征圖yij，得到輸出特征層通道數(shù)n＝m*s，計(jì)算公式為：
24、
25、所述步驟2.2中進(jìn)行多尺度特征融合的具體方法為：
26、步驟2.2.1：設(shè)定特征融合網(wǎng)絡(luò)各輸入層分別為p1、p2、p3、p4；
27、將第一層輸入p1經(jīng)過(guò)一次卷積及上采樣操作后和第二層輸入p2張量拼接得到p'2，流程表達(dá)式為：
28、p2'＝concat((resize(conv(f3×3(p1)),p2))；
29、式中，concat為張量拼接操作，resize對(duì)輸入進(jìn)行上采樣或下采樣操作，當(dāng)節(jié)點(diǎn)含有比此層特征圖尺度小的輸入時(shí)，對(duì)其添加上采樣，含有比此層特征圖尺度大的輸入時(shí)，對(duì)其添加下采樣，conv為卷積操作，fn×n表示卷積核尺寸為n×n；
30、步驟2.2.2：以一個(gè)連接節(jié)點(diǎn)為一個(gè)小單元，使用單元內(nèi)跨尺度連接方式，將p1與p'2、進(jìn)行帶權(quán)重融合得到對(duì)現(xiàn)有特征進(jìn)行重新整理，形成新的特征，單元內(nèi)跳躍連接結(jié)構(gòu)的表達(dá)式為：
31、
32、為第三層的最終輸出與使用拼接方式連接，經(jīng)過(guò)c3模塊后，得到此節(jié)點(diǎn)輸出流程表達(dá)式為：
33、
34、式中，resize為下采樣操作，w1為第一層輸出p1的可學(xué)習(xí)權(quán)重，w2為第二層輸出p'2的可學(xué)習(xí)權(quán)重，w3為第三層輸出的可學(xué)習(xí)權(quán)重；
35、步驟2.2.3：得到并輸出特征融合網(wǎng)絡(luò)的各輸出層的特征圖大小。
36、所述步驟3中檢測(cè)圖像輸出模型結(jié)果的具體方法為：
37、步驟3.1.1：通過(guò)融合算法計(jì)算對(duì)應(yīng)可見(jiàn)光、熱紅外圖像檢測(cè)框的diou來(lái)判斷檢測(cè)框是否為同一目標(biāo)，計(jì)算公式為：
38、
39、式中，a為可見(jiàn)光圖像預(yù)測(cè)框、b為熱紅外圖像本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：包括如下的檢測(cè)步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟1中構(gòu)建輸電線路電力設(shè)備圖像數(shù)據(jù)集的具體方法為：
3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟2.1中采用GhostNet網(wǎng)絡(luò)進(jìn)行特征提取的具體方法為：
4.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟2.2中進(jìn)行多尺度特征融合的具體方法為：
5.根據(jù)權(quán)利要求4所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟3中檢測(cè)圖像輸出模型結(jié)果的具體方法為：
【技術(shù)特征摘要】
1.一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：包括如下的檢測(cè)步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟1中構(gòu)建輸電線路電力設(shè)備圖像數(shù)據(jù)集的具體方法為：
3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)融合的輸電線路熱缺陷檢測(cè)方法，其特征在于：所述步驟2....
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王鑫華，景超，王慧民，張興忠，程永強(qiáng)，
申請(qǐng)(專利權(quán))人：山西省能源互聯(lián)網(wǎng)研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。