【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及電力缺陷檢測領(lǐng)域，更具體地說，它涉及輸電通道的視頻超分辨率重建方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
1、輸電通道視頻的清晰度和真實(shí)度成為了輸電監(jiān)測的重要保障，傳統(tǒng)的輸電通道視頻的獲取和處理方法通常依賴于高分辨率的攝像頭和高性能的計(jì)算機(jī)，這種方法不僅耗費(fèi)大量的資源和成本，而且存在著易受環(huán)境干擾、難以實(shí)時(shí)處理等缺點(diǎn)。為了克服這些缺點(diǎn)，利用超分辨率重建技術(shù)進(jìn)行輸電通道視頻的清晰化和真實(shí)化的方法逐漸得到了廣泛的應(yīng)用。超分辨率重建技術(shù)是一種利用深度學(xué)習(xí)等人工智能技術(shù)，從低分辨率的視頻序列中恢復(fù)出高分辨率的視頻序列的技術(shù)，它可以有效地提高輸電通道視頻的質(zhì)量和可視性，從而實(shí)現(xiàn)輸電通道視頻的狀態(tài)監(jiān)測和故障診斷。
2、然而，由于輸電通道視頻本身的問題，如模糊、噪聲、運(yùn)動等，使得視頻的超分辨率重建面臨著很多挑戰(zhàn)。為了提高輸電通道視頻的超分辨率重建的效果和效率，一般需要對輸電通道視頻進(jìn)行預(yù)處理，如去噪、增強(qiáng)、校正等。為了提高視頻中目標(biāo)的檢測和識別的準(zhǔn)確性，一般需要利用視頻序列中的幀間信息，如運(yùn)動信息和結(jié)構(gòu)信息，進(jìn)行特征提取和融合，利用視頻的時(shí)空信息，提高目標(biāo)特征的表達(dá)能力。為了提高視頻中目標(biāo)的標(biāo)注和描述的效果，一般需要利用人工智能技術(shù)，如深度學(xué)習(xí)、自然語言處理等，對視頻中的目標(biāo)進(jìn)行自動化的分析、識別和標(biāo)注，從而實(shí)現(xiàn)輸電通道視頻的智能化。
3、在實(shí)現(xiàn)輸電通道視頻的超分辨率重建的過程中，視頻序列中的幀間信息是一個(gè)關(guān)鍵的因素，它決定了重建視頻的質(zhì)量和效率。傳統(tǒng)的幀間信息的提取和利用方法通常依賴于顯式的運(yùn)動估計(jì)和補(bǔ)償，這種方法
技術(shù)實(shí)現(xiàn)思路
1、本申請的目的是提供輸電通道的視頻超分辨率重建方法、裝置、設(shè)備及介質(zhì)，本申請解決了目前視頻超分辨率重建過程中，其重建性能較差和計(jì)算復(fù)雜度較高的問題。
2、本申請的第一方面，提供了一種輸電通道的視頻超分辨率重建方法，方法包括：
3、獲取輸電通道的視頻數(shù)據(jù)集，其中視頻數(shù)據(jù)集是指輸電通道的目標(biāo)對象的視頻數(shù)據(jù)；
4、將視頻數(shù)據(jù)集中的低分辨率視頻的每一幀切成多個(gè)正方形區(qū)域，將每一幀的多個(gè)正方形區(qū)域展平，得到多個(gè)視頻幀序列，將多個(gè)視頻幀序列輸入光流預(yù)估計(jì)網(wǎng)絡(luò)，預(yù)測出多個(gè)視頻幀序列的位置分布圖；
5、提取低分辨率視頻的特征向量，將特征向量與位置分布圖融合，獲得融合向量；
6、將融合向量輸入transformer神經(jīng)網(wǎng)絡(luò)進(jìn)行軌跡注意力運(yùn)算，得到軌跡注意力表征編碼向量；
7、將軌跡注意力表征編碼向量輸入預(yù)先訓(xùn)練好的上采樣重建網(wǎng)絡(luò)進(jìn)行處理，獲得重建序列；
8、采用雙三次插值法對低分辨率視頻的任意一幀采樣，獲得任意一幀的采樣序列；
9、基于重建序列和采樣序列，生成輸電通道的超分辨率視頻。
10、在本申請的第一方面的一種實(shí)現(xiàn)方式中，所述低分辨率視頻的每一幀對應(yīng)一個(gè)視頻幀序列，每個(gè)正方形區(qū)域?qū)?yīng)一個(gè)坐標(biāo)位置；
11、將多個(gè)視頻幀序列輸入光流預(yù)估計(jì)網(wǎng)絡(luò)，預(yù)測出多個(gè)視頻幀序列的位置分布圖，包括：
12、依據(jù)光流預(yù)估計(jì)網(wǎng)絡(luò)，預(yù)測出每個(gè)視頻幀序列的每個(gè)正方形區(qū)域，在低分辨率視頻的下一幀所對應(yīng)的正方形區(qū)域變化的光流信息；
13、根據(jù)光流信息，將低分辨率視頻的每一幀分解為軌跡，得到多個(gè)軌跡；其中軌跡是指輸電通道的目標(biāo)對象連續(xù)變化的視覺單元；
14、生成每個(gè)軌跡的位置圖，其中位置圖的大小為c×h×w，c表示軌跡的長度，h和w分別是低分辨率視頻的幀的高度和寬度，位置圖是一個(gè)0或1的二值矩陣，1表示視覺單元在低分辨率視頻的幀的坐標(biāo)位置上，0表示視覺單元不在低分辨率視頻的幀的坐標(biāo)位置上；
15、將每個(gè)軌跡的位置圖組合，獲得多個(gè)視頻幀序列的位置分布圖，其中位置分布圖用于指示不同的軌跡在低分辨率視頻中的位置分布。
16、在本申請的第一方面的一種實(shí)現(xiàn)方式中，提取低分辨率視頻的特征向量，包括：
17、將低分辨率視頻和低分辨率視頻的任意一幀分別輸入嵌入網(wǎng)絡(luò)，提取出低分辨率視頻的特征向量，其中特征向量包括低分辨率視頻的每一幀的第一鍵向量和第一值向量，以及任意一幀的第一查詢向量；
18、將特征向量與位置分布圖融合，獲得融合向量，包括：
19、將第一查詢向量、第一鍵向量和第一值向量分別與位置分布圖融合，獲得融合向量，其中融合向量包括位置分布圖的第二鍵向量，以及任意一幀的第二查詢向量和第二值向量；
20、將融合向量輸入transformer神經(jīng)網(wǎng)絡(luò)進(jìn)行軌跡注意力運(yùn)算，得到軌跡注意力表征編碼向量，具體為：將第二查詢向量、第二鍵向量和第二值向量輸入transformer神經(jīng)網(wǎng)絡(luò)進(jìn)行軌跡注意力運(yùn)算，得到軌跡注意力表征編碼向量。
21、在本申請的第一方面的一種實(shí)現(xiàn)方式中，將第一查詢向量、第一鍵向量和第一值向量分別與位置分布圖融合，獲得融合向量，包括：
22、將位置分布圖的任意一幀的位置圖分別與第一查詢向量和第一值向量相乘，獲得任意一幀的第二查詢向量和第二值向量；
23、將第一鍵向量和位置分布圖相乘，獲得第一鍵向量與位置分布圖對應(yīng)的第二鍵向量。
24、在本申請的第一方面的一種實(shí)現(xiàn)方式中，軌跡注意力運(yùn)算的表達(dá)式為：其中，表示第二查詢向量，τi表示第i個(gè)軌跡，h表示低分辨率視頻的幀的高度，w表示低分辨率視頻的幀的寬度，表示位置分布圖，表示第二鍵向量，表示第二值向量，v表示第一值向量，k表示第一鍵向量，q表示第一查詢向量，softmax表示歸一化函數(shù)，d表示正方形區(qū)域的數(shù)量，t表示軌跡注意力表征編碼向量，t表示低分辨率視頻的第t幀。
25、在本申請的第一方面的一種實(shí)現(xiàn)方式中，預(yù)先訓(xùn)練好的上采樣重建網(wǎng)絡(luò)，包括：
26、構(gòu)建上采樣重建網(wǎng)絡(luò)和損失函數(shù)；其中所述損失函數(shù)是對像素?fù)p失、感知損失以及軌跡損失進(jìn)行加權(quán)求和得到的；
27、配置優(yōu)化器，計(jì)算損失函數(shù)的損失值，利用優(yōu)化器更新上采樣重建網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，直至損失函數(shù)收斂，獲得預(yù)先訓(xùn)練好的上采樣重建網(wǎng)絡(luò)。
28、在本申請的第一方面的一種實(shí)現(xiàn)方式中，基于重建序列和采樣序列，生成輸電通道的超分辨率視頻，包括：
29、將低分辨率視頻的任意一幀的采樣序列與重建序列逐位相加，獲得低分辨率視頻的任意一幀的高分辨率視頻幀；
30、依據(jù)低分辨率視頻的每一幀的高分辨率視頻幀，生成輸電通道的超分辨率視頻。
31、本申請的第二方面，提供了一種輸電通道的視頻超分辨率重建裝置，裝置包括：
32、視頻數(shù)據(jù)獲取模塊，用于獲取輸電通道的視頻數(shù)據(jù)集，其中視頻數(shù)據(jù)集是指輸電通道的目標(biāo)對象的視頻數(shù)據(jù)；
33、位置分布圖預(yù)測模塊，用于將視頻數(shù)據(jù)集中的低分辨率視頻的每一幀切成多個(gè)正方形區(qū)域，將每一幀的多個(gè)正方形區(qū)域展平，得到多個(gè)視頻幀序列，將多個(gè)視頻幀序列輸入光流預(yù)估計(jì)網(wǎng)絡(luò)，預(yù)測出多個(gè)視頻幀序列的位本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種輸電通道的視頻超分辨率重建方法，其特征在于，方法包括：
2.根據(jù)權(quán)利要求1所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，所述低分辨率視頻的每一幀對應(yīng)一個(gè)視頻幀序列，每個(gè)正方形區(qū)域?qū)?yīng)一個(gè)坐標(biāo)位置；
3.根據(jù)權(quán)利要求1所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，提取低分辨率視頻的特征向量，包括：
4.根據(jù)權(quán)利要求3所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，將第一查詢向量、第一鍵向量和第一值向量分別與位置分布圖融合，獲得融合向量，包括：
5.根據(jù)權(quán)利要求3所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，軌跡注意力運(yùn)算的表達(dá)式為：其中，表示第二查詢向量，τi表示第i個(gè)軌跡，h表示低分辨率視頻的幀的高度，w表示低分辨率視頻的幀的寬度，表示位置分布圖，表示第二鍵向量，表示第二值向量，v表示第一值向量，K表示第一鍵向量，q表示第一查詢向量，softmax表示歸一化函數(shù)，d表示正方形區(qū)域的數(shù)量，T表示軌跡注意力表征編碼向量，t表示低分辨率視頻的第t幀。
6.根據(jù)權(quán)利要求1所述的一種輸電通道的
7.根據(jù)權(quán)利要求1所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，基于重建序列和采樣序列，生成輸電通道的超分辨率視頻，包括：
8.一種輸電通道的視頻超分辨率重建裝置，其特征在于，裝置包括：
9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括處理器、存儲器、以及存儲在所述存儲器上并可被所述處理器執(zhí)行的計(jì)算機(jī)程序，其中所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的一種輸電通道的視頻超分辨率重建方法的步驟。
10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，其中所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的一種輸電通道的視頻超分辨率重建方法的步驟。
...【技術(shù)特征摘要】
1.一種輸電通道的視頻超分辨率重建方法，其特征在于，方法包括：
2.根據(jù)權(quán)利要求1所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，所述低分辨率視頻的每一幀對應(yīng)一個(gè)視頻幀序列，每個(gè)正方形區(qū)域?qū)?yīng)一個(gè)坐標(biāo)位置；
3.根據(jù)權(quán)利要求1所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，提取低分辨率視頻的特征向量，包括：
4.根據(jù)權(quán)利要求3所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，將第一查詢向量、第一鍵向量和第一值向量分別與位置分布圖融合，獲得融合向量，包括：
5.根據(jù)權(quán)利要求3所述的一種輸電通道的視頻超分辨率重建方法，其特征在于，軌跡注意力運(yùn)算的表達(dá)式為：其中，表示第二查詢向量，τi表示第i個(gè)軌跡，h表示低分辨率視頻的幀的高度，w表示低分辨率視頻的幀的寬度，表示位置分布圖，表示第二鍵向量，表示第二值向量，v表示第一值向量，k表示第一鍵向量，q表示第一查詢向量，softmax表示歸一化函數(shù)，d表示正...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉松嘉，趙維山，梁海飛，張曉東，盧思丞，劉璞宇，倪松，辛靖，李明，王若川，何勇，胡力中，羅聰敏，李唯魏，
申請(專利權(quán))人：國網(wǎng)四川省電力公司自貢供電公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。