【技術實現步驟摘要】
本專利技術屬于電力設備故障診斷領域，具體涉及一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法。
技術介紹
1、近年來，雖然針對變壓器的在線監測技術發展迅速，但目前大多數研究都僅針對變壓器某一項狀態監測指標展開特征識別與故障分析。每項在線監測指標可以稱作做一個模態(modality)，而各模態數據之間存在一定的關聯性。由于變壓器結構十分復雜，因此基于單個模態數據的分析結果往往過于片面，難以實現精準的診斷分析，需要結合多源特征信息和長期的運維經驗來對變壓器狀態、故障類型進行準確的評估判斷。然而在進行關聯分析時，對不同模態數據簡單地進行同等處理或對所有模態特征進行拼接整合并不能保證分析結果的有效性。因此，需要研究適用于變壓器多模態狀態信息融合及故障分析推理方法，通過模態間的互補行來學習更加準確的復雜數據特征，提高變壓器故障的診斷精度與泛化能力。
技術實現思路
1、本專利技術的目的在于解決單一模態數據無法實現精準的電力設備故障診斷問題，提供一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法。
2、為實現上述目的，本專利技術的技術方案是：一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，包括：
3、構建基于跨模態注意力機制的數據融合模型，實現多模態特征融合；
4、構建基于多模態融合的故障診斷模型，實現電力設備故障診斷。
5、在本專利技術一實施例中，構建基于跨模態注意力機制的數據融合模型之前，需對多模態數據使用對
6、在本專利技術一實施例中，多模態數據進行特征提取之前，需對采集的多模態數據進行預處理操作，保證各模態數據處于統一尺度下。
7、在本專利技術一實施例中，多模態數據預處理操作方式如下：
8、聲振數據預處理：針對采集到的設備聲振訓練信號、待測試聲振信號進行離散化采樣，針對采樣后的數據進行歸一化處理，并表示成梅爾圖譜形式，并將圖像大小固定縮放至224×224；
9、局放圖譜數據預處理：針對局部放電相位分布prpd的標準故障數據、實際采集的已標注數據和無標注數據進行預處理，包括圖像重采樣與歸一化，重采樣采用雙線性插值法：
10、
11、其中，f(x)為點x處的像素值，q11＝(x1,y1)、q21＝(x2,y1)、q12＝(x1,y2)、q22＝(x2,y2)為目標像素點(x,y)周圍的四個原始圖像點坐標，通過重采樣將所有圖像調整為相同的尺寸；對重采樣的數據進行歸一化處理，將像素值除以255，使圖像的像素值縮放到[0,1]范圍內；
12、數值型數據預處理：針對數值型數據，通過一個固定的隨機矩陣進行縮放，得到維度為224的向量。
13、在本專利技術一實施例中，多模態數據特征提取方式如下：
14、將梅爾譜圖數據送入vgg-net網絡得到聲振的提取特征將局放圖譜數據送入resnet-50網絡得到局放的提取特征將數值型數據的向量送入一個3層的全連接網絡得到數值型數據的提取特征其中nv、nst和nnum分別表示三種多模態數據的樣本數量，d表示提取特征的維度。
15、在本專利技術一實施例中，構建基于跨模態注意力機制的數據融合模型的具體過程如下：
16、給定音頻(a)、visual(v)和文本(t)特征表示xa、xv和xt，音頻、視覺和文本模態的特征向量連接所有模態的聯合特征表示j，然后通過全連接層：
17、
18、其中d＝da+dv+dt表示j的維數，da、dv和dt分別是音頻、視覺和文本特性的維度，fc表示全連接層；
19、j輸入到各自模態的聯合交叉注意框架中，以關注單個模態的特征表示，j和xa之間的互相關關系得到為聯合互相關矩陣ca，由
20、
21、其中，wja∈rda×d表示音頻模態的可學習權重矩陣；
22、同樣，得到其他兩種模態cv和ct的互相關矩陣為：
23、
24、其中，wjv∈rdv×d、wjt∈rdt×d分別表示視覺模態和文本模態可學習權重矩陣；
25、使用聯合互相關矩陣來計算單個模態的注意映射，對于音頻模態，利用可學習權值矩陣wca將聯合相關矩陣ca和相應的音頻特征xa結合起來，然后用relu激活函數計算注意映射ha，ha由
26、ha＝relu(xawcaca)???(5)
27、其中，wca∈rk×k表示音頻模態可學習權重矩陣；同樣，視覺模態和文本模態的注意映射為
28、hv＝relu(xvwcvcv)???(6)
29、ht＝relu(xtwctct)???(7)
30、其中，wcv∈rk×k，wct∈rk×k分別為視覺模態和文本模態可學習權重矩陣。現在，注意映射被用來計算個體模態的參與特征，如下：
31、xatt，a＝hawha+xa???(8)
32、xatt，v＝hvwhv+xv???(9)
33、xatt，t＝htwht+xt???(10)
34、其中，wha∈rk×k、whv∈rk×k和wht∈rk×k分別表示音頻、視覺和文本模式的可學習權重矩陣；
35、為獲得更精細的特征表示，再次將每個模態的參與特征作為輸入，輸入到各自的聯合跨模態注意模塊，聯合跨模態注意模塊由
36、
37、其中，w(l)ha∈rk×k，w(l)ht∈rk×k和w(l)ht∈rk×k分別表示音頻、視覺和文本模態的可學習權值矩陣，l表示遞歸步驟；
38、將經過l次迭代后的單個模態的參與特征連接起來，得到多模態融合特征表示x(l)att，如下所示：
39、
40、在本專利技術一實施例中，構建基于多模態融合的故障診斷模型的具體過程如下：
41、將多模態融合特征送入診斷模塊，實現對設備故障的診斷，診斷損失llabeled具體定義為:
42、
43、其中，fc(·)表示分類器網絡，llabeled是交叉熵損失，采用的隨機梯度下降法對模型訓練過程進行優化，表示神經網絡的輸入特征，表示對應特征的權重。
44、在本專利技術一實施例中，診斷模塊為三層全連接網絡，每個隱藏層的單元個數分別設置為1000-500-200，最終輸出層的單元個數為數據的類別。
45、本專利技術還提供了一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷系統，其特征在于，包括存儲器、處理器以及存儲于存儲器上并能夠被處理器運行的計算機程序指令，當處理器運行該計算機程序指令時，能夠實現如上述所述的方法步驟。
46、本專利技術還提供了一種計算機可讀存儲介質，其上存儲有能夠被處理器運行的計算機程序指令，當處理器運行該計算機程序指令時，能夠實現如上述所述的方法步驟。
47、相較于現有技術，本專利技術具有以下有益效果：本專利技術本文檔來自技高網...
【技術保護點】
1.一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，包括：
2.根據權利要求1所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，構建基于跨模態注意力機制的數據融合模型之前，需對多模態數據使用對應的特征提取網路進行特征提取。
3.根據權利要求2所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據進行特征提取之前，需對采集的多模態數據進行預處理操作，保證各模態數據處于統一尺度下。
4.根據權利要求3所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據預處理操作方式如下：
5.根據權利要求4所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據特征提取方式如下：
6.根據權利要求5所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，構建基于跨模態注意力機制的數據融合模型的具體過程如下：
7.根據權利要求6所述的基于時序-譜圖-離散數據多模態融
8.根據權利要求7所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，診斷模塊為三層全連接網絡，每個隱藏層的單元個數分別設置為1000-500-200，最終輸出層的單元個數為數據的類別。
9.一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷系統，其特征在于，包括存儲器、處理器以及存儲于存儲器上并能夠被處理器運行的計算機程序指令，當處理器運行該計算機程序指令時，能夠實現如權利要求1-8任一所述的方法步驟。
10.一種計算機可讀存儲介質，其上存儲有能夠被處理器運行的計算機程序指令，當處理器運行該計算機程序指令時，能夠實現如權利要求1-8任一所述的方法步驟。
...【技術特征摘要】
1.一種基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，包括：
2.根據權利要求1所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，構建基于跨模態注意力機制的數據融合模型之前，需對多模態數據使用對應的特征提取網路進行特征提取。
3.根據權利要求2所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據進行特征提取之前，需對采集的多模態數據進行預處理操作，保證各模態數據處于統一尺度下。
4.根據權利要求3所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據預處理操作方式如下：
5.根據權利要求4所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方法，其特征在于，多模態數據特征提取方式如下：
6.根據權利要求5所述的基于時序-譜圖-離散數據多模態融合的電力設備故障診斷方...
【專利技術屬性】
技術研發人員：劉冰倩，武欣欣，黃建業，廖飛龍，陳伯建，林金榕，楊彥，林爽，
申請(專利權)人：國網福建省電力有限公司電力科學研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。