【技術實現步驟摘要】
本專利技術涉及一種光伏組件缺陷檢測方法，具體涉及參考光伏組件缺陷分割方法，屬于多模態學習領域。
技術介紹
1、太陽能是一種有巨大前景的可再生能源，在緩解全球能源危機方面具有巨大潛力。光伏組件作為太陽能系統的核心，其性能對光伏系統的效率和可靠性至關重要。然而，光伏組件在制造、運輸和運行過程中容易出現各種缺陷，例如裂紋、斷珊和腐蝕。這些缺陷會嚴重降低光伏系統的性能和使用壽命。因此，及時、準確地檢測和分割這些缺陷對于確保光伏系統的最佳性能、安全性和壽命至關重要。
2、目前，基于深度學習的光伏組件缺陷分割技術研究已經十分廣泛，在該領域中已經取得了顯著的進展。研究人員開發了多種深度學習模型，這些模型能夠較好地分割出光伏組件缺陷。然而，這些模型統一分割出電池圖像中的所有缺陷，無法對特定類型的缺陷進行精細化的檢測，難以滿足對指定缺陷的個性化檢測需求。在光伏電站的實際運行過程中，不同種類的缺陷對于光伏組件的安全性和發電效率產生不同的影響。并且由于光伏電站的規模、位置、環境、天氣等因素影響，不同光伏電站中可能存在不同的缺陷類型，從而導致不同光伏電站具有不同的運維需求。因此，如果針對特定的缺陷類型進行精準分割任務，將有助于滿足光伏電站在個性化運維的需求。
3、然而，目前光伏組件缺陷檢測領域并沒有基于圖文多模態數據集，個性化分割指定缺陷的方法。難以根據當前電站的個性化運維需求，檢測出符合的指定類型的缺陷。因此，迫切需要一種新的方案解決上述問題。
技術實現思路
1、本專利技術正是針
2、為了實現上述目的，本專利技術的技術方案如下，一種基于文本描述的參考光伏組件缺陷分割方法：
3、s1.構建一個深度學習模型，輸入為光伏組件的電致發光圖像與期望檢測的缺陷文本描述，通過訓練使其能夠根據輸入的參考文本精確分割出光伏組件電池圖像中的指定缺陷。
4、s2：從已有的多模態數據集中加載電致發光圖像及期望檢測缺陷的自然語言描述，通
5、過預訓練的圖像模型與語言模型分別提取高級圖像特征與高級文本特征；
6、s3：設計一個多模態融合模塊，將圖像和文本特征有效結合，形成一個統一的融合特征表示；
7、s4.設計一個多粒度感知分組模塊，以處理不同粒度的缺陷分割需求，識別與文本相符的單個、多個以及無目標缺陷；
8、s5.通過一個文本指導的解碼器，基于上述提取的圖文特征、融合特征與感知分組特征判斷目標是否存在并解碼出目標掩碼，從而根據輸入的參考文本精確分割出光伏組件電池圖像中的指定缺陷。
9、進一步的，在所述步驟s1中，輸入的電致發光圖像通過圖像編碼器提取圖像特征，參考文本通過文本編碼器提取文本特征。將提取的特征輸入多模態融合模塊進行模態間對齊融合；將對齊后的融合特征輸入多粒度感知分組模塊，由粗到細地聚合相同類別的特征；并將輸出的分組特征與融合特征共同輸入文本指導解碼器生成分割圖像。通過交叉熵損失計算預測值與真實值之間的差異。
10、進一步的，所述步驟s2中，對于輸入el圖像，使用預訓練的圖像模型作為圖像編碼器提取高級圖像特征。對于參考文本中的信息，使用預訓練的文本模型作為文本編碼器提取高級文本特征。具體的，在前向過程中，首先將大小為h×w的圖像(i)輸入圖像編碼器，通過四個階段生成多尺度特征圖將參考文本(t)輸入文本編碼器得到文本特征ft。
11、
12、其中，encoderimage與encodertext分別為預訓練的圖像編碼器與文本編碼器，c1為提取圖像特征的通道數，c2為提取文本特征的嵌入維度，nt為輸入文本的最大詞數。
13、進一步的，所述步驟s3中，輸入的文本特征ft經過一個多層感知機對齊特征尺度。輸入的單尺度圖像特征fi，進行特征重塑后通過一個線性層對齊特征尺度，得到特征尺寸大小為hw×c。接著，分別執行文本特征與圖像特征的交叉注意力與圖像的自注意力。具體處理過程可以由下式所定義
14、ffusion＝conv1×1(concat(mhca(γt,γi),mhsa(γi)))
15、γi＝linear(reshape(fi)),γt＝mlp(ft)
16、其中conv1×1為1×1的卷積，concat代表特征級聯，mhca與mhsa分別代表多頭交叉注意力與多頭自注意力操作，γt,γi分別代表經過維度對齊后的文本特征與圖像特征。
17、進一步的，所述步驟s4中，基于可學習類別查詢qlearnable與交叉注意力機制，學習圖像中屬于同一類別的像素表征。每個查詢相當于一個類別中心，能夠捕捉到該類別的通用特征。具體的，輸入的某一尺度上的圖像特征fi與融合特征ffusion首先通過交叉注意力進行進一步增強。結果與可學習類別查詢qlearnable通過t次的交叉注意力生成分組特征
18、
19、其中mhca代表多頭交叉注意力操作，為第j個階段的可學習類別查詢。
20、進一步的，所述步驟s5中，通過一個文本指導解碼器，文本特征，融合特征與分組特征通過交叉注意力機制進一步融合。圖像特征通過一個像素解碼器進行預分割操作，得到金字塔解碼特征。融合結果與預分割結果進行連接操作得到金字塔解碼特征fdecode，最終通過一個卷積模組生成分割掩碼imask，通過一個多層感知機生成目標指示，判斷是否存在對應目標。
21、所述步驟s5中，分割掩碼與目標指示通過交叉熵來量化模型預測與真實值之間的差異。模型的損失由兩部分組成：掩模分割損失和目標存在性損失。二者分別為模型的兩個輸出imask與目標指示，與真值之間的交叉熵損失。最終的損失為二者的加權和：
22、
23、具體的，上述權重值α與β分別設置為1、0.1。
24、相較于現有技術，本專利技術具有如下優點，通過結合圖像和文本數據，該方案能夠更全面地理解和分析光伏組件的缺陷。圖像提供了直觀的視覺信息，而文本描述則提供了語義信息，在實際的運維中，光伏電站可以根據實際的運維需求，按照文本表述，分割對效率影響較大的缺陷，而非如傳統的缺陷檢測中統一分割圖像中所有類別的缺陷。所構建的深度學習網絡基于多模態融合與多粒度感知分組，可以有效的根據多粒度文本分割圖像中對應的缺陷。
本文檔來自技高網...【技術保護點】
1.一種參考光伏組件缺陷分割方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述參考光伏組件缺陷分割方法，其特征在于，在步驟S1中，構建深度學習模型，輸入的電致發光圖像通過圖像編碼器提取圖像特征，參考文本通過文本編碼器提取文本特征，將提取的特征輸入多模態融合模塊進行模態間對齊融合；將對齊后的融合特征輸入多粒度感知分組模塊，由粗到細地聚合相同類別的特征；并將輸出的分組特征與融合特征共同輸入文本指導解碼器生成分割圖像，通過交叉熵損失計算預測值與真實值之間的差異。
3.根據權利要求2所述的參考光伏組件缺陷分割方法，其特征在于，步驟S2中，對于輸入電致發光圖像，使用預訓練的圖像模型作為圖像編碼器提取高級圖像特征，對于參考文本中的信息，使用預訓練的文本模型作為文本編碼器提取高級文本特征，具體如下，在前向過程中，首先將大小為H×W的圖像(I)輸入圖像編碼器，通過四個階段生成多尺度特征圖將參考文本(T)輸入文本編碼器得到文本特征ft，
4.根據權利要求3所述的參考光伏組件缺陷分割方法，其特征在于，步驟S3中，輸入的文本特征Ft經過一個多層感知機對
5.根據權利要求4所述的參考光伏組件缺陷分割方法，其特征在于，步驟S4中，利用上述得到的融合特征，基于可學習類別查詢Qlearnable與交叉注意力機制，學習圖像中屬于同一類別的像素表征，每個查詢相當于一個類別中心，能夠捕捉到該類別的通用特征，具體如下，輸入的某一尺度上的圖像特征Fi與融合特征Ffusion首先通過交叉注意力進行進一步增強，結果與可學習類別查詢Qlearnable通過t次的交叉注意力生成分組特征fiGP：
6.根據權利要求5所述的參考光伏組件缺陷分割方法，其特征在于，步驟S5中，文本特征，融合特征與分組特征通過交叉注意力機制進一步融合，圖像特征通過一個像素解碼器進行預分割操作，得到金字塔解碼特征，融合結果與預分割結果進行連接操作得到金字塔解碼特征Fdecode，最終通過一個卷積模組生成分割掩碼Imask，同時通過一個多層感知機生成目標指示，判斷圖像中是否存在對應目標。
7.根據權利要求6所述的參考光伏組件缺陷分割方法，其特征在于，步驟S5中，分割掩碼與目標指示通過交叉熵損失來量化模型預測與真實值之間的差異，模型的損失由兩部分組成：掩模分割損失和目標存在性損失，二者分別為模型的兩個輸出：Imask和目標指示，分別計算二者與對應真值之間的交叉熵損失，模型最終的損失為二者的加權和：
...【技術特征摘要】
1.一種參考光伏組件缺陷分割方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述參考光伏組件缺陷分割方法，其特征在于，在步驟s1中，構建深度學習模型，輸入的電致發光圖像通過圖像編碼器提取圖像特征，參考文本通過文本編碼器提取文本特征，將提取的特征輸入多模態融合模塊進行模態間對齊融合；將對齊后的融合特征輸入多粒度感知分組模塊，由粗到細地聚合相同類別的特征；并將輸出的分組特征與融合特征共同輸入文本指導解碼器生成分割圖像，通過交叉熵損失計算預測值與真實值之間的差異。
3.根據權利要求2所述的參考光伏組件缺陷分割方法，其特征在于，步驟s2中，對于輸入電致發光圖像，使用預訓練的圖像模型作為圖像編碼器提取高級圖像特征，對于參考文本中的信息，使用預訓練的文本模型作為文本編碼器提取高級文本特征，具體如下，在前向過程中，首先將大小為h×w的圖像(i)輸入圖像編碼器，通過四個階段生成多尺度特征圖將參考文本(t)輸入文本編碼器得到文本特征ft，
4.根據權利要求3所述的參考光伏組件缺陷分割方法，其特征在于，步驟s3中，輸入的文本特征ft經過一個多層感知機對齊特征尺度，輸入的單尺度圖像特征fi，進行特征重塑后通過一個線性層對齊特征尺度，得到特征尺寸大小為hw×c，接著，分別執行文本特征與圖像特征的交叉注意力與圖像的自注意力，具體...
【專利技術屬性】
技術研發人員：張金霞，董勝豪，張侃健，劉志明，楊浪，
申請(專利權)人：東南大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。