【技術實現步驟摘要】
本公開涉及電力設備檢測技術，屬于電力設備智能維護與自動檢測，具體涉及一種基于上下文示例學習的可視缺陷檢測方法及系統。
技術介紹
1、電力設備的可視缺陷檢測對于保障電力系統的安全和可靠性至關重要，在現代電力網絡中，設備故障不僅可能導致停電，甚至可能引發更嚴重的安全隱患，因此，定期對電力設備進行可視缺陷檢測顯得尤為重要。
2、傳統的人工巡檢方法雖然廣泛應用，但效率低下且易受人為因素的影響，導致漏檢或誤判的風險增加；巡檢人員需要具備豐富的經驗和專業知識，以便能夠及時識別潛在的缺陷；然而，由于電力設備種類繁多，且常常運行在高風險環境中，人工巡檢的可靠性受到很大限制；此外，現有的圖像處理系統通常基于固定算法設計，缺乏靈活性和適應性，難以應對電力設備多樣化和復雜化的特征；其中，基于深度學習的圖像處理盡管解決了一部分問題，但其受限于數據集的訓練效果，尤其是在數據標注不足的情況下，檢測性能不高。
技術實現思路
1、本公開為了解決上述問題，提出了一種基于上下文示例學習的可視缺陷檢測方法及系統，結合大模型的多模態學習能力，通過圖像和文本的上下文示例輸入，實現對電力設備可視缺陷的高效檢測。
2、根據一些實施例，本公開采用如下技術方案：
3、一種基于上下文示例學習的可視缺陷檢測方法，包括：
4、獲取待檢測的電力設備圖像；
5、基于電力設備圖像，利用大模型生成電力設備圖像的文本描述；
6、將電力設備圖像及文本描述輸入到訓練好的異常檢測網
7、其中，所述異常檢測網絡，在每次訓練時，以一個查詢圖像及其文本描述、同一設備的若干張樣例圖像及其文本描述作為輸入，通過比較查詢圖像的圖文特征和示例圖像的圖文特征進行判別，學習在給定上下文示例的條件下對查詢圖像做出異常正常的判斷。
8、進一步的，所述利用大模型生成電力設備圖像的文本描述，是使用預訓練的文本-視覺多模態大模型為電力設備圖像自動生成文本描述，所述文本描述包括設備外觀信息、缺陷推斷信息。
9、進一步的，所述異常檢測網絡，包括查詢圖像的特征提取分支、示例圖像的特征提取分支、示例圖像特征存儲的內存庫及特征對比學習；
10、其中，所述查詢圖像的特征提取分支，用于提取查詢圖文特征；
11、所述示例圖像的特征提取分支，用于提取示例圖文特征；
12、所述內存庫，用于保存不同類型電力設備的正常示例圖文特征和異常示例圖文特征；
13、所述特征對比學習，基于查詢圖文特征和示例圖文特征，采用對比學習損失進行學習，拉近查詢圖像的特征和內存庫中同類電力設備的示例圖文特征的距離，而推遠和其他電力設備的示例圖文特征的距離，從而使得特征更具判別性。
14、進一步的，所述查詢圖像的特征提取分支和示例圖像的特征提取分支，采用相同的結構，包括圖像的特征提取器、文本的特征提取器，分別用于對輸入的電力設備圖像及其文本描述進行視覺特征和文本特征的提取，最后將視覺特征和文本特征進行拼接，得到圖文特征。
15、進一步的，所述內存庫，具體構建方式為：
16、將數據集中的電力設備圖像作為示例圖像，基于預先標注的設備類型和運行狀態，通過示例圖像的特征提取分支提取不同類型電力設備的正常示例圖文特征和異常示例圖文特征，組成內存庫。
17、進一步的，所述通過比較查詢圖像的圖文特征和正常異常示例圖像的圖文特征進行判別，是通過相似度函數計算查詢圖像的圖文特征與內存庫中示例圖文特征的相似度，基于相似度判斷運行狀態。
18、根據一些實施例，本公開采用如下技術方案：
19、一種基于上下文示例學習的可視缺陷檢測系統，包括：
20、圖像獲取模塊，被配置為：獲取待檢測的電力設備圖像；
21、文本生成模塊，被配置為：基于電力設備圖像，利用大模型生成電力設備圖像的文本描述；
22、異常檢測模塊，被配置為：將電力設備圖像及文本描述輸入到訓練好的異常檢測網絡中，進行電力設備運行狀態的判斷，得到電力設備是否異常的檢測結果；
23、其中，所述異常檢測網絡，在每次訓練時，以一個查詢圖像及其文本描述、同一設備的若干張樣例圖像及其文本描述作為輸入，通過比較查詢圖像的圖文特征和示例圖像的圖文特征進行判別，學習在給定上下文示例的條件下對查詢圖像做出異常正常的判斷。
24、根據一些實施例，本公開采用如下技術方案：
25、一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現所述的一種基于上下文示例學習的可視缺陷檢測方法。
26、根據一些實施例，本公開采用如下技術方案：
27、一種非暫態計算機可讀存儲介質，所述非暫態計算機可讀存儲介質用于存儲計算機指令，所述計算機指令被處理器執行時，實現所述的一種基于上下文示例學習的可視缺陷檢測方法。
28、根據一些實施例，本公開采用如下技術方案：
29、一種電子設備，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執行所述存儲器存儲的計算機程序，以使電子設備執行實現所述的一種基于上下文示例學習的可視缺陷檢測方法。
30、與現有技術相比，本公開的有益效果為：
31、基于自然語言處理技術和上下文學習技術，本專利技術提出了一種可視缺陷檢測方案，結合大模型的多模態學習能力，通過圖像和文本的上下文示例輸入，實現對電力設備可視缺陷的高效檢測；該方法無需大量標注數據，利用少樣本學習和專家知識引導模型，能夠識別出電力設備中的腐蝕、裂紋、燒損等多種可視缺陷，為電力設備的智能巡檢和預測性維護提供了一種高效可靠的解決方案，相較于傳統檢測方法，本專利技術具有以下優點：
32、(1)無需大量標注數據，降低了數據獲取成本。
33、(2)利用上下文示例學習提高了缺陷檢測的魯棒性和精度。
34、(3)可以支持多種設備類型的缺陷檢測，適用性廣泛。
35、(4)為電力設備的智能巡檢和預測性維護提供了一種高效可靠的解決方案。
本文檔來自技高網...【技術保護點】
1.一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，包括：
2.如權利要求1所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述利用大模型生成電力設備圖像的文本描述，是使用預訓練的文本-視覺多模態大模型為電力設備圖像自動生成文本描述，所述文本描述包括設備外觀信息、缺陷推斷信息。
3.如權利要求1所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述異常檢測網絡，包括查詢圖像的特征提取分支、示例圖像的特征提取分支、示例圖像特征存儲的內存庫及特征對比學習；
4.如權利要求3所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述查詢圖像的特征提取分支和示例圖像的特征提取分支，采用相同的結構，包括圖像的特征提取器、文本的特征提取器，分別用于對輸入的電力設備圖像及其文本描述進行視覺特征和文本特征的提取，最后將視覺特征和文本特征進行拼接，得到圖文特征。
5.如權利要求3所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述內存庫，具體構建方式為：
6.如權利要求1所述的一種基于上下文示
7.一種基于上下文示例學習的可視缺陷檢測系統，其特征在于，包括：
8.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-6任一項所述的一種基于上下文示例學習的可視缺陷檢測方法。
9.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質用于存儲計算機指令，所述計算機指令被處理器執行時，實現如權利要求1-6任一項所述的一種基于上下文示例學習的可視缺陷檢測方法。
10.一種電子設備，其特征在于，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執行所述存儲器存儲的計算機程序，以使電子設備執行實現如權利要求1-6任一項所述的一種基于上下文示例學習的可視缺陷檢測方法。
...【技術特征摘要】
1.一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，包括：
2.如權利要求1所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述利用大模型生成電力設備圖像的文本描述，是使用預訓練的文本-視覺多模態大模型為電力設備圖像自動生成文本描述，所述文本描述包括設備外觀信息、缺陷推斷信息。
3.如權利要求1所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述異常檢測網絡，包括查詢圖像的特征提取分支、示例圖像的特征提取分支、示例圖像特征存儲的內存庫及特征對比學習；
4.如權利要求3所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述查詢圖像的特征提取分支和示例圖像的特征提取分支，采用相同的結構，包括圖像的特征提取器、文本的特征提取器，分別用于對輸入的電力設備圖像及其文本描述進行視覺特征和文本特征的提取，最后將視覺特征和文本特征進行拼接，得到圖文特征。
5.如權利要求3所述的一種基于上下文示例學習的可視缺陷檢測方法，其特征在于，所述內存庫，具體構建方式為：
6.如權利要...
【專利技術屬性】
技術研發人員：張峰達，林穎，劉萌，辜超，李壯壯，孫藝瑋，鄭文杰，楊祎，李勇，李筍，姚金霞，呂俊濤，邢海文，李文博，喬木，任敬國，杜倫，李龍龍，李程啟，秦佳峰，周加斌，
申請(專利權)人：國網山東省電力公司電力科學研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。