【技術實現步驟摘要】
本專利技術涉及一種基于多任務學習與多模態數據的電力施工檢測方法，屬于電力施工安全檢測領域。
技術介紹
1、在電力施工領域，施工安全是確保工程順利進行和保護施工人員安全的關鍵因素。隨著電力建設規模的不斷擴大和施工環境的日益復雜，傳統的安全檢測方法逐漸顯露出其局限性，例如人工檢查效率低、主觀性強和難以實時監控等。因此，亟需一種新型的安全檢測技術來提高電力施工的安全性和效率。
2、yolov8模型是由ultralytics公司開發的yolo目標檢測和圖像分割模型的最新版本。lstm模型，全稱為long?short-term?memory(長短期記憶網絡)，是一種特殊的循環神經網絡(rnn)變體，它在處理序列數據方面表現出色，特別是能夠捕捉長期依賴關系。
3、近年來，多任務學習(multi-task?learning,mtl)和多模態數據處理技術的迅猛發展，為電力施工安全檢測提供了新的解決思路。多任務學習是一種通過在多個相關任務上共享學習的特征來提升模型性能的方法，這種方法能夠在不同任務間共享知識，從而提高模型對復雜情境的處理能力。在電力施工安全檢測中，多個任務可能包括施工現場的實時監控、危險行為檢測、設備狀態評估等，這些任務在某種程度上是相互關聯的。
4、現有技術如專利號為“cn117854110a”的中國專利公開了一種基于yolov5的建筑工地安全帽系帶識別系統及方法。系統包括識別系統包括usb攝像頭、邊緣設備、顯示屏、數據存儲卡；識別方法包括步驟s1，圖像采集；步驟s2，數據集標注；步驟s3，構
5、上述現有技術存在的問題是，主要依賴于yolov5模型進行安全帽系帶狀態的識別，這可能導致模型在處理復雜場景或極端光照條件下的泛化能力受限，缺乏更復雜的異常行為檢測能力。
技術實現思路
1、為了解決上述現有技術中存在的問題，本專利技術提出了一種基于多任務學習與多模態數據的電力施工檢測方法。
2、本專利技術的技術方案如下：
3、一方面，本專利技術提供了一種基于多任務學習與多模態數據的電力施工檢測方法，包括以下步驟：
4、設置布控球采集圖像數據，對圖像數據進行歸一化與去除噪聲處理，將處理后的圖像數據對齊處理；
5、使用對齊處理后的圖像數據訓練yolov8模型；
6、基于lstm模型結合滑動窗口技術對布控球采集的圖像數據進行異常行為檢測；所述異常行為包括未佩戴安全帽、未系安全帶以及預設的不安全行為；
7、針對異常行為片段，使用訓練后的yolov8模型進行進一步確認是否異常；
8、根據不同的異常行為設計不同等級的報警機制，對異常行為進行報警。
9、作為優選實施方式，所述圖像數據的歸一化處理的方法為：
10、
11、其中，i表示原始圖像，i′表示歸一化后的圖像，min(i)表示原始圖像的最小值，max(i)表示原始圖像的最大值；
12、圖像數據的去除噪聲的方法采用高斯濾波公式進行處理，處理方法為：
13、
14、其中，i(x*y)表示原始圖像像素值，i′(x,y)表示去噪后的圖像像素值，σ為高斯核的標準差，*表示卷積操作，x2+y2表示原始圖像像素點的權重，表示像素點與中心點的距離；
15、圖像數據的對齊處理使用基于互信息的配準技術，將圖像數據中的全景圖像和深度圖像對齊：
16、
17、其中，a表示全景圖像，b表示深度圖像，p(a)表示全景圖像的灰度值概率分布，p(b)表示深度圖像的灰度值概率分布，p(a,b)表示聯合概率分布，表示全景圖像的像素灰度值和深度圖像的像素灰度值聯合分布與獨立分布之間的信息差異，mi(a,b)表示全景圖像和深度圖像之間的相關性程度,a表示全景圖像的像素灰度值，b表示深度圖像的像素灰度值。
18、作為優選實施方式，所述yolov8模型的訓練過程為：
19、使用cspdarknet53深度卷積神經網絡模型作為特征提取網絡，提取對齊處理后的圖像數據中的全景圖像和深度圖像的特征；
20、將全景圖像和深度圖像的特征進行融合，得到統一的特征表示：
21、ffused＝concat(fpanoram,fdepth)；
22、其中，fpanoram表示示全景圖像的特征，fdepth表示深度圖像的特征，concat(fpanoram,fdepth)表示特征融合函數，ffused表示融合后的特征；
23、根據異常行為設計檢測任務：
24、{bhelmet,bharness,bhole}＝yolov8(ffused)；
25、其中，bhelmet表示未佩戴安全帽檢測，bharness表示未系安全帶檢測，bhole表示預設的不安全行為檢測，ffused表示融合后的特征，yolov8(ffused)表示使用yolov8模型在融合后的特征上進行目標檢測；
26、yolov8模型的損失函數采用加權損失函數l表示為：
27、l＝αlhelmet+βlharness+γlhole；
28、其中，lhelmet表示未佩戴安全帽檢測，lharness表示未系安全帶檢測，lhole表示預設的不安全行為檢測，α表示未佩戴安全帽檢測的權重系數，β表示未系安全帶檢測的權重系數，γ表示預設的不安全行為檢測的權重系數；
29、將損失函數l分解為定位損失和分類損失：
30、l＝lloc+lcls；
31、
32、其中，lloc表示目標的定位損失，lcls表示目標的分類損失，smoothl1()表示平滑l1損失函數，bi表示模型預測的第i目標的邊界框坐標，表示第i個目標真實的邊界框坐標，yi表示第i個樣本中的目標的真實類別標簽，表示模型對第i個樣本中的目標的預測概率，表示預測負類的置信度，表示預測正類的置信度。
33、作為優選實施方式，所述lstm模型結合滑動窗口技術對布控球采集的圖像數據進行異常行為檢測的方法為：
34、根據滑動窗口技術將圖像數據進行分片處理，分割成若干時間窗口，使用lstm模型對每個時間窗口進行檢測：
35、識別時間窗口的行為特征，使用閾值判斷方法識別是否存在異常行為：
36、
37、其中，anomaly表示是否存在異常行為，1表示存在異常，0表示不存在異常；sbehavior表示行為特征得分，t表示得分閾值，othewise表示行為特征得分小于得分閾值；
38、若判斷結果為1，則接入yolov8模型對異常行為進行進一步確認本文檔來自技高網...
【技術保護點】
1.一種基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述圖像數據的歸一化處理的方法為：
3.根據權利要求2所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述YOLOv8模型的訓練過程為：
4.根據權利要求1所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述LSTM模型結合滑動窗口技術對布控球采集的圖像數據進行異常行為檢測的方法為：
5.一種基于多任務學習與多模態數據的電力施工安全檢測系統，其特征在于，包括：
6.根據權利要求5所述的基于多任務學習與多模態數據的電力施工安全檢測系統，其特征在于，所述數據采集與處理模塊，圖像數據的歸一化處理的方法為：
7.根據權利要求5所述的基于多任務學習與多模態數據的電力施工安全檢測系統，其特征在于，所述模型訓練模塊，YOLOv8模型的訓練過程為：
8.根據權利要求5所述的基于多任務學習與多模態數據的電力施工安全檢測系統
9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至4任一項所述的基于多任務學習與多模態數據的電力施工檢測方法。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至4任一項所述的基于多任務學習與多模態數據的電力施工檢測方法。
...【技術特征摘要】
1.一種基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述圖像數據的歸一化處理的方法為：
3.根據權利要求2所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述yolov8模型的訓練過程為：
4.根據權利要求1所述的基于多任務學習與多模態數據的電力施工檢測方法，其特征在于，所述lstm模型結合滑動窗口技術對布控球采集的圖像數據進行異常行為檢測的方法為：
5.一種基于多任務學習與多模態數據的電力施工安全檢測系統，其特征在于，包括：
6.根據權利要求5所述的基于多任務學習與多模態數據的電力施工安全檢測系統，其特征在于，所述數據采集與處理模塊，圖像數據的歸一化處...
【專利技術屬性】
技術研發人員：莊金康，李敏昱，林宇航，俞風，周曼媛，鄭澤，倪航，
申請(專利權)人：國網福建省電力有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。