【技術實現步驟摘要】
本專利技術涉及數據處理，更具體地，涉及電網數據的檢測方法、系統、電子設備及存儲介質。
技術介紹
1、異常檢測一直是機器學習中一個非常重要的分支，在計算機視覺、數據挖掘、自然語言處理等各種人工智能應用中，異常檢測算法是一個熱門的研究方向。尤其是在大數據時代，人工處理數據的速度遠遠落后于機器。
2、隨著電力行業對大數據平臺依賴性的日益增長，越來越多的系統數據被高效地整合至大數據平臺，極大地豐富了數據分析與應用場景，為業務決策與應用場景提供了堅實的數據基礎。然而，數據在源端系統到最終應用場景的流轉過程中，需要跨越多條數據鏈路。過長的數據鏈路增加了數據傳輸的復雜性和延時性，對數據運維的時效性和準確性提出了更高要求。
3、當前，大數據平臺在鏈路監測方面尚存在顯著不足，尤其是缺乏一套成型且全局性的鏈路監測機制，當前主要依賴人工在各系統間進行零散、非實時的監測工作，這種方法不僅效率低下，難以保證數據鏈路狀態的實時獲取，還極大限制了故障響應速度和問題解決能力，對數據應用場景的穩定運行構成了潛在威脅。
4、大數據平臺缺少從數據接入到數據使用等過程的實時監控手段。具體而言，在ogg(oracle?goldengate)同步數據庫數據至平臺的場景中，同步過程能夠生成詳細的日志文件，但平臺缺乏對這些日志的實時解析能力，導致同步狀態信息無法即時呈現，當源端發生表結構變更，導致ogg進程將立刻中斷，從而影響數據接入。更為關鍵的是，平臺未能建立起有效的實時預警系統，使得在數據同步出現異常時，無法第一時間通知相關運維人員，從
技術實現思路
1、本專利技術的目的是提供電網數據的檢測方法、系統、電子設備及存儲介質。
2、本專利技術第一方面公開了一種電網數據的檢測方法；所述方法包括：
3、步驟s1、獲取電網數據，其中，所述電網數據來自源端、貼源層、共享層的數據庫或日志文件；
4、步驟s2、根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果；其中，所述預先存儲的異常檢測算法至少包括基于統計模型的多指標異常檢測算法或基于機器學習的多指標異常檢測算法；
5、步驟s3、顯示所述異常檢測結果，并根據所述異常檢測結果，確定對應的告警信息。
6、根據本專利技術第一方面的方法，在所述步驟s2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
7、基于統計學的方法對所述電網數據進行多指標的異常檢測，通過計算多個指標的均值、方差、協方差的統計量，對指標之間的關系進行建模和分析，得到所述異常檢測結果。
8、根據本專利技術第一方面的方法，在所述步驟s2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
9、基于多指標異常檢測模型，對所述電網數據進行多指標的異常檢測，得到所述異常檢測結果；所述多指標異常檢測模型是采用樣本數據對機器學校模型進行訓練，學習指標之間的關系和異常模式得到的。
10、根據本專利技術第一方面的方法，在所述步驟s3中，所述顯示所述異常檢測結果，并根據所述異常檢測結果，確定對應的告警信息，包括：
11、當任務運行時間超過預設閾值時，發送告警信息；
12、若任務未在預定時間完成，觸發告警信息；
13、若任務狀態從“執行中”變更為“異?！睍r，立即告警；
14、若任務連續失敗多次后，發送告警信息；
15、比較預設時間段內的任務運行時長，發現顯著增長時，顯示告警信息。
16、根據本專利技術第一方面的方法，所述方法還包括：
17、采用kibana或elasticsearch的api服務，查詢預設時間段內各層的電網數據；
18、對比同一時間點上不同層的電網數據的一致性，得到一致性的對比結果。
19、根據本專利技術第一方面的方法，所述方法還包括：
20、對所述電網數據進行清洗，去除無效數據，得到清洗后的數據；
21、根據api的分組、名稱、路徑維度對所述清洗后數據進行分組和聚合，得到分組數據；
22、根據所述分組數據，計算每個api服務在歷史預設時間段內的平均執行時長、調用次數、調用成功率關鍵指標。
23、根據本專利技術第一方面的方法，所述方法還包括：
24、根據預先訓練好的arima時間序列分析模型，對api服務的未來性能指標進行預測，得到預測結果。
25、本專利技術第二方面公開了一種電網數據的檢測系統；所述系統包括：
26、第一處理模塊，被配置為，獲取電網數據，其中，所述電網數據來自源端、貼源層、共享層的數據庫或日志文件；
27、第二處理模塊，被配置為，根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果；其中，所述預先存儲的異常檢測算法至少包括基于統計模型的多指標異常檢測算法或基于機器學習的多指標異常檢測算法；
28、第三處理模塊，被配置為，顯示所述異常檢測結果，并根據所述異常檢測結果，確定對應的告警信息。
29、根據本專利技術第二方面的系統，所述第二處理模塊具體被配置為，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
30、基于統計學的方法對所述電網數據進行多指標的異常檢測，通過計算多個指標的均值、方差、協方差的統計量，對指標之間的關系進行建模和分析，得到所述異常檢測結果。
31、根據本專利技術第二方面的系統，所述第二處理模塊具體被配置為，基于多指標異常檢測模型，對所述電網數據進行多指標的異常檢測，得到所述異常檢測結果；所述多指標異常檢測模型是采用樣本數據對機器學校模型進行訓練，學習指標之間的關系和異常模式得到的。
32、根據本專利技術第二方面的系統，所述第三處理模塊具體被配置為，當任務運行時間超過預設閾值時，發送告警信息；
33、若任務未在預定時間完成，觸發告警信息；
34、若任務狀態從“執行中”變更為“異?！睍r，立即告警；
35、若任務連續失敗多次后，發送告警信息；
36、比較預設時間段內的任務運行時長，發現顯著增長時，顯示告警信息。
37、根據本專利技術第二方面的系統，所述第三處理模塊具體被配置為，采用kibana或elasticsearch的api服務，查詢預設時間段內各層的電網數據；
38、對比同一時間點上不同層的電網數據的一致性，得到一致性的對比結果。
39、根據本專利技術第二方面的系統，所述第三處理模塊具體被配置為，對所述電網數據進行清洗，去除無效數據，得到清洗后的數據；
40、根據api的分組、名稱、路徑維度對所述清洗后數據進行分組和聚合，得到分組數據；
本文檔來自技高網...【技術保護點】
1.一種電網數據的檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟S2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
3.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟S2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
4.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟S3中，所述顯示所述異常檢測結果，并根據所述異常檢測結果，確定對應的告警信息，包括：
5.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，所述方法還包括：
6.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，所述方法還包括：
7.根據權利要求6所述的一種電網數據的檢測方法，其特征在于，所述方法還包括：
8.一種用于電網數據的檢測系統，其特征在于，所述系統包括：
9.一種電子設備，其特征在于，所述電子設備包括存儲器和處理器，所述存儲器
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現權利要求1至7中任一項所述的一種電網數據的檢測方法中的步驟。
...【技術特征摘要】
1.一種電網數據的檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟s2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
3.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟s2中，所述根據預先存儲的異常檢測算法，對所述電網數據進行處理，得到異常檢測結果，包括：
4.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，在所述步驟s3中，所述顯示所述異常檢測結果，并根據所述異常檢測結果，確定對應的告警信息，包括：
5.根據權利要求1所述的一種電網數據的檢測方法，其特征在于，所述方法還...
【專利技術屬性】
技術研發人員：孟德，肖娜，趙雨山，來驥，聶正璞，楊睿，李賢，呂冰，高崧，李碩，張實君，曾靜，徐相森，管嘉珩，王海超，
申請(專利權)人：國網冀北電力有限公司信息通信分公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。