基于流計算的風電機組scada數據的實時處理方法技術

本發明專利技術公開了一種基于流計算的風電機組scada數據的實時處理方法，包括以下步驟，A）接收風機機組scada數據；B）去除重復數據；C）數據標準化處理；D）數據運行狀態解析；E）保存數據；F）診斷風電機組的運行狀態：根據保存數據，對風電機組的運行狀態發生故障時，進行診斷。本發明專利技術的基于流計算的風電機組scada數據的實時處理方法，處理風電scada實時數據，處理性能高，可擴展性強，處理方式靈活，編碼量低，為風電scada實時數據處理提供了新的方法，具有良好的應用前景。

Real time processing method of SCADA data of wind turbine based on flow calculation

The invention discloses a real-time processing method for flow calculation of wind turbine based on SCADA data, which includes the following steps: A) receiving SCADA data of fan unit; B) the removal of duplicate data; C) data standardization; D) running data analysis; data storage; E) F) running state diagnosis power: according to the stored data, the running state of wind turbine fault diagnosis. Real time processing method of the invention is based on the calculation of the flow of wind turbine SCADA data processing, real-time data processing of wind power SCADA, high performance, scalable, flexible approach, encoding for the wind power is low, SCADA also provides a new method of real-time data processing, has a good prospect.

【技術實現步驟摘要】
基于流計算的風電機組scada數據的實時處理方法
本專利技術涉及風電數據處理
，具體涉及一種基于流計算的風電機組scada數據的實時處理方法。
技術介紹
風電機組scada（SupervisoryControlAndDataAcquisition）數據采集頻率較高，大多是一秒鐘一次采集，而且采集點較多，一臺風機會涉及1000-2000個測點，因此，一臺風機一天會產生200MB數據，一個大型風場在200臺風機左右，每秒一個風場會產生30萬個測點數據。目前，風電機組scada數據大多由各個風機廠家的scada系統進行處理，隨著精益化管理的需求，需要構建統一的scada數據處理系統，以便對整個風電場內的風電機組scada數據進行統一接入和處理，同時能夠針對多個風機廠家的scada數據進行標準化處理，并將標準化后的數據在風電機組發生故障時發送給風機故障診斷算法，以便對風機故障進行診斷。傳統的基于關系數據庫的處理架構，由于系統可擴展性的限制，無法完成對于大規模風電場風電機組數據的統一接入與處理，是當前急需解決的問題。
技術實現思路
本專利技術的目的是克服現有的基于關系數據庫的處理架構，由于系統可擴展性的限制，無法完成對于大規模風電場風電機組數據的統一接入與處理的問題。本專利技術的基于流計算的風電機組scada數據的實時處理方法，處理風電scada實時數據，處理性能高，可擴展性強，處理方式靈活，編碼量低，為風電scada實時數據處理提供了新的方法，具有良好的應用前景。為了達到上述目的，本專利技術所采用的技術方案是：一種基于流計算的風電機組scada數據的實時處理方法，其特征在于：包括以下步驟，步驟（A），接收風機機組scada數據；步驟（B），去除重復數據：解析每臺風機機組每秒鐘scada實時數據的斷面數據，并根據MD5算法對斷面數據進行去重處理，將重復數據丟棄，且保證每個斷面數據只被處理一次；步驟（C），數據標準化處理：對各個廠家除重復數據的scada實時數據作標準化處理，標注化處理需要經歷數據映射、度量處理、閾值處理三個單元，從而構造統一的scada數據庫；步驟（D），數據運行狀態解析：在數據標準化處理同時，根據風機運行狀態判斷規則，對各個廠家除重復數據的scada實時數據進行運行狀態解析，得到風機運行狀態數據；步驟（E），保存數據：對步驟（D）得到的風機運行狀態數據進行保存，并將標準化處理后的scada數據庫內的數據保存到分布式數據倉庫Hive中，并風機運行狀態數據中的額風機運行數據保存到關系數據庫mysql中；步驟（F），診斷風電機組的運行狀態：根據保存數據，對風電機組的運行狀態發生故障時，進行診斷。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（A）接收風機機組scada數據的過程如下：（A1）風機機組的運行數據通過采集器存入分布式消息隊列kafaka中；（A2）根據不同廠家的scada系統建立不同的消息主題，通過流計算引擎storm程序訂閱各主題消息，從而獲取scada系統的scada實時數據；（A3）將獲取scada實時數據放置到復雜事件處理引擎esper中。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（B）根據MD5算法對斷面數據進行去重處理，將重復數據丟棄的過程如下：先對斷面數據中每一個測點進行求MD5值，根據各個測點的MD5值，二次取MD5值，若二次取的MD5值重復，則判斷為重復數據，病將重復數據丟棄。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（C）數據標準化處理中的數據映射單元的處理過程如下：根據scada實時測點數據的映射規則，建立標準化數據，映射規則存儲于配置庫中，通過復雜事件處理引擎esper的epl語句，執行映射規則，將不同廠家的scada實時數據統一為標準化的測點數據。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：所述數據映射單元的處理過程中對只有個別廠家才有的點位數據，置為空值。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（C）數據標準化處理中的度量處理單元的處理過程如下：根據scada實時測點度量配置規則，通過復雜事件處理引擎esper的epl語句，解析度量配置規則，對不同廠家的scada實時數據同一度量單位。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（C）數據標準化處理中的閾值處理單元的處理過程如下：根據scada實時測點閾值處理規則，對scada實時數據中會出現異常數值進行過濾或規整處理，通過復雜事件處理引擎esper的epl語句解析閾值處理規則，和已配置的scada實時測點閾值區間進行比較，將scada實時數據不在閾值區間的異常數據，處理成空值。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（D），根據風機運行狀態判斷規則，對各個廠家除重復數據的scada實時數據進行運行狀態解析，得到風機運行狀態數據，包括以下步驟，（D1）通過復雜事件處理引擎esper的epl語句，解析風機運行狀態判斷規則，結合多個scada實時數據測點狀態位以及測點值，判斷風機運行狀態；（D2）記錄風機各運行狀態的持續時間。前述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（F），根據保存數據，對風電機組的運行狀態發生故障時，進行診斷，包括以下步驟，（F1）在保存數據內檢測到故障代碼時，將故障代碼及發生故障時標準化后的風機斷面數據，傳遞給風機故障診斷算法；（F2）利用風機故障診斷算法分析故障代碼以及風機斷面數據，給出風機的故障原因；（F3）將得到的風機的故障原因，保存到關系數據庫mysql中，便于查詢。本專利技術的有益效果是：本專利技術的基于流計算的風電機組scada數據的實時處理方法，對風電場風機機組的scada實時數據進行處理，綜合利用消息隊列及復雜事件處理技術，完成數據處理工作，采用消息隊列，保證不會因為數據量大，并發量高而導致堵塞，通過復雜事件處理對風機進行標準化和狀態分析，復雜事件處理引擎解析數據標準化及狀態判定規則，完成數據標準化和狀態分析，處理效率高，規則可配置性強，適應性高，采用本專利技術進行處理風電scada實時數據，處理性能高，可擴展性強，處理方式靈活，編碼量低，為風電scada實時數據處理提供了新的方法，具有良好的應用前景。附圖說明圖1是本專利技術的基于流計算的風電機組scada數據的實時處理方法的流程圖。具體實施方式下面將結合說明書附圖，對本專利技術作進一步的說明。如圖1所示，本專利技術的基于流計算的風電機組scada數據的實時處理方法，包括以下步驟，步驟（A），接收風機機組scada數據，過程如下：（A1）風機機組的運行數據通過采集器存入分布式消息隊列kafaka中；（A2）根據不同廠家的scada系統建立不同的消息主題，通過流計算引擎storm程序訂閱各主題消息，從而獲取scada系統的scada實時數據；（A3）將獲取scada實時數據放置到復雜事件處理引擎esper中；步驟（B），去除重復數據：解析每臺風機機組每秒鐘scada實時數據的斷面數據，并根據MD5算法對斷面數據進行去重處理，本文檔來自技高網...

【技術保護點】
基于流計算的風電機組scada數據的實時處理方法，其特征在于：包括以下步驟，步驟（A），接收風機機組scada數據；步驟（B），去除重復數據：解析每臺風機機組每秒鐘scada實時數據的斷面數據，并根據MD5算法對斷面數據進行去重處理，將重復數據丟棄，且保證每個斷面數據只被處理一次；步驟（C），數據標準化處理：對各個廠家除重復數據的scada實時數據作標準化處理，標注化處理需要經歷數據映射、度量處理、閾值處理三個單元，從而構造統一的scada數據庫；步驟（D），數據運行狀態解析：在數據標準化處理同時，根據風機運行狀態判斷規則，對各個廠家除重復數據的scada實時數據進行運行狀態解析，得到風機運行狀態數據；步驟（E），保存數據：對步驟（D）得到的風機運行狀態數據進行保存，并將標準化處理后的scada數據庫內的數據保存到分布式數據倉庫Hive中，并風機運行狀態數據中的額風機運行數據保存到關系數據庫mysql中；步驟（F），診斷風電機組的運行狀態：根據保存數據，對風電機組的運行狀態發生故障時，進行診斷。

【技術特征摘要】
1.基于流計算的風電機組scada數據的實時處理方法，其特征在于：包括以下步驟，步驟（A），接收風機機組scada數據；步驟（B），去除重復數據：解析每臺風機機組每秒鐘scada實時數據的斷面數據，并根據MD5算法對斷面數據進行去重處理，將重復數據丟棄，且保證每個斷面數據只被處理一次；步驟（C），數據標準化處理：對各個廠家除重復數據的scada實時數據作標準化處理，標注化處理需要經歷數據映射、度量處理、閾值處理三個單元，從而構造統一的scada數據庫；步驟（D），數據運行狀態解析：在數據標準化處理同時，根據風機運行狀態判斷規則，對各個廠家除重復數據的scada實時數據進行運行狀態解析，得到風機運行狀態數據；步驟（E），保存數據：對步驟（D）得到的風機運行狀態數據進行保存，并將標準化處理后的scada數據庫內的數據保存到分布式數據倉庫Hive中，并風機運行狀態數據中的額風機運行數據保存到關系數據庫mysql中；步驟（F），診斷風電機組的運行狀態：根據保存數據，對風電機組的運行狀態發生故障時，進行診斷。2.根據權利要求1所述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（A）接收風機機組scada數據的過程如下：（A1）風機機組的運行數據通過采集器存入分布式消息隊列kafaka中；（A2）根據不同廠家的scada系統建立不同的消息主題，通過流計算引擎storm程序訂閱各主題消息，從而獲取scada系統的scada實時數據；（A3）將獲取scada實時數據放置到復雜事件處理引擎esper中。3.根據權利要求1所述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（B）根據MD5算法對斷面數據進行去重處理，將重復數據丟棄的過程如下：先對斷面數據中每一個測點進行求MD5值，根據各個測點的MD5值，二次取MD5值，若二次取的MD5值重復，則判斷為重復數據，病將重復數據丟棄。4.根據權利要求1所述的基于流計算的風電機組scada數據的實時處理方法，其特征在于：步驟（C）數據標準化處理中的數據映射單元的處理過程如下：根據scada實時測點數據的映射規則，建...

【專利技術屬性】
技術研發人員：孫立華，胡牧，孟慶強，李端超，王松，黃太貴，黃少雄，王正風，程栩，
申請(專利權)人：國家電網公司，南京南瑞集團公司，南京南瑞信息通信科技有限公司，國網安徽省電力公司，
類型：發明
國別省市：北京,11