【技術實現步驟摘要】
本專利技術涉及電力系統自動化，尤其涉及電力自動化系統的海量異構日志采集方法與系統。
技術介紹
1、現有技術中有利用大數據技術對海量電力系統日志數據進行整合分析的方法和系統，如申請號為201910124737.7的中國專利技術專利公開的電力系統日志整合分析方法及系統。
2、但這類方法，往往以日志數據整齊為前提，而電力系統的日志，實際上存在多種系統的數據融合問題，例如風電廠和水電廠所用的系統就不一樣，一般而言，有風電、光電(太陽能)、水電、火電等，理論上來說，各系統在協調一致的情況下，其數據容易被整合分析，從而方便調配，也有利于及時發現異常情況，但在實踐當中，往往有新建電廠或新加入系統的電廠，所采用的系統和以往的系統完全不同，結果導致日志數據的格式差別極大，從而導致日志數據的對接存在很大的麻煩。
3、目前，針對這種日志采集過程中存在的日志數據格式差別大的情況，一般是人工參與分析，然后針對日志數據格式的不同，編寫轉換規則，并將轉換規則寫為腳本，在每次日志采集時調用腳本實現數據格式的轉換。
4、現有技術中至少存在如下問題：轉換規則編寫麻煩，人力成本極高，難以自動化，效率低下往往導致整合過程被過度拉長；腳本獨立運行存在環境依賴性，且常常有不可預料的bug，嚴重影響系統的穩定性和可靠性。
技術實現思路
1、專利技術目的：本專利技術實施方式的目的在于提供一種電力自動化系統異構日志采集方法及系統，使得新接入電力系統的日志數據能夠自動匹配已有的日志數據格式，自動生
2、為解決上述技術問題，本專利技術提供了一種電力自動化系統異構日志采集方法，包括以下步驟：
3、s1.獲取數據頭：通過網絡從電力系統中獲取待傳輸日志數據的字段名稱和數據樣例；
4、s2.判斷差異項：判斷待傳輸日志數據和數據庫中已存日志數據的字段名稱和數據格式是否一致，一致在進入步驟s5，不一致則進入步驟s3；
5、s3.識別數據格式：對數據樣例中不一致字段的數據格式進行識別，判斷數據庫中數據格式存在匹配可能性的字段，得到待匹配列表；
6、s4.數據類型分類：根據待匹配列表取數據示例，計算數據樣例和數據示例的相似度，取相似度最高的待匹配列表中字段名稱，作為待傳輸日志數據的字段存儲名稱，建立將待傳輸日志數據的字段名稱轉換為字段存儲名稱的轉換規則；
7、s5.數據存儲：將獲取的待傳輸日志數據存儲，如有轉換規則則優先應用轉換規則后存儲。
8、由此，可以實現將新接入電力自動化系統的異構日志數據能夠自動匹配已有的日志數據格式，自動生成轉換規則，且計算效率極高。
9、進一步的，為確保便于事后核查，所述步驟s4之后，還包括以下步驟：
10、s4.10.數據標記：將匹配有轉換規則的字段在存儲時附帶轉換標記，并將無匹配轉換規則的不一致字段附帶警示標記。
11、所述步驟s4中，計算數據樣例和數據示例的相似度，具體包括如下步驟：
12、s4.1、對每一字段，根據數據樣例中的對應數據，判斷是否為數值，如是則轉換為數值類型；
13、s4.2、對數值類型的數據，分別逐項計算數據樣例和數據示例中對應字段數據的差值，然后根據差值計算相似度；
14、s4.3、對文本類型的數據，分別計算數據樣例和數據示例中對應字段數據的文本長度，然后根據文本長度計算相似度。
15、所述步驟s4.2中，根據差值計算相似度，采用如下公式計算，
16、
17、式中，d為相似度計算結果，xi為第i個數據樣例中的計算差值，yi為第i個數據示例中的計算差值。
18、所述步驟s4中，所取數據示例數量與數據樣例數量一致。
19、所述數據樣例的數量為50～100項。
20、本專利技術還提供了一種電力自動化系統異構日志采集系統，包括：
21、通信模塊，用于獲取待傳輸日志數據；
22、識別分類模塊，用于實現如上所述電力自動化系統異構日志采集方法；
23、數據示例模塊，用于緩存數據示例；
24、數據庫，用于存儲數據。
25、還包括緩存模塊，用于緩存尚未被識別分類模塊處理完成的待傳輸日志數據，并將經識別分類模塊處理完成的待傳輸日志數據發送至數據庫存儲。
26、所述緩存模塊還用于應用轉換規則。
27、所述數據示例模塊存儲的數據示例，數量為100～200項，且包含全字段。
28、有益效果：本專利技術相對于現有技術而言，能使得新接入電力系統的日志數據能夠自動匹配已有的日志數據格式，自動生成轉換規則，從而大幅降低人力成本，并大幅縮短電力自動化系統異構日志采集過程的時間和周期；轉換規則整合運行，避免環境依賴，并有效減少bug，進而大幅提升系統的穩定性和可靠性。
本文檔來自技高網...【技術保護點】
1.一種電力自動化系統的海量異構日志采集方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟S4之后，還包括以下步驟：
3.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟S4中，計算數據樣例和數據示例的相似度，具體包括如下步驟：
4.根據權利要求3所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟S4.2中，根據差值計算相似度，采用如下公式計算，
5.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟S4中，所取數據示例數量與數據樣例數量一致。
6.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述數據樣例的數量為50～100項。
7.一種電力自動化系統的海量異構日志采集系統，其特征在于，包括：
8.根據權利要求7所述的電力自動化系統的海量異構日志采集系統，其特征在于，還包括緩存模塊，用于緩存尚未被識別分類模塊處理完成的待傳輸日志數據，并
9.根據權利要求8所述的電力自動化系統的海量異構日志采集系統，其特征在于，所述緩存模塊還用于應用轉換規則。
10.根據權利要求7所述的電力自動化系統的海量異構日志采集系統，其特征在于，所述數據示例模塊存儲的數據示例，數量為100～200項，且包含全字段。
...【技術特征摘要】
1.一種電力自動化系統的海量異構日志采集方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟s4之后，還包括以下步驟：
3.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟s4中，計算數據樣例和數據示例的相似度，具體包括如下步驟：
4.根據權利要求3所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟s4.2中，根據差值計算相似度，采用如下公式計算，
5.根據權利要求1所述的電力自動化系統的海量異構日志采集方法，其特征在于，所述步驟s4中，所取數據示例數量與數據樣例數量一致。
6.根據權利要求1...
【專利技術屬性】
技術研發人員：陳云，季惠英，沙一川，王紀立，彭程，徐炯，徐麗燕，郭東升，
申請(專利權)人：國電南瑞南京控制系統有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。