電力行業典型生產系統數據在線遷移方法技術方案

本發明專利技術公開了一種電力行業典型生產系統數據在線遷移方法，以解決電力系統生產環境下，位于不同安全區域的不同數據庫之間的數據遷移問題，本發明專利技術采用部署在各安全區內的數據接口服務器，負責所有遷移數據的獲取、格式轉換、解析以及寫入過程；采用中轉服務器在各安全區負責所有數據文件的傳輸及中轉工作，減少接口服務程序在數據傳輸方面的壓力，確保系統穩定運行；采用國調制定的標準E格式語言文件作為載體，通過中轉服務程序和隔離網閘專用傳輸工具相結合的方式進行跨隔離網閘數據傳輸，保證數據安全。本發明專利技術確保了現有生產系統(特別是數據庫系統)的正常穩定運行，從而實現了在線、安全、穩定的數據遷移。

【技術實現步驟摘要】

本專利技術涉及一種數據在線遷移方法，特別是涉及調度與信息的數據交換、實時/歷史數據在線遷移、以及數據接入方面，屬于電力系統信息化及自動化領域。
技術介紹
隨著電力系統信息化、自動化水平的不斷提高，數據庫技術的不斷發展和分布式理論及技術的廣泛應用，出現了多種數據庫同時存在于同一套生產系統的現象。伴隨著系統的升級以及數據庫的升級，要想最大限度地利用現有資源，避免重復開發的浪費，必須解決異種數據庫操作的問題，而通過數據遷移將不同數據庫中的數據集中到同一個數據庫中 便是解決該問題的途徑之一?，F有的數據遷移方法主要有邏輯卷數據鏡像、直接拷貝、備份恢復、數據庫工具遷移、存儲虛擬化等。然而這些方法主要針對的是同種數據庫(數據結構統一或相近)之間的數據轉移或數據備份，并不能滿足異種數據庫間(數據結構不一致)的數據遷移。為了解決該問題，有研究人員提出了基于異種數據庫的數據遷移方法及實現，例如，文獻《基于Smallworld平臺的配電GIS系統數據遷移方法》(作者劉理峰，葉寶瑩，趙勇)提出的基于Smallworld平臺的配電GIS系統數據遷移方法主要考慮了同一安全區的兩套系統之間數據遷移，但缺乏對電力系統跨區域(如生產安全區和信息安全區)之間的數據傳輸環境特殊性考慮；文獻《信息系統數據遷移方法研究與應用》(作者劉天時，蒙東升，王田均等)提出的信息系統數據遷移方法優點在于設計了比較通用的數據導出格式，缺點在于其備份文件為可編輯純文本文件，極大地影響系統安全；文獻《數據庫間數據遷移和數據共享的實現》(作者廖利輝，姜彤，李靜)提出的數據遷移方法主要是利用Oracle提供的導入/導出(Imp/Exp)和SQL*Loader工具，以及SQL Server提供的DTS工具實現對關系型數據庫的數據遷移，其不足在于其應用局限在關系型數據庫之間，對其他類型的數據庫，特別是對具有時間序列特性的實時/歷史數據庫之間相互的數據遷移不能夠很好的支持。目前現有的關于數據遷移方面的專利技術專利《數據遷移方法及信息處理系統》(CN101154146)、《數據遷移的方法和系統》(CN102135963A)主要解決現有的數據遷移方法效率低、通用性差的技術問題，并未考慮在電力系統生產環境下跨區域數據遷移的特殊情況，即當兩個數據庫之間存在單向(正/反向)網絡隔離裝置(又稱單向隔離網閘)(參見申永輝著的《電力專用安全隔離裝置的原理和應用》)的情況下，且在不影響現有數據庫系統正常運行的前提下，如何在線完成數據庫之間的數據遷移問題。
技術實現思路
為了解決電力系統生產環境下，位于不同安全區域的不同數據庫之間的數據遷移問題，特別是在確保現有生產系統(特別是數據庫系統)正常穩定運行的前提下，完成數據穿越單向(正/反向)網絡隔離裝置，最終實現數據庫在線、安全、穩定的數據遷移。本專利技術提供了一種，主要包括如下步驟(1)由于本專利技術方法需要實現在不同安全區的不同數據庫之間進行數據遷移，將有數據遷出的安全區稱為遷出區，將有數據遷入的安全區稱為遷入區；獲取各個待遷移數據庫的接口文件(接口文件由數據庫生產商提供，每個數據庫都有其相對應的接口文件，用于二次開發。例如，現需要將安全區IV的數據庫A中的數據遷至安全區III的數據庫B中，則安全區IV中的接口服務程序的任務主要是從數據庫A中獲取數據，因此它需要數據庫A的接口，而安全區III中的接口服務程序的任務主要是將數據寫入數據庫B中，因此它需要數據庫B的接口)，根據各數據庫在系統中的應用，分別編譯生成與各自應用相匹配的接口服務程序；在遷入及遷出區的接口服務器上分別部署接口服務程序，主要負責連接各個安全區的數據庫，生成并解析E語言文件，從遷出數據庫獲取實時數據或歷史數據，向遷入數據庫輸入數據；連接數據庫、讀取數據、寫入數據都通過調用數據庫本身提供的數據接口實現；根據該區域的遷出、遷入數據庫數量，來選擇所述接口服務器在同一安全區的部署數量，即接口服務器在同一安全區可以部署多臺，以緩解當該區域的遷出、遷入數據庫數量較大時接口服務程序的壓力；通常，一個接口服務程序負責遷移的數據庫(數據提交頻率為秒級)個數不超過10個； 接口服務程序分為遷出區接口服務程序及遷入區接口服務程序，遷出區接口服務程序 負責調用遷出區數據庫接口并獲取數據，將該數據按照一定格式寫入文件待發送；遷入區接口服務程序負責解析上述從遷出區接口服務程序接收到的數據文件，并調用遷入區數據庫接口向其寫入數據； (2)在遷入及遷出區的中轉服務器上分別部署中轉服務程序；中轉服務程序主要負責發送和接收E格式文件，并將文件傳輸到指定的工作目錄下，以供接口服務程序使用；對于中轉服務程序，本專利技術開發了一種基于TCP協議的數據傳輸軟件，用以自動搜索文件目錄，文件檢測，并進行實時傳輸，整個文件傳輸過程避免了人工干預，從而實現文件傳輸自動化。中轉服務程序分為遷出區中轉服務程序與遷入區中轉服務程序；中轉服務器在同一安全區部署一臺，且當現場進行數據遷移的應用比較少時，為節約資源，中轉服務程序可以與接口服務程序部署在同一臺服務器中； (3)在遷入、遷出區之間配置單向網絡隔離裝置(即單向隔離網閘)，依照單向隔離網閘用戶說明手冊，對于不同安全區之間的數據遷移，根據單向隔離網閘類型以及網絡環境的不同，選擇相應的配置規則； (4)制定兩個數據庫之間的標簽點對應關系表，以記錄遷出數據庫中的數據與遷入數據庫中數據的對應關系，并通過接口服務程序接口導入到遷出區接口服務程序中，由用戶選擇關心的標簽點的實時數據或歷史數據；標簽點對應關系表主要記錄了遷入、遷出兩個數據庫的各自標簽點(指數據庫中一批數據對應的歸屬，如溫度、壓力等)的基本屬性結構(名稱、ID、描述、數據類型、單位)，以及各個屬性的對應關系情況(例如在數據庫A中的某個標簽點其名稱Name_A在數據庫B中對應的名稱為Name_B)。本方法中，遷出區接口服務程序優選的實現流程為 (1)定時時間到； (2)調用遷出數據庫接口獲取數據； (3)根據標簽點對應關系表，查找數據是否為遷入數據庫所需若是，則根據標簽點對應關系表進行數據轉換；若否，返回步驟(I);(4)將轉換后的數據以E格式形式寫入本地文件，待發送； (5)由發送線程判斷發送目錄中是否存在待發送文件若是，向遷出區中轉服務器發送文件；若否，循環本步驟； (6)結束； 遷入區接口服務程序優選的實現流程為 (O啟動接收線程，接收從遷入區中轉服務器傳來的數據文件； (2)解析從遷入區中轉服務器傳來的數據文件； (3)調用遷入數據庫接口，寫入數據； (4)判斷文件是否讀取完成若是，刪除該文件；若否，返回步驟(2)； (5)結束。遷出區中轉服務程序優選的實現流程為 (1)接收由遷出區接口服務程序發送來的文件，并將其放在本地目錄； (2)由主線程查看本地目錄中是否有已收到的文件若是，向遷入區中轉服務器發送文件；若否，循環本步驟； (3)結束; 遷入區中轉服務程序優選的實現流程為 (1)接收由遷出區中轉服務程序發送來的文件，并將其放在本地目錄； (2)由主線程查看本地目錄中是否有已收到的文件若是，向遷入區接口服務器發送文件；若否，循環本步驟； (3)結束。在上述接口服務程序以及中轉服務本文檔來自技高網...

【技術保護點】
一種電力行業典型生產系統數據在線遷移方法，其特征在于，包括如下步驟：（1）本專利技術方法將有數據遷出的安全區稱為遷出區，將有數據遷入的安全區稱為遷入區；獲取各個待遷移數據庫的接口文件，根據各數據庫在系統中的應用，分別編譯生成與各自應用相匹配的接口服務程序；在遷入及遷出區的接口服務器上分別部署接口服務程序，主要負責連接各個安全區的數據庫，生成并解析E語言文件，從遷出數據庫獲取實時數據或歷史數據，向遷入數據庫輸入數據；連接數據庫、讀取數據、寫入數據都通過調用數據庫本身提供的數據接口實現；接口服務程序分為遷出區接口服務程序及遷入區接口服務程序，遷出區接口服務程序負責調用遷出區數據庫接口并獲取數據，將該數據按照一定格式寫入文件待發送；遷入區接口服務程序負責解析上述從遷出區接口服務程序接收到的數據文件，并調用遷入區數據庫接口向其寫入數據；（2）在遷入及遷出區的中轉服務器上分別部署中轉服務程序；中轉服務程序主要負責發送和接收E格式文件，并將文件傳輸到指定的工作目錄下，以供接口服務程序使用；中轉服務程序分為遷出區中轉服務程序與遷入區中轉服務程序；中轉服務器在同一安全區部署一臺；（3）在遷入、遷出區之間配置單向隔離網閘，依照單向隔離網閘用戶說明手冊，對于不同安全區之間的數據遷移，根據單向隔離網閘類型以及網絡環境的不同，選擇相應的配置規則；（4）制定兩個數據庫之間的標簽點對應關系表，并通過接口服務程序接口導入到遷出區接口服務程序中，由用戶選擇關心的標簽點的實時數據或歷史數據；標簽點對應關系表主要記錄了遷入、遷出兩個數據庫的各自標簽點的基本屬性結構，以及各個屬性的對應關系。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：史英杰，粟勇，朱恒，
申請(專利權)人：國家電網公司，江蘇瑞中數據股份有限公司，
類型：發明
國別省市：