一種分布式內存電網系統構建方法技術方案

本發明專利技術公開了一種分布式內存電網系統構建方法，具體包括以下幾個步驟：(1)構建內存電網資源模型：內存電網資源建模遵循IEC61970標準中的公共信息模型規范,利用面向對象的封裝、繼承和對象應用，建立樹型的內存電網資源模型；(2)確定內存存儲結構：采用數組方式對資源所有屬性數據進行存儲，通過定義屬性名稱標識符與數組下標的映射關系，確定屬性數據在數組中的位置，實現數據存取；(3)水平拆分電網資源數據；(4)加載并緩存電網資源數據；(5)同步內存電網數據；(6)確定內存電網斷面；(7)確定內存電網訪問接口。本發明專利技術在實現資源訪問和計算時能夠最大程度減少分布式節點間的數據傳輸，大幅提升效率。

【技術實現步驟摘要】

本專利技術涉及，屬于電網

技術介紹
為解決大數據的存儲、計算及分析問題，Google公司提出了分布式文件系統、面向 列的分布式數據庫、MapReduce分布式編程模型。Google公司的分布式存儲、分布式計算技 術為大型互聯網站系統大數據量的存儲和分析提出了解決方案，提升了性能。在大數據實 時分析方面，SAP推出了HANA內存計算平臺，它通過內存計算技術以及軟硬件結合的一體 機技術，實現高性能的數據查詢與分析，滿足用戶對大數據處理的實時性需求。在大容量、 高速存儲方面，Oracle推出了Exadata數據庫一體機，它通過高性能硬件、高速網絡接口， 采用智能掃描、智能存儲、智能索引、混合列壓縮等技術，提高大數據和多并發應場景下的 系統處理效率。Exadata數據庫一體機能夠使得基于oracle數據庫的已有系統的性能得到 10倍左右性能提升。另外，也有一些內存數據庫技術，如：為應用程序提供即時響應和高吞 吐量的OracleTimesTen產品；將基于內存和磁盤的全事務處理數據庫引擎，可用性強的 數據復制功能緊密地融為一體的IBMSolidDB產品；用于各種需要高性能、小尺寸、緊密存 儲、零內存分配的eXtremeDB;占用資源低、能夠跟很多程序語言相結合、輕量級的SQLite 內存數據庫；采用高性能的鍵-值存儲、內存數據集方式的開源Redis內存數據庫，都提出 了數據的實時存儲方案，避免解決頻繁的磁盤1/0操作，使得數據存取效率提高。在分布式計算領域，常見的分析方法利用Hadoop框架，由于大量的磁盤1/0操作 以及復雜的MapReduce過程，使得系統性能和運行效率低下，不能滿足實時性的要求，只能 用于非實時的數據分析應用場景。在分布式緩存領域，通常采用Key-Value的存儲方式和 基于Key哈希散列的數據劃分方式，這種方式使得多種數據連接查詢時緩存節點需要交換 大量數據，性能低下，且一般用于結構簡單的數據，很難處理模型復雜的電網資源數據。目 前主流的分布式和內存計算產品由于其通用性設計，使得其在面對復雜電網資源模型和海 量資源數據，無法發揮最大優勢，甚至存在無法解決的工程應用問題。
技術實現思路
針對現有技術存在的不足，本專利技術目的是提供一種分布式內存電網系統構建方 法，在實現資源訪問和計算時能夠最大程度減少分布式節點間的數據傳輸，大幅提升效率。為了實現上述目的，本專利技術是通過如下的技術方案來實現：本專利技術的，具體包括以下幾個步驟： (1)構建內存電網資源模型：內存電網資源建模遵循IEC61970標準中的公共信息 模型規范，利用面向對象的封裝、繼承和對象應用，建立樹型的內存電網資源模型； (2)確定內存存儲結構：采用數組方式對資源所有屬性數據進行存儲，通過定義 屬性名稱標識符與數組下標的映射關系，確定屬性數據在數組中的位置，實現數據存取； (3)水平拆分電網資源數據：將具有不同業務屬性值的電網資源數據映射到不同 的數據塊，將具有相同業務屬性值的電網資源數據映射到一同數據塊； ⑷加載并緩存電網資源數據：系統第一次啟動時，根據數據的水平劃分方式，將 電網資源數據庫中的數據按照內存電網資源模型進行加載，然后分布式緩存到集群中多個 服務器內存中；數據加載完成后，將緩存中的電網資源數據進行序列化，形成二進制文件保 存到磁盤，當再次啟動系統時，從文件直接讀取電網數據，并從電網資源數據庫讀取從上次 序列化到目前的增量數據；電網資源分布式緩存后，將緩存服務器IP地址、電網資源的區 域屬性值、電網資源電壓等級值、占用空間、緩存所用時間信息發送到電網資源管理服務器 中進行統一管理； (5)同步內存電網數據：將電網數據庫中的資源數據同步到內存電網、省內存電 網的資源數據同步到總部內存電網，使得數據庫和內存電網、總部內地電網和省內存電網 的數據保持一致； (6)確定內存電網斷面：內存電網斷面以對象化并行計算框架持久化功能作為支 撐，各省及總部的所有斷面數據保存在各自的內存電網服務器，采用與內存電網服務器共 享內存的方式，加載本地歷史斷面數據； (7)確定內存電網訪問接口：內存電網接口用于向電網業務信息系統提供數據物 理位置無關的電網資源訪問方式，包括電網斷面接口、電網數據統計分析接口、數據查詢接 □〇 步驟（1)中，進行樹型展示時，首先要確定內存電網資源模型中電網資源的層次 關系，要求必須有一個根節點，且每一個子節點的父節點是唯一的。 步驟（2)中，內存存儲結構具體的確定方法如下： 設資源數據為A，包含4個屬性，記錄條數為：3,則為每條記錄分配一個長度為4 的Object對象數組， 屬性1屬性2屬性3屬性4 采用Key-Value方式建立屬性標識符與數組下標的映射關系如下： 屬性（key)對應數組下標（value) 訪問某條記錄的某個屬性值時，首先找到該條記錄對應的數組，然后根據屬性標 識符與數組下標關系，找到該屬性對應的數組下標，根據數組下標訪問對應的屬性值。 步驟（3)中，電網資源數據水平拆分方法如下： (3-1)由計算任務對象模型根據業務邏輯和所使用的數據，分析最優的N個數據 切分屬性字段； (3-2)將N個待切分業務數據對象屬性的類型和屬性值范圍，作為數據切分的原 始輸入； (3-3)將對象的N個屬性視作N維空間的軸，根據對象屬性值范圍映到多維空間區 域，形成多維空間的數據超平面； (3-4)每個數據超平面被映射到分布式計算集群中的不同計算節點的內存，形成 數據的分布式內存存儲。 步驟（6)中，內存電網斷面利用HDFS分布式文件系統進行永久、可靠存儲，數據持 久化時的序列化采用開源的Hession組件實現。 步驟（6)中，所述內存電網斷面提供斷面管理、斷面生成和多斷面載入；所述斷面 管理提供斷面數據的查詢、斷面生成計劃任務的制定、斷面載入指令的下達；所述斷面生成 根據計劃任務定期將內存電網的數據進行持久化，生成電網數據斷面；所述多斷面載入根 據斷面指令，載入多個歷史斷面到內存；內存電網提供斷面管理工具用于查詢所有歷史斷 面信息，同時可以向數據斷面處理器發起斷面生成請求和斷面加載請求；數據斷面處理器 在接收到相關請求后，執行斷面生成、斷面加載任務。 步驟（7)中，所述內存電網訪問接口采用PRC遠程調用協議，傳輸的數據為資源對 象序列化后的二進制流。 步驟（7)中，通過所述電網斷面接口查詢電網斷面信息，并下達斷面加載指令，加 載指定的電網斷面數據到計算機內存；通過所述電網數據統計分析接口獲取總部和省電網 資源多條件、多維度的統計分析結果；通過所述數據查詢接口向業務系統提供全網電網資 源的查詢，業務系統不需要關注數據的來源和物理位置。 本專利技術的分布式內存電網充分考慮了電網資源數據和電網業務特性，采用統一的 電網資源模型和全新的存儲方式，并使得模型能夠準確的反映電網資源的情況，同時具備 可重用、易理解、高效資源存儲和訪問等特性；同時通過利用電網資源的區域特性和電壓等 級特性，可很好的解決數據水平分割問題，使得資源數據訪問和計算時能夠最大程度上減 少分布式節點間的數據傳輸，大幅提升效率，同時又能支持多種資源數據的關聯查詢；分布 式內存電網是分布式技術、內存計算技術當前第1頁1 2 本文檔來自技高網...

【技術保護點】
一種分布式內存電網系統構建方法，其特征在于，具體包括以下幾個步驟：(1)構建內存電網資源模型：內存電網資源建模遵循IEC61970標準中的公共信息模型規范,利用面向對象的封裝、繼承和對象應用，建立樹型的內存電網資源模型；(2)確定內存存儲結構：采用數組方式對資源所有屬性數據進行存儲，通過定義屬性名稱標識符與數組下標的映射關系，確定屬性數據在數組中的位置，實現數據存取；(3)水平拆分電網資源數據：將具有不同業務屬性值的電網資源數據映射到不同的數據塊，將具有相同業務屬性值的電網資源數據映射到一同數據塊；(4)加載并緩存電網資源數據：系統第一次啟動時，根據數據的水平劃分方式，將電網資源數據庫中的數據按照內存電網資源模型進行加載，然后分布式緩存到集群中多個服務器內存中；數據加載完成后，將緩存中的電網資源數據進行序列化，形成二進制文件保存到磁盤，當再次啟動系統時，從文件直接讀取電網數據，并從電網資源數據庫讀取從上次序列化到目前的增量數據；電網資源分布式緩存后，將緩存服務器IP地址、電網資源的區域屬性值、電網資源電壓等級值、占用空間、緩存所用時間信息發送到電網資源管理服務器中進行統一管理；(5)同步內存電網數據：將電網數據庫中的資源數據同步到內存電網、省內存電網的資源數據同步到總部內存電網,使得數據庫和內存電網、總部內地電網和省內存電網的數據保持一致；(6)確定內存電網斷面：內存電網斷面以對象化并行計算框架持久化功能作為支撐，各省及總部的所有斷面數據保存在各自的內存電網服務器，采用與內存電網服務器共享內存的方式，加載本地歷史斷面數據；(7)確定內存電網訪問接口：內存電網接口用于向電網業務信息系統提供數據物理位置無關的電網資源訪問方式，包括電網斷面接口、電網數據統計分析接口、數據查詢接口。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：張春平，林峰，胡牧，楊志，劉銘，張琦，
申請(專利權)人：國家電網公司，南京南瑞集團公司，南京南瑞信息通信科技有限公司，
類型：發明
國別省市：北京;11