System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及一種多級協同治理方法、系統、設備及存儲介質,尤其涉及一種數據質量多級協同治理方法、系統、設備及存儲介質,屬于電力調度自動化。
技術介紹
1、隨著大數據、云計算技術的發展,為電力調度自動化系統提供了數據海量存儲技術支持,各級電力管理部門對其數據資產的管理、融合非常重視,隨著數據的積累從數據中要效益成為了電力調度部門精細化管理的重點方向。
2、我國現有電力調度控制管理制度采用根據電壓等級分層、多級管理方法,某一調度機構只能采集、存儲本區域管轄電網的運行數據,數據質量的管理也只能局限在本區域數據,無法從全局有效分析數據,這與互聯大電網的實際現狀不符,上級管理機構無法有效掌握下級各系統的數據質量情況,需要通過多級協同的數據質量管理提升電力運行數據的管理水平。
技術實現思路
1、專利技術目的:本專利技術的目的是提供一種能夠提高關聯數據的治理效果、提高工作效率的數據質量多級協同治理方法、系統、設備及存儲介質。
2、技術方案:本專利技術所述的數據質量多級協同治理方法,包括:
3、在電力調度多級系統的各系統中構建標簽定義表,用于定義并存儲標簽定義信息和標簽的計算規則;所述標簽定義信息包括數據質量標簽和源數據表;所述數據質量標簽包括標簽id、標簽名稱和計算對象;
4、在各系統中基于標簽定義表構建標簽數據實體表,計算分析數據對象的數據質量,生成數據質量標簽并存儲,同時將數據質量標簽聚合形成數據對象的數據質量評價結果;
5、各系統
6、進一步地,所述標簽定義表通過標簽定義功能程序構建,所述標簽定義表還用于定義出標簽的父子層級關系,將標簽分為子標簽和父標簽,所述父標簽由子標簽通過指定算法聚合形成;所述父子層級關系采用自關聯域進行描述。
7、進一步地,所述標簽的計算規則對應有算法程序實體,所述算法程序實體存儲于每個系統中預設的本地算法規則庫中,所述本地算法規則庫是設在多級系統中的全局算法規則庫的子集;所述算法程序實體,采用跨平臺腳本語言編寫并提供統一的調用接口。
8、進一步地,所述基于標簽定義表構建標簽數據實體表,計算分析數據對象的數據質量,生成數據質量標簽并存儲,具體為基于標簽定義表中的標簽定義信息,通過標簽生成功能程序構建標簽數據實體表,使用計算規則計算分析數據對象的數據質量,生成數據質量標簽并存儲,方法如下:
9、讀取標簽定義表,提取標簽定義信息和標簽的計算規則;
10、根據標簽定義信息,構建標簽數據實體表,所述標簽數據實體表命名規則為源數據表名加預設字符;
11、根據標簽定義信息讀取源數據表中數據;
12、根據計算規則調用本地算法規則庫分析生成數據質量標簽;
13、將數據質量標簽寫入標簽數據實體表;
14、檢查是否具備生成聚合標簽條件,如果具備則進入下一步;
15、根據已經生成的數據質量標簽計算聚合標簽;
16、將聚合標簽寫入標簽數據實體表。
17、進一步地,所述將數據質量標簽寫入標簽數據實體表,具體方法包括:
18、s1:查詢標簽數據實體表,尋找待更新的對象id,如找到則進入步驟s3,如未找到則進入步驟s2;
19、s2:在標簽數據實體表插入記錄,填寫標簽值:更新時間、生效時間,填寫值為當前時間,填寫標簽值失效時間,隨后進入步驟s4;
20、s3:當待更新的對象標簽值未變化,將標簽值更新時間修改為當前時間,否則將標簽值失效時間修改為當前時間,并插入新的標簽值:更新時間、生效時間,填寫值為當前時間,填寫標簽值失效時間;
21、s4:標簽更新結束。
22、進一步地,還包括各系統將本系統計算規則的發布、審核和更新同步至整個多級系統;各系統將本系統計算規則的發布、審核和更新同步至整個多級系統具體包括:
23、各系統根據預設標準推舉一個系統為上級系統,其他剩余系統作為所述上級系統的下級系統;
24、下級系統修改標簽定義表,如涉及計算規則修改則修改算法程序實體,將所有修改內容發送上級系統審批;
25、上級系統接收到修改內容后進行審核;
26、審核通過則發布給所有下級系統,并更新全局算法規則庫;審核不通過則退回給發起審批的系統;
27、多級系統中除發起審批的系統和上級系統外,其余所有下級系統收到發布內容后更新本地標簽定義表中的標簽的計算規則,并從全局算法規則庫下載更新涉及的算法程序實體到本地算法庫中。
28、進一步地,所述各系統將本系統的數據對象的數據質量標簽寫入標簽數據實體表,并將寫入所述數據質量標簽及評價結果實時共享至需要訂閱的系統,具體為,在標簽數據實體表中用預設字段描述評價對象數據質量標簽值的訂閱系統,所述預設字段采用二進制按位描述,同時也用于對所述多級系統中的所有系統進行編號,當其中第n個系統需要訂閱該對象數據質量標簽值則將預設字段二進制第n位設置為1,步驟如下:
29、數據質量標簽寫入標簽數據實體表,讀取預設字段,計算需同步的系統編號;
30、將標簽數據實體表中新生成的記錄按預設格式打包,依次發送給需要訂閱的系統;
31、需要訂閱的系統解析更新本地數據質量標簽實體表。
32、基于相同的專利技術構思,本專利技術還提供了一種數據質量多級協同治理系統,包括:
33、標簽定義模塊,部署在電力調度多級系統的各系統中,用于構建標簽定義表,用于定義并存儲標簽定義信息和標簽的計算規則;所述標簽定義信息包括數據質量標簽和源數據表;
34、標簽生成模塊,部署在各系統中,用于基于標簽定義表構建標簽數據實體表,計算分析數據對象的數據質量,生成數據質量標簽并存儲,同時將數據質量標簽聚合形成數據對象的數據質量評價結果;
35、評價結果協同模塊,部署在各系統中,用于將本系統的數據對象的數據質量標簽寫入標簽數據實體表,并將所述數據質量標簽及評價結果實時共享至需要訂閱的系統。
36、進一步地,還包括:
37、算法規則庫模塊,包括全局算法規則庫和部署在各系統中的本地算法規則庫,所述本地算法規則庫,用于存儲標簽的計算規則所使用的算法程序實體,所述本地算法規則庫是設在多級系統中的全局算法規則庫的子集;所述算法程序實體,采用跨平臺腳本語言編寫并提供統一的調用接口;
38、規則協同模塊,部署在各系統中,用于將本系統計算規則的發布、審核和更新同步至整個多級系統。
39、進一步地,標簽定義模塊所述標簽定義表通過標簽定義功能程序構建,所述標簽定義表還用于定義出標簽的父子層級關系,將標簽分為子標簽和父標簽,所述父標簽由子標簽通過指定算法聚合形成;所述父子層級關系采用自關聯域進行描述。
40、進一步地,所述標簽生本文檔來自技高網...
【技術保護點】
1.一種數據質量多級協同治理方法,其特征在于,包括:
2.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述標簽定義表通過標簽定義功能程序構建,所述標簽定義表還用于定義出標簽的父子層級關系,將標簽分為子標簽和父標簽,所述父標簽由子標簽通過指定算法聚合形成;所述父子層級關系采用自關聯域進行描述。
3.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述標簽的計算規則對應有算法程序實體,所述算法程序實體存儲于每個系統中預設的本地算法規則庫中,所述本地算法規則庫是設在多級系統中的全局算法規則庫的子集;所述算法程序實體,采用跨平臺腳本語言編寫并提供統一的調用接口。
4.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述基于標簽定義表構建標簽數據實體表,計算分析數據對象的數據質量,生成數據質量標簽并存儲,具體為基于標簽定義表中的標簽定義信息,通過標簽生成功能程序構建標簽數據實體表,使用計算規則計算分析數據對象的數據質量,生成數據質量標簽并存儲,方法如下:
5.根據權利要求4所述的數據質量多級協同治理方法,其特
6.根據權利要求3所述的數據質量多級協同治理方法,其特征在于,還包括各系統將本系統計算規則的發布、審核和更新同步至整個多級系統;各系統將本系統計算規則的發布、審核和更新同步至整個多級系統具體包括:
7.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述各系統將本系統的數據對象的數據質量標簽寫入標簽數據實體表,并將寫入所述數據質量標簽及評價結果實時共享至需要訂閱的系統,具體為,在標簽數據實體表中用預設字段描述評價對象數據質量標簽值的訂閱系統,所述預設字段采用二進制按位描述,同時也用于對所述多級系統中的所有系統進行編號,當其中第n個系統需要訂閱該對象數據質量標簽值則將預設字段二進制第n位設置為1,步驟如下:
8.一種數據質量多級協同治理系統,其特征在于,包括:
9.根據權利要求8所述的數據質量多級協同治理系統,其特征在于,還包括:
10.根據權利要求8所述的數據質量多級協同治理系統,其特征在于,標簽定義模塊所述標簽定義表通過標簽定義功能程序構建,所述標簽定義表還用于定義出標簽的父子層級關系,將標簽分為子標簽和父標簽,所述父標簽由子標簽通過指定算法聚合形成;所述父子層級關系采用自關聯域進行描述。
11.根據權利要求8所述的數據質量多級協同治理系統,其特征在于,所述標簽生成模塊,具體實現方法為,基于標簽定義表中的標簽定義信息,通過標簽生成功能程序構建標簽數據實體表,使用計算規則計算分析數據對象的數據質量,生成數據質量標簽并存儲,方法如下:
12.根據權利要求11所述的數據質量多級協同治理系統,其特征在于,所述將數據質量標簽寫入標簽數據實體表,具體方法包括:
13.根據權利要求9所述的數據質量多級協同治理系統,其特征在于,所述規則協同模塊,具體用于:各系統根據預設標準推舉一個系統為上級系統,其他剩余系統作為所述上級系統的下級系統;
14.根據權利要求8所述的數據質量多級協同治理系統,其特征在于,所述評價結果協同模塊,具體為,在標簽數據實體表中用預設字段描述評價對象數據質量標簽值的訂閱系統,所述預設字段采用二進制按位描述,同時也用于對所述多級系統中的所有系統進行編號,當其中第n個系統需要訂閱該對象數據質量標簽值則將預設字段二進制第n位設置為1,步驟如下:
15.一種計算設備,其特征在于,包括:一個或多個處理器、一個或多個存儲器以及一個或多個程序,所述程序存儲在存儲器中并被配置為由處理器執行,所述程序被加載至處理器時實現根據權利要求1至7任一項所述的數據質量多級協同治理方法的步驟。
16.一種存儲介質,其特征在于,所述存儲介質存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令當被處理器執行時使所述處理器執行根據權利要求1至7任一項所述的數據質量多級協同治理方法的步驟。
...【技術特征摘要】
1.一種數據質量多級協同治理方法,其特征在于,包括:
2.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述標簽定義表通過標簽定義功能程序構建,所述標簽定義表還用于定義出標簽的父子層級關系,將標簽分為子標簽和父標簽,所述父標簽由子標簽通過指定算法聚合形成;所述父子層級關系采用自關聯域進行描述。
3.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述標簽的計算規則對應有算法程序實體,所述算法程序實體存儲于每個系統中預設的本地算法規則庫中,所述本地算法規則庫是設在多級系統中的全局算法規則庫的子集;所述算法程序實體,采用跨平臺腳本語言編寫并提供統一的調用接口。
4.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述基于標簽定義表構建標簽數據實體表,計算分析數據對象的數據質量,生成數據質量標簽并存儲,具體為基于標簽定義表中的標簽定義信息,通過標簽生成功能程序構建標簽數據實體表,使用計算規則計算分析數據對象的數據質量,生成數據質量標簽并存儲,方法如下:
5.根據權利要求4所述的數據質量多級協同治理方法,其特征在于,所述將數據質量標簽寫入標簽數據實體表,具體方法包括:
6.根據權利要求3所述的數據質量多級協同治理方法,其特征在于,還包括各系統將本系統計算規則的發布、審核和更新同步至整個多級系統;各系統將本系統計算規則的發布、審核和更新同步至整個多級系統具體包括:
7.根據權利要求1所述的數據質量多級協同治理方法,其特征在于,所述各系統將本系統的數據對象的數據質量標簽寫入標簽數據實體表,并將寫入所述數據質量標簽及評價結果實時共享至需要訂閱的系統,具體為,在標簽數據實體表中用預設字段描述評價對象數據質量標簽值的訂閱系統,所述預設字段采用二進制按位描述,同時也用于對所述多級系統中的所有系統進行編號,當其中第n個系統需要訂閱該對象數據質量標簽值則將預設字段二進制第n位設置為1,步驟如下:
8.一種數據質量多級協同治理系統,其...
【專利技術屬性】
技術研發人員:季堃,李昊,高尚,沈嘉靈,陳斌,李澤科,范海威,丁凌龍,李慧輝,孔彥茹,
申請(專利權)人:國網電力科學研究院有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。