【技術實現步驟摘要】
本專利技術涉及數據核驗，尤其涉及一種基于知識管理檢核數據質量的數據治理系統。
技術介紹
1、數據質量檢查是數據治理中的關鍵環節，主要從完整性、唯一性、有效性、一致性、準確性等方面對數據進行檢查，以識別和解決數據質量問題。現有的數據治理系統中，數據質量管理模塊負責對采集到的原始數據或經過治理后的數據進行質量檢查。實施工程師需要識別每個表和字段的數據含義、數據類型、長度，并確定對字段的檢查需求。基于這些需求，實施工程師在數據治理系統中制定相應的數據質檢規則。這些規則是執行數據質量檢查的基礎，直接影響數據治理的效果和效率。
2、在現有技術中，實施工程師在制定數據質檢規則之前，需要花費大量時間收集和分析數據質量檢查需求，且每個數據治理項目都需要實施工程師根據項目需求在數據治理系統中重新制定數據質檢規則，即使是處理相似的業務系統數據，這導致了大量重復工作，降低了項目實施效率。
3、因此，尋找一種既能夠智能化推薦數據質檢規則，提高數據質檢效率，又能提高數據治理質量的方法，是本領域技術人員亟待解決的技術問題。
技術實現思路
1、有鑒于此，本專利技術提出了一種基于知識管理檢核數據質量的數據治理系統，其能夠利用數據質量知識庫進行質檢規則推薦，實現經驗的質檢規則復用，通過實施工作臺根據具體項目需求調整質檢規則，并將新的質檢規則存儲到數據質量知識庫中，以對數據質量知識庫進行更新，實現了各項目數據質檢規則知識復用，提高數據質檢效率。
2、本專利技術的技術方案是這樣實現的
3、數據治理子系統，其配置為對數據的獲取、識別和標準化進行監管，并在各項目中獨立部署；
4、數據質量知識庫，其配置為預存儲供應商系統表、質檢數據表、質檢數據表與質檢規則關系表；
5、實施工作臺，其配置為與數據治理子系統和數據質量知識庫進行數據和知識交互，在實施項目時調整和補充質檢規則，并對數據質量進行檢核。
6、在以上技術方案的基礎上，優選的，所述數據治理子系統包括數據采集模塊、主數據管理模塊、數據調度模塊、數據標準管理模塊、質檢規則同步模塊、質檢方案制定模塊和質檢方案執行模塊。
7、在以上技術方案的基礎上，優選的，所述調整和補充質檢規則，具體包括：
8、步驟一、數據治理子系統連接當前項目的數據源，利用數據采集模塊采集數據源的元數據；
9、步驟二、主數據管理模塊對元數據進行主數據識別，得到主數據信息；其中所述主數據信息包括模式名、表英文名、表中文名、字段英文名、字段中文名、字段數據類型和字段長度；
10、步驟三、主數據管理模塊根據主數據信息構建標準數據表，數據調度模塊根據標準數據表將主數據信息進行標準化處理，得到標準化主數據信息；
11、步驟四、從數據質量知識庫按照第一推薦方法獲取質檢規則推薦結果，所述質檢規則推薦結果包括數倉分層、數據庫模式、表英文名和表中文名；
12、步驟五、根據質檢規則推薦結果對標準化主數據信息每個字段的質檢規則進行增加和刪除，得到元數據質檢規則；
13、步驟六、將元數據質檢規則保存至數據質量知識庫，同時數據治理子系統對元數據質檢規則進行質檢方案管理。
14、在以上技術方案的基礎上，優選的，步驟四中，第一推薦方法包括：
15、標準化主數據信息的元素包括供應商、系統和版本；供應商系統表的元素包括系統編號、供應商、系統編碼和版本；質檢數據表的元素包括系統編號、數倉分層、數據表編碼、數據庫模式、表英文名和表中文名；質檢數據表與質檢規則關系表的元素包括系統編號、數據表編碼、字段英文名、字段中文名和質檢規則編碼；
16、根據標準化主數據信息的供應商、系統和版本在供應商系統表中進行查詢，得到數據源對應的系統編號；
17、根據數據源對應的系統編號在質檢數據表中進行查詢，得到數據源對應的數據表編碼；
18、根據數據源對應的系統編號和數據源對應的的數據表編碼在質檢數據表與質檢規則關系表中進行查詢，得到數據源中每個數據表的字段級質檢規則推薦結果。
19、在以上技術方案的基礎上，優選的，步驟五具體包括：
20、根據標準化主數據信息得到每個字段的字段質檢規則；
21、將質檢規則推薦結果與每個字段的字段質檢規則進行匹配，檢查質檢規則推薦結果中是否有與每個字段的質檢規則不適用的規則：
22、若有，則刪除標準化主數據信息中與質檢規則推薦結果不適用的字段質檢規則；
23、若沒有，則檢查字段質檢規則能否直接應用質檢規則推薦結果：
24、若能，則直接選擇并應用質檢規則推薦結果；
25、若不能，則對標準化主數據信息的字段質檢規則進行增加。
26、在以上技術方案的基礎上，優選的，將質檢規則推薦結果與每個字段的字段質檢規則進行匹配，具體包括：
27、將每個字段的字段質檢規則與數據質量知識庫中供應商系統表、質檢數據表、質檢數據表與質檢規則關系表進行查詢，得到當前字段質檢規則信息，其中當前字段質檢規則信息包括系統編號、數據表編碼和字段中文名；
28、查找質檢規則推薦結果中與當前字段質檢規則信息匹配的記錄，并提取記錄對應的質檢規則編碼；
29、根據質檢規則編碼確定具體質檢規則，將具體質檢規則應用到對應的字段中。
30、在以上技術方案的基礎上，優選的，步驟五中，對標準化主數據信息的字段質檢規則進行增加，具體包括：
31、在數據治理子系統中創建新的字段質檢規則，并根據新的字段質檢規則設置檢查邏輯和參數；
32、將新的質檢規則同步到實施工作臺。
33、更進一步優選的，步驟六中，質檢方案管理具體包括：
34、質檢規則同步模塊將元數據質檢規則同步到數據治理治理子系統；
35、質檢方案制定模塊根據元數據質檢規則制定質檢方案；
36、質檢方案執行模塊按照執行時間執行質檢方案。
37、在以上技術方案的基礎上，優選的，制定質檢方案具體包括：
38、按照數倉分層和數據源主體對元數據質檢規則進行分組，形成若干個質檢方案；
39、對每個質檢方案設置定時執行時間。
40、在以上技術方案的基礎上，優選的，質檢規則同步模塊將元數據質檢規則同步到數據治理治理子系統，具體包括：
41、數據治理子系統包括第一api接口和第二api接口；
42、調用第一api接口，將元數據質檢規則的數倉分層、數據表編碼、數據庫模式、表編碼、表英文名、表中文名存儲到數據質量管理模塊；
43、調用第二api接口，將元數據質檢規則的表編碼、字段英文名、字段中文名、質檢規則編碼存儲到數據質量管理模塊；
44、同步驗證api是否調用成功，若成功，則元數據質檢規則同步到數據治本文檔來自技高網...
【技術保護點】
1.一種基于知識管理檢核數據質量的數據治理系統，其特征在于，包括：
2.如權利要求1所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，所述數據治理子系統包括數據采集模塊、主數據管理模塊、數據調度模塊、數據標準管理模塊、質檢規則同步模塊、質檢方案制定模塊和質檢方案執行模塊。
3.如權利要求2所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，所述調整和補充質檢規則，具體包括：
4.如權利要求3所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，步驟四中，第一推薦方法包括：
5.如權利要求4所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，步驟五具體包括：
6.如權利要求5所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，將質檢規則推薦結果與每個字段的字段質檢規則進行匹配，具體包括：
7.如權利要求6所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，步驟五中，對標準化主數據信息的字段質檢規則進行增加，具體包括：
8.如權利要求3所述的
9.如權利要求8所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，制定質檢方案具體包括：
10.如權利要求7所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，質檢規則同步模塊將元數據質檢規則同步到數據治理治理子系統，具體包括：
...【技術特征摘要】
1.一種基于知識管理檢核數據質量的數據治理系統，其特征在于，包括：
2.如權利要求1所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，所述數據治理子系統包括數據采集模塊、主數據管理模塊、數據調度模塊、數據標準管理模塊、質檢規則同步模塊、質檢方案制定模塊和質檢方案執行模塊。
3.如權利要求2所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，所述調整和補充質檢規則，具體包括：
4.如權利要求3所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，步驟四中，第一推薦方法包括：
5.如權利要求4所述的一種基于知識管理檢核數據質量的數據治理系統，其特征在于，步驟五具體包括：
6.如權利要求5...
【專利技術屬性】
技術研發人員：胡琦，嚴鶴，閆喜軍，王俊，
申請(專利權)人：云啟智慧科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。