【技術實現步驟摘要】
本說明書實施例涉及數據管理，尤其是一種批量任務質量監管方法。
技術介紹
1、現有的獨立建設的數據質量管理系統，需要與諸多外圍系統，譬如調度系統進行集成。在批量任務后，由調度系統通知數據質量管理系統執行數據檢核，并將檢核結束存儲在數據質量管理系統的數據庫中，而數據檢核時的質量檢核的觸發條件，閾值判斷，告警接收人配置等功能均在數據質量檢核系統實現。這使得現有的數據質量管理系統的覆蓋場景不夠完整，對批量任務的管理僅具備事后質量核檢，無法做到事中攔截；且當存在規則的新增或變更時，需要經過投產變更上線新的核檢規則，使得對新增核檢規則的使用實施存在滯后的問題。此外，由于需要涉及與外圍系統的集成工作，使得質量管理系統建設周期較長、維護成本較高。
2、有鑒于此，本說明書實施例旨在提供一種批量任務質量監管方法。
技術實現思路
1、針對現有技術的上述問題，本說明書實施例的目的在于，提供一種批量任務質量監管方法，以解決現有技術中對批量任務的質量監管不夠完整，且質量管理成本較高的問題。
2、為了解決上述技術問題，本說明書實施例的具體技術方案如下：
3、第一方面，本說明書實施例提供一種批量任務質量監管方法，包括：
4、響應于事中檢查指令，調用事中檢查表；
5、根據所述事中檢查表中配置的任務名和所屬任務組，確定若干待檢查批量任務，所述若干待檢查批量任務之間存在依賴關系；
6、根據所述事中檢查表中配置的事中檢查規則對所述待檢查批量任務執行得
7、判斷所述事中檢查是否通過；
8、若否，則中止執行所述待檢查批量任務并反饋提醒至運維人員；
9、若是，則判斷所述若干待檢查批量任務是否全部執行完畢；
10、若是，則響應于事后檢查指令，調用事后檢查表；
11、根據所述事后檢查表中配置的事后檢查規則對所述待檢查批量任務執行得到的數據表中的第二待檢查項進行事后檢查。
12、具體地，所述方法還包括：
13、將所述第一待檢查項、所述第一待檢查項的項目編號以及檢查日期存儲至檢查日志表中；以及
14、將所述第二待檢查項、所述第二待檢查項的項目編號以及檢查日期存儲至所述檢查日志表中。
15、進一步地，根據所述事中檢查表中配置的事中檢查規則對所述待檢查批量任務執行得到的數據表中的第一待檢查項進行事中檢查，包括：
16、若所述事中檢查規則為基于預定閾值的檢查規則，則根據所述事中檢查規則中的比較規則將所述第一待檢查項與所述預定閾值進行比較；
17、若所述事中檢查規則為基于歷史數據的檢查規則，則調用所述檢查日志表并根據事中檢查規則中的比對日期獲取與所述第一待檢查項的項目編號相一致的歷史檢查項，將所述第一待檢查項與所述歷史檢查項進行比較。
18、更進一步地，將所述第一待檢查項與所述歷史檢查項進行比較，進一步包括：
19、獲取所述事中檢查規則中對應于所述第一待檢查項的比較系數和比較規則；
20、根據所述比較系數和所述歷史檢查項，計算得到比較值；
21、基于所述比較規則，將所述第一待檢查項與所述比較值進行比較。
22、具體地，響應于事中檢查指令，調用事中檢查表，包括：
23、執行待檢查批量任務；
24、根據所述待檢查批量任務的執行結果，對所述待檢查批量任務的執行標識進行更新；
25、判斷所述待檢查批量任務的執行標識是否為已完成；
26、若是，則響應所述事中檢查指令以對所述待檢查批量任務執行得到的數據表進行事中調查。
27、具體地，當所述若干待檢查批量任務全部執行完畢后，所述方法還包括：
28、響應于異常數據采樣指令，調用異常數據采樣表；
29、根據所述異常數據采用表中配置的采樣規則，拼接得到采樣語句；
30、根據所述采樣語句對所述待檢查批量任務執行得到的數據表進行采樣，并將采樣結果存儲至采樣數據表中。
31、進一步地，在所述事后檢查和/或所述異常數據采樣完成后，所述方法包括：
32、響應于告警指令，調用告警配置表；
33、根據所述告警配置表中配置的告警項目，查找所述事后檢查結果和/或所述異常數據采樣結果；
34、根據所述告警配置表中配置的告警規則，對所述事后檢查結果和/或所述異常采樣結果進行告警。
35、具體地，所述方法還包括：
36、將對所述第一待檢查項的事中檢查結果和對所述第二待檢查項的事后檢查結果存儲至所述檢查日志表中。
37、第二方面，本說明書實施例提供一種批量任務質量監管裝置，包括：
38、第一響應模塊，用于響應于事中檢查指令，調用事中檢查表；
39、確定模塊，用于根據所述事中檢查表中配置的任務名和所屬任務組，確定若干待檢查批量任務，所述若干待檢查批量任務之間存在依賴關系；
40、事中檢查模塊，用于根據所述事中檢查表中配置的事中檢查規則對各所述待檢查批量任務的第一待檢查項進行事中檢查；
41、第一判斷模塊，用于判斷所述事中檢查是否通過；
42、中止和提醒模塊，用于當所述事中檢查未通過時，中止執行所述待檢查批量任務并反饋提醒至運維人員；
43、第二判斷模塊，用于當所述事中檢查通過時，判斷所述若干待檢查批量任務是否全部執行完畢；
44、第二響應模塊，用于當若干待檢查批量任務全部執行完畢時，響應于事后檢查指令，調用事后檢查表；
45、事后檢查模塊，用于根據所述事后檢查表中配置的事后檢查規則對所述待檢查批量任務的第二待檢查項進行事后檢查。
46、第三方面，本說明書實施例提供一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述技術方案提供的方法。
47、第四方面，本說明書實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如上述技術方案提供的方法。
48、第五方面，本說明書實施例提供一種計算機程序產品，包括至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由處理器加載并執行以實現如上述技術方案提供的方法。
49、采用上述技術方案，本說明書實施例提供的批量任務質量監管方法，從事中檢查和事后檢查兩個層面對批量任務的執行進行質量監管，當事中檢查結果未通過時，將中止該待檢查批量任務的繼續執行，防止該待檢查批量任務產生的錯誤數據污染到下游，避免錯誤數據的不斷擴散。且本方法僅需對公共模板腳本進行修改即可實現對批量任務的事中檢查；通過新建批量后調度任務的方式即可實現事后質量檢查，實現了對數據倉庫中批量任務的數據質量敏捷、輕型的監管，具備敏捷、本文檔來自技高網...
【技術保護點】
1.一種批量任務質量監管方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，根據所述事中檢查表中配置的事中檢查規則對所述待檢查批量任務執行得到的數據表中的第一待檢查項進行事中檢查，進一步包括：
4.根據權利要求3所述的方法，其特征在于，將所述第一待檢查項與所述歷史檢查項進行比較，進一步包括：
5.根據權利要求1所述的方法，其特征在于，響應于事中檢查指令，調用事中檢查表，進一步包括：
6.根據權利要求1所述的方法，其特征在于，當所述若干待檢查批量任務全部執行完畢后，所述方法還包括：
7.根據權利要求6所述的方法，其特征在于，在所述事后檢查和/或所述異常數據采樣完成后，所述方法進一步包括：
8.根據權利要求2所述的方法，其特征在于，所述方法還包括：
9.一種批量任務質量監管裝置，其特征在于，包括：
10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處
11.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至8任意一項所述的方法。
12.一種計算機程序產品，其特征在于，包括至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由處理器加載并執行以實現如權利要求1至8任意一項所述的方法。
...【技術特征摘要】
1.一種批量任務質量監管方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，根據所述事中檢查表中配置的事中檢查規則對所述待檢查批量任務執行得到的數據表中的第一待檢查項進行事中檢查，進一步包括：
4.根據權利要求3所述的方法，其特征在于，將所述第一待檢查項與所述歷史檢查項進行比較，進一步包括：
5.根據權利要求1所述的方法，其特征在于，響應于事中檢查指令，調用事中檢查表，進一步包括：
6.根據權利要求1所述的方法，其特征在于，當所述若干待檢查批量任務全部執行完畢后，所述方法還包括：
7.根據權利要求6所述的方法，其特征在于，在所述事后檢查和/或所述...
【專利技術屬性】
技術研發人員：李芊蒴，胡瑜，彭強，郭富杰，
申請(專利權)人：中國光大銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。