System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術實施例涉及數據處理,尤其涉及一種數據校驗方法、裝置、設備和存儲介質。
技術介紹
1、在數據處理領域,etl(extract?transform?load,抽取轉換加載)技術是一種常見的數據處理方法,用于從源系統中提取數據,經過轉換處理后加載到目標系統中。傳統的etl技術通常需要編寫大量的代碼來實現數據處理和校驗邏輯,存在以下不足之處:
2、繁瑣的代碼編寫:傳統的etl過程中,傳統的etl技術通常采用靜態的校驗規則,一旦定義后很難修改,靈活性不足,無法適應業務需求的變化,且需要編寫大量的代碼來實現數據校驗邏輯,包括校驗規則的定義、條件判斷、異常處理等,工作量大且容易出錯。
技術實現思路
1、本專利技術實施例提供了一種數據校驗方法、裝置、設備和存儲介質,可以通過對校驗配置表自定義校驗規則,并基于編輯出的配置表進行數據校驗,無需對底層代碼的修改,降低校驗規則修改難度,提高數據校驗的適用性。
2、第一方面,本專利技術實施例提供了一種數據校驗方法,該方法包括:
3、在接收到校驗配置指令的情況下,在預設界面中顯示初始校驗配置表;
4、針對所述初始校驗配置表中的每個待配置項,根據配置填充操作生成所述待配置項對應的配置結果,根據多個待配置項的配置結果得到目標校驗配置表;其中,所述待配置項包括:字段名稱、校驗類型、校驗錯誤說明、校驗組別、記錄時間、更新時間和優先級中的至少一種;
5、基于所述目標校驗配置表對待校驗數據片段進行數據校
6、第二方面,本專利技術實施例提供了一種數據校驗裝置,該裝置包括:
7、初始校驗配置表展示模塊,用于在接收到校驗配置指令的情況下,在預設界面中顯示初始校驗配置表;
8、目標校驗配置表確定模塊,用于針對所述初始校驗配置表中的每個待配置項,根據配置填充操作生成所述待配置項對應的配置結果,根據多個待配置項的配置結果得到目標校驗配置表;其中,所述待配置項包括:字段名稱、校驗類型、校驗錯誤說明、校驗組別、記錄時間、更新時間和優先級中的至少一種;
9、數據校驗模塊,用于基于所述目標校驗配置表對待校驗數據片段進行數據校驗,生成所述待校驗數據片段對應的目標校驗結果。
10、第三方面,本專利技術實施例提供了一種計算機設備,該計算機設備包括:
11、一個或多個處理器;
12、存儲器,用于存儲一個或多個程序;
13、當所述一個或多個程序被所述一個或多個處理器執行,使得所述一個或多個處理器實現任一實施例所述的數據校驗方法。
14、第四方面,本專利技術實施例提供了一種計算機可讀存儲介質,其上存儲有計算機程序,該程序被處理器執行時實現任一實施例所述的數據校驗方法。
15、本專利技術實施例所提供的技術方案,通過在接收到校驗配置指令的情況下,在預設界面中顯示初始校驗配置表;針對初始校驗配置表中的每個待配置項,根據配置填充操作生成待配置項對應的配置結果,根據多個待配置項的配置結果得到目標校驗配置表;基于目標校驗配置表對待校驗數據片段進行數據校驗,生成待校驗數據片段對應的目標校驗結果。本專利技術實施例的技術方案解決了現有數據校驗技術中數據校驗規則修改難度高,無法適應業務需求的問題,可以通過對校驗配置表自定義校驗規則,并基于編輯出的配置表進行數據校驗,無需對底層代碼的修改,降低校驗規則修改難度,提高數據校驗的適用性。
本文檔來自技高網...【技術保護點】
1.一種數據校驗方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述基于所述目標校驗配置表對待校驗數據片段進行數據校驗,生成所述待校驗數據片段對應的目標校驗結果,包括:
3.根據權利要求1所述的方法,其特征在于,所述根據配置填充操作生成所述待配置項對應的配置結果,包括:
4.根據權利要求1所述的方法,其特征在于,所述方法還包括:
5.根據權利要求1所述的方法,其特征在于,所述方法還包括:
6.根據權利要求1所述的方法,其特征在于,在對待校驗數據片段進行數據校驗之前,所述方法還包括:
7.根據權利要求1所述的方法,其特征在于,所述校驗類型包括:空和非空檢查、數值檢查、長度檢查、日期檢查、正則檢查、字典枚舉和預設校驗類型中的至少一種。
8.一種數據校驗裝置,其特征在于,所述裝置包括:
9.一種計算機設備,其特征在于,所述計算機設備包括:
10.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,該程序被處理器執行時實現如權利要求1-7中任一所述的數據校
...【技術特征摘要】
1.一種數據校驗方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述基于所述目標校驗配置表對待校驗數據片段進行數據校驗,生成所述待校驗數據片段對應的目標校驗結果,包括:
3.根據權利要求1所述的方法,其特征在于,所述根據配置填充操作生成所述待配置項對應的配置結果,包括:
4.根據權利要求1所述的方法,其特征在于,所述方法還包括:
5.根據權利要求1所述的方法,其特征在于,所述方法還包括:
6.根據權利要求1所述的方法,...
【專利技術屬性】
技術研發人員:王杰,胡兵,林煒鋒,李少青,傅強,楊滿智,金紅,陳曉光,
申請(專利權)人:恒安嘉新北京科技股份公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。