一種基于分組管理的數(shù)據(jù)核查方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種基于分組管理的數(shù)據(jù)核查方法和裝置。該方法包括：獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型；若待核查數(shù)據(jù)的數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值，則對待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)和每個分組數(shù)據(jù)對應(yīng)的分組數(shù)據(jù)描述信息；將各個分組數(shù)據(jù)緩存至磁盤中，并獲取每個分組數(shù)據(jù)對應(yīng)的磁盤地址指針；基于分組數(shù)據(jù)描述信息和磁盤地址指針，從磁盤中讀取分組數(shù)據(jù)到數(shù)據(jù)核查模型中進行數(shù)據(jù)核查，獲得數(shù)據(jù)核查結(jié)果，從而實現(xiàn)對數(shù)據(jù)的分組核查，在降低硬件成本的同時有效保證數(shù)據(jù)核查的效率。保證數(shù)據(jù)核查的效率。保證數(shù)據(jù)核查的效率。

【技術(shù)實現(xiàn)步驟摘要】
一種基于分組管理的數(shù)據(jù)核查方法和裝置


[0001]本專利技術(shù)涉及計算機
，尤其涉及一種基于分組管理的數(shù)據(jù)核查方法和裝置。

技術(shù)介紹

[0002]在數(shù)據(jù)核查的過程中，用于運行數(shù)據(jù)核查服務(wù)的任務(wù)服務(wù)器的硬件資源是有限的。硬件資源可以是CPU、內(nèi)存和I/O吞吐量等資源。然而，數(shù)據(jù)核查任務(wù)中待核查數(shù)據(jù)的數(shù)據(jù)量可能會超過任務(wù)服務(wù)器所能承載的最大數(shù)據(jù)量，從而導致執(zhí)行數(shù)據(jù)核查任務(wù)的任務(wù)服務(wù)器出現(xiàn)運行卡頓、死機等情況。
[0003]目前，為了解決上述問題，通常是通過增加硬件設(shè)備來擴大服務(wù)器可用于執(zhí)行核查任務(wù)的硬件資源。然而，這種方式會大大增加硬件成本，并且還會造成資源浪費。

技術(shù)實現(xiàn)思路

[0004]本專利技術(shù)提供了一種基于分組管理的數(shù)據(jù)核查方法和裝置，以在降低硬件成本的同時有效保證數(shù)據(jù)核查的效率。
[0005]根據(jù)本專利技術(shù)的一方面，提供了一種基于分組管理的數(shù)據(jù)核查方法，包括：
[0006]獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型；
[0007]若所述待核查數(shù)據(jù)的數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值，則對所述待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)和每個分組數(shù)據(jù)對應(yīng)的分組數(shù)據(jù)描述信息；
[0008]將各個分組數(shù)據(jù)緩存至磁盤中，并獲取每個分組數(shù)據(jù)對應(yīng)的磁盤地址指針；
[0009]基于所述分組數(shù)據(jù)描述信息和所述磁盤地址指針，從磁盤中讀取分組數(shù)據(jù)到所述數(shù)據(jù)核查模型中進行數(shù)據(jù)核查，獲得數(shù)據(jù)核查結(jié)果。
[0010]根據(jù)本專利技術(shù)的另一方面，提供了一種基于分組管理的數(shù)據(jù)核查裝置，包括：
[0011]數(shù)據(jù)獲取模塊，用于獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型；
[0012]數(shù)據(jù)分組模塊，用于若所述待核查數(shù)據(jù)的數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值，則對所述待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)和每個分組數(shù)據(jù)對應(yīng)的分組數(shù)據(jù)描述信息；
[0013]數(shù)據(jù)緩存模塊，用于將各個分組數(shù)據(jù)緩存至磁盤中，并獲取每個分組數(shù)據(jù)對應(yīng)的磁盤地址指針；
[0014]數(shù)據(jù)核查模塊，用于基于所述分組數(shù)據(jù)描述信息和所述磁盤地址指針，從磁盤中讀取分組數(shù)據(jù)到所述數(shù)據(jù)核查模型中進行數(shù)據(jù)核查，獲得數(shù)據(jù)核查結(jié)果。
[0015]本專利技術(shù)實施例的技術(shù)方案，通過獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型；若所述待核查數(shù)據(jù)的數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值，則對所述待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)和每個分組數(shù)據(jù)對應(yīng)的分組數(shù)據(jù)描述信息，以便可以針對分組數(shù)據(jù)進行數(shù)據(jù)核查，確保待核查分組數(shù)據(jù)的數(shù)據(jù)量小于或等于預設(shè)數(shù)據(jù)量閾值；將各個分組數(shù)據(jù)緩存至磁盤中，并獲取每個分組數(shù)據(jù)對應(yīng)的磁盤地址指針，以便可以通過磁盤地址指針快速讀取對應(yīng)的分組數(shù)據(jù)；基于所述分組數(shù)據(jù)描述信息和所述磁盤地址指針，從磁盤
中讀取分組數(shù)據(jù)到所述數(shù)據(jù)核查模型中進行數(shù)據(jù)核查，獲得數(shù)據(jù)核查結(jié)果，從而通過磁盤緩存的方式分組核查數(shù)據(jù)，充分地利用硬件資源，無需增大硬件成本，有效提高了數(shù)據(jù)核查的效率。
[0016]應(yīng)當理解，本部分所描述的內(nèi)容并非旨在標識本專利技術(shù)的實施例的關(guān)鍵或重要特征，也不用于限制本專利技術(shù)的范圍。本專利技術(shù)的其它特征將通過以下的說明書而變得容易理解。
附圖說明
[0017]為了更清楚地說明本專利技術(shù)實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術(shù)的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018]圖1是根據(jù)本專利技術(shù)實施例一提供的一種基于分組管理的數(shù)據(jù)核查方法的流程圖；
[0019]圖2是根據(jù)本專利技術(shù)實施例二提供的一種基于分組管理的數(shù)據(jù)核查方法的流程圖；
[0020]圖3是根據(jù)本專利技術(shù)實施例三提供的一種基于分組管理的數(shù)據(jù)核查方法的流程圖；
[0021]圖4是根據(jù)本專利技術(shù)實施例四提供的一種基于分組管理的數(shù)據(jù)核查裝置的結(jié)構(gòu)示意圖。
具體實施方式
[0022]為了使本
的人員更好地理解本專利技術(shù)方案，下面將結(jié)合本專利技術(shù)實施例中的附圖，對本專利技術(shù)實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術(shù)一部分的實施例，而不是全部的實施例。基于本專利技術(shù)中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當屬于本專利技術(shù)保護的范圍。
[0023]需要說明的是，本專利技術(shù)的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本專利技術(shù)的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0024]實施例一
[0025]圖1為本專利技術(shù)實施例一提供了一種基于分組管理的數(shù)據(jù)核查方法的流程圖，本實施例可適用于在待核查數(shù)據(jù)的數(shù)據(jù)量較大時進行數(shù)據(jù)核查的情況。該方法可以由基于分組管理的數(shù)據(jù)核查裝置來執(zhí)行，該裝置可以采用硬件和/或軟件的形式實現(xiàn)，該基于分組管理的數(shù)據(jù)核查裝置可配置于電子設(shè)備中。如圖1所示，該方法包括：
[0026]S110、獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型。
[0027]其中，當前數(shù)據(jù)核查任務(wù)可以是指核查服務(wù)器當前時刻需要執(zhí)行的數(shù)據(jù)核查任務(wù)，也就是通過數(shù)據(jù)核查模型對處于核查時間段中的待核查數(shù)據(jù)進行數(shù)據(jù)核查操作的任務(wù)。當前數(shù)據(jù)核查任務(wù)可以包括當前待核查數(shù)據(jù)表標識信息和核查時間段。數(shù)據(jù)表標識信
息可以是用于唯一表征數(shù)據(jù)表的標識信息，以便區(qū)分不同的數(shù)據(jù)表。數(shù)據(jù)表標識信息可以包括但不限于字母和數(shù)字。例如，數(shù)據(jù)表標識信息可以是A、B和C等標識信息。核查時間段可以是指當前數(shù)據(jù)核查任務(wù)中選取的用于進行數(shù)據(jù)核查的數(shù)據(jù)對應(yīng)的生成時間段。待核查數(shù)據(jù)可以是指當前數(shù)據(jù)核查任務(wù)中需要核查的總數(shù)據(jù)。數(shù)據(jù)核查模型可以是與當前數(shù)據(jù)核查任務(wù)的數(shù)據(jù)核查方式相匹配的模型。例如，若數(shù)據(jù)核查方式為單一核查方式，則數(shù)據(jù)核查模型為對每個數(shù)據(jù)進行單獨核查的模型。若數(shù)據(jù)核查方式為對比核查方式，則數(shù)據(jù)核查模型為對兩個數(shù)據(jù)進行對比核查的模型。
[0028]具體地，用戶可以基于業(yè)務(wù)需求創(chuàng)建多個數(shù)據(jù)核查任務(wù)，生成數(shù)據(jù)核查任務(wù)列表，并按照數(shù)據(jù)核查任務(wù)列表進行數(shù)據(jù)核查?？梢詫?shù)據(jù)核查任務(wù)列表中當前需要執(zhí)行的數(shù)據(jù)核查任務(wù)作為當前數(shù)據(jù)核查任務(wù)。任務(wù)服務(wù)器可以基于當前數(shù)據(jù)核查任務(wù)中的當前待核查數(shù)據(jù)表標識信息確定當前待核查的數(shù)據(jù)表；基于核查時間段可以確定在當前待核查的數(shù)據(jù)表中選取哪個時間段內(nèi)的數(shù)據(jù)作為待核查數(shù)據(jù)，并可以獲取執(zhí)行當前數(shù)據(jù)核查任務(wù)所需的數(shù)據(jù)核查模型。例如，若用戶創(chuàng)建的數(shù)據(jù)核查任務(wù)列表為每天核查一次數(shù)據(jù)中心服務(wù)器A表、B表、C表的數(shù)據(jù)這三個任務(wù)，則當前數(shù)據(jù)核查任務(wù)為核查中心表A表的任務(wù)本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種基于分組管理的數(shù)據(jù)核查方法，其特征在于，包括：獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)和數(shù)據(jù)核查模型；若所述待核查數(shù)據(jù)的數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值，則對所述待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)和每個分組數(shù)據(jù)對應(yīng)的分組數(shù)據(jù)描述信息；將各個分組數(shù)據(jù)緩存至磁盤中，并獲取每個分組數(shù)據(jù)對應(yīng)的磁盤地址指針；基于所述分組數(shù)據(jù)描述信息和所述磁盤地址指針，從磁盤中讀取分組數(shù)據(jù)到所述數(shù)據(jù)核查模型中進行數(shù)據(jù)核查，獲得數(shù)據(jù)核查結(jié)果。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當前數(shù)據(jù)核查任務(wù)包括：當前待核查數(shù)據(jù)表標識信息和核查時間段；所述獲取當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)，包括：若所述當前待核查數(shù)據(jù)表標識信息為目標中心表標識信息，則基于所述目標中心表標識信息，從數(shù)據(jù)中心服務(wù)器中獲取目標中心表在所述核查時間段內(nèi)增加的目標中心數(shù)據(jù)；基于中心表與業(yè)務(wù)表之間的數(shù)據(jù)親緣關(guān)系，確定所述目標中心表對應(yīng)的各個親緣業(yè)務(wù)表標識信息；基于各個所述親緣業(yè)務(wù)表標識信息，從至少一個業(yè)務(wù)服務(wù)器中獲取每個親緣業(yè)務(wù)表在所述核查時間段內(nèi)增加的目標業(yè)務(wù)數(shù)據(jù)；基于所述目標中心數(shù)據(jù)和所述目標業(yè)務(wù)數(shù)據(jù)，確定當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于各個所述親緣業(yè)務(wù)表標識信息，從至少一個業(yè)務(wù)服務(wù)器中獲取每個親緣業(yè)務(wù)表在所述核查時間段內(nèi)增加的目標業(yè)務(wù)數(shù)據(jù)，包括：基于現(xiàn)存分組數(shù)據(jù)對應(yīng)的現(xiàn)存分組數(shù)據(jù)描述信息和各個所述親緣業(yè)務(wù)表標識信息，確定已獲取數(shù)據(jù)的第一親緣業(yè)務(wù)表標識信息和待獲取數(shù)據(jù)的第二親緣業(yè)務(wù)表標識信息；基于所述第二親緣業(yè)務(wù)表標識信息，從至少一個業(yè)務(wù)服務(wù)器中獲取每個第二親緣業(yè)務(wù)表在所述核查時間段內(nèi)增加的目標業(yè)務(wù)數(shù)據(jù)。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述目標中心數(shù)據(jù)和所述目標業(yè)務(wù)數(shù)據(jù)，確定當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)，包括：基于所述目標中心表對應(yīng)的業(yè)務(wù)數(shù)據(jù)整合方式，對各個所述目標業(yè)務(wù)數(shù)據(jù)進行整合，獲得業(yè)務(wù)整合數(shù)據(jù)，并將所述目標中心數(shù)據(jù)和所述業(yè)務(wù)整合數(shù)據(jù)作為當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)；和/或，基于每個所述親緣業(yè)務(wù)表對應(yīng)的業(yè)務(wù)數(shù)據(jù)提取方式，對所述目標中心數(shù)據(jù)進行提取，獲得中心提取數(shù)據(jù)，并將所述中心提取數(shù)據(jù)和所述目標業(yè)務(wù)數(shù)據(jù)作為當前數(shù)據(jù)核查任務(wù)對應(yīng)的待核查數(shù)據(jù)。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述待核查數(shù)據(jù)進行分組管理，獲得各個分組數(shù)據(jù)，包括：基于第一預設(shè)分組方式，對所述待核查數(shù)據(jù)進行首次分組，獲得首次分組后的各個分組數(shù)據(jù)；若存在數(shù)據(jù)量超過預設(shè)數(shù)據(jù)量閾值的目標分組數(shù)據(jù)，則基于第二預設(shè)分組方式，對所述目標分組數(shù)據(jù)進行...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：秦曉宏，黃主斌，廖盼，
申請(專利權(quán))人：上?？铝植既鹦畔⒓夹g(shù)有限公司，
類型：發(fā)明
國別省市：