【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及大數(shù)據(jù)處理，特別是涉及一種測(cè)試數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)和大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)量呈現(xiàn)出爆炸性增長(zhǎng)的趨勢(shì)，對(duì)于大部分的數(shù)據(jù)庫(kù)使用方而言，單個(gè)數(shù)據(jù)庫(kù)系統(tǒng)無(wú)論是在數(shù)據(jù)存儲(chǔ)、查詢速度還是數(shù)據(jù)處理能力上都存在瓶頸，難以應(yīng)對(duì)如此龐大的數(shù)據(jù)量。基于此，可通過(guò)將大型數(shù)據(jù)庫(kù)拆分為小的數(shù)據(jù)庫(kù)分片，使每個(gè)數(shù)據(jù)庫(kù)分片只負(fù)責(zé)一部分?jǐn)?shù)據(jù)的存儲(chǔ)和查詢，從而有效解決單個(gè)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)量過(guò)大的問(wèn)題。在使用多個(gè)數(shù)據(jù)庫(kù)分片的情況下，若數(shù)據(jù)庫(kù)使用方要利用多個(gè)數(shù)據(jù)庫(kù)分片中存儲(chǔ)的數(shù)據(jù)進(jìn)行測(cè)試，為了模擬出更真實(shí)的運(yùn)行情況，通常需要分別從每個(gè)數(shù)據(jù)庫(kù)分片上分別抽取一定量的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。
2、傳統(tǒng)技術(shù)中，若要從多個(gè)數(shù)據(jù)庫(kù)分片上分別抽取測(cè)試數(shù)據(jù)，通常需要多次重復(fù)調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句，再通過(guò)人工將從每個(gè)數(shù)據(jù)庫(kù)分片上分別抽取的測(cè)試數(shù)據(jù)進(jìn)行合并整理，這一重復(fù)調(diào)用與人工整理的過(guò)程，均會(huì)導(dǎo)致測(cè)試數(shù)據(jù)抽取效率較低，從而降低測(cè)試效率。
技術(shù)實(shí)現(xiàn)思路
1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高測(cè)試效率的測(cè)試數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
2、第一方面，本申請(qǐng)?zhí)峁┝艘环N測(cè)試數(shù)據(jù)處理方法，包括：
3、接收測(cè)試數(shù)據(jù)抽取指令，確定測(cè)試數(shù)據(jù)抽取指令指示的多個(gè)數(shù)據(jù)庫(kù)分片，并分別連接每一數(shù)據(jù)庫(kù)分片；
4、根據(jù)多個(gè)數(shù)據(jù)庫(kù)分片存儲(chǔ)的數(shù)據(jù)之間的關(guān)聯(lián)等級(jí)，確定需進(jìn)行測(cè)試數(shù)據(jù)聯(lián)合查詢的數(shù)據(jù)庫(kù)分片
5、將每一數(shù)據(jù)庫(kù)分片組作為單個(gè)查詢對(duì)象，并將未用于構(gòu)建數(shù)據(jù)庫(kù)分片組的每一數(shù)據(jù)庫(kù)分片作為單個(gè)查詢對(duì)象；
6、獲取數(shù)據(jù)庫(kù)查詢語(yǔ)句，在調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句后，通過(guò)控制數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，對(duì)每個(gè)查詢對(duì)象依次進(jìn)行數(shù)據(jù)查詢，并為查詢得到的測(cè)試數(shù)據(jù)分別標(biāo)識(shí)所屬的數(shù)據(jù)庫(kù)分片；
7、將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔。
8、在其中一個(gè)實(shí)施例中，數(shù)據(jù)庫(kù)查詢語(yǔ)句通過(guò)以下方式構(gòu)建：
9、獲取測(cè)試數(shù)據(jù)篩選條件、以及與多個(gè)數(shù)據(jù)庫(kù)分片適配的數(shù)據(jù)庫(kù)參數(shù)；
10、根據(jù)測(cè)試數(shù)據(jù)篩選條件和數(shù)據(jù)庫(kù)參數(shù)，生成數(shù)據(jù)庫(kù)查詢語(yǔ)句。
11、在其中一個(gè)實(shí)施例中，在調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句后，通過(guò)控制數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，對(duì)每個(gè)查詢對(duì)象依次進(jìn)行數(shù)據(jù)查詢，包括：
12、在調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句后，獲取多個(gè)數(shù)據(jù)庫(kù)分片的分片總數(shù)量；
13、在控制數(shù)據(jù)庫(kù)查詢語(yǔ)句執(zhí)行的過(guò)程中，每完成一次對(duì)查詢對(duì)象的數(shù)據(jù)查詢，統(tǒng)計(jì)已查詢的數(shù)據(jù)庫(kù)分片的總數(shù)量，直至已查詢的數(shù)據(jù)庫(kù)分片的總數(shù)量等于分片總數(shù)量，控制數(shù)據(jù)庫(kù)查詢語(yǔ)句停止執(zhí)行。
14、在其中一個(gè)實(shí)施例中，將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔，包括：
15、針對(duì)從每一數(shù)據(jù)庫(kù)分片中分別提取出的測(cè)試數(shù)據(jù)，獲取預(yù)設(shè)參數(shù)化格式，根據(jù)預(yù)設(shè)參數(shù)化格式中設(shè)置的數(shù)據(jù)提取字段，對(duì)已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)進(jìn)行目標(biāo)字段提取，得到已標(biāo)識(shí)所屬數(shù)據(jù)庫(kù)分片的目標(biāo)測(cè)試數(shù)據(jù)；
16、獲取測(cè)試數(shù)據(jù)存儲(chǔ)文檔的指定路徑、以及與測(cè)試數(shù)據(jù)存儲(chǔ)文檔匹配的數(shù)據(jù)寫入方式；
17、根據(jù)與測(cè)試數(shù)據(jù)存儲(chǔ)文檔匹配的數(shù)據(jù)寫入方式，按照指定路徑，將目標(biāo)測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔。
18、在其中一個(gè)實(shí)施例中，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，方法還包括：
19、接收測(cè)試數(shù)據(jù)調(diào)取指令；
20、根據(jù)測(cè)試數(shù)據(jù)調(diào)取指令指示的數(shù)據(jù)庫(kù)分片標(biāo)識(shí)，從測(cè)試數(shù)據(jù)存儲(chǔ)文檔中，調(diào)取與數(shù)據(jù)庫(kù)分片標(biāo)識(shí)匹配的測(cè)試數(shù)據(jù)；
21、將調(diào)取出的測(cè)試數(shù)據(jù)，輸入測(cè)試數(shù)據(jù)調(diào)取指令指示的測(cè)試環(huán)境，以通過(guò)調(diào)取出的測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。
22、在其中一個(gè)實(shí)施例中，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，方法還包括：
23、接收測(cè)試數(shù)據(jù)篩選條件修改指令；
24、根據(jù)測(cè)試數(shù)據(jù)篩選條件修改指令，對(duì)數(shù)據(jù)庫(kù)查詢語(yǔ)句進(jìn)行修改，得到修改后的數(shù)據(jù)庫(kù)查詢語(yǔ)句；
25、當(dāng)再次接收到測(cè)試數(shù)據(jù)抽取指令，在調(diào)用修改后的數(shù)據(jù)庫(kù)查詢語(yǔ)句后，控制修改后的數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，以從多個(gè)數(shù)據(jù)庫(kù)分片中抽取測(cè)試數(shù)據(jù)。
26、第二方面，本申請(qǐng)還提供了一種測(cè)試數(shù)據(jù)處理裝置，包括：
27、數(shù)據(jù)抽取指令處理模塊，用于接收測(cè)試數(shù)據(jù)抽取指令，確定測(cè)試數(shù)據(jù)抽取指令指示的多個(gè)數(shù)據(jù)庫(kù)分片，并分別連接每一數(shù)據(jù)庫(kù)分片；
28、數(shù)據(jù)庫(kù)組確定模塊，用于根據(jù)多個(gè)數(shù)據(jù)庫(kù)分片存儲(chǔ)的數(shù)據(jù)之間的關(guān)聯(lián)等級(jí)，確定需進(jìn)行測(cè)試數(shù)據(jù)聯(lián)合查詢的數(shù)據(jù)庫(kù)分片組；每一數(shù)據(jù)庫(kù)分片組包括：至少兩個(gè)數(shù)據(jù)庫(kù)分片，且至少兩個(gè)數(shù)據(jù)庫(kù)分片所存儲(chǔ)數(shù)據(jù)之間的關(guān)聯(lián)等級(jí)達(dá)到預(yù)設(shè)等級(jí)；
29、查詢對(duì)象確定模塊，用于將每一數(shù)據(jù)庫(kù)分片組作為單個(gè)查詢對(duì)象，并將未用于構(gòu)建數(shù)據(jù)庫(kù)分片組的每一數(shù)據(jù)庫(kù)分片作為單個(gè)查詢對(duì)象；
30、查詢語(yǔ)句執(zhí)行模塊，用于獲取數(shù)據(jù)庫(kù)查詢語(yǔ)句，在調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句后，通過(guò)控制數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，對(duì)每個(gè)查詢對(duì)象依次進(jìn)行數(shù)據(jù)查詢，并為查詢得到的測(cè)試數(shù)據(jù)分別標(biāo)識(shí)所屬的數(shù)據(jù)庫(kù)分片；
31、測(cè)試數(shù)據(jù)寫入模塊，用于將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔。
32、在其中一個(gè)實(shí)施例中，測(cè)試數(shù)據(jù)處理裝置還包括：
33、語(yǔ)句參數(shù)獲取模塊，用于獲取測(cè)試數(shù)據(jù)篩選條件、以及與多個(gè)數(shù)據(jù)庫(kù)分片適配的數(shù)據(jù)庫(kù)參數(shù)；
34、查詢語(yǔ)句生成模塊，用于根據(jù)測(cè)試數(shù)據(jù)篩選條件和數(shù)據(jù)庫(kù)參數(shù)，生成數(shù)據(jù)庫(kù)查詢語(yǔ)句。
35、在其中一個(gè)實(shí)施例中，查詢語(yǔ)句執(zhí)行模塊包括：
36、分片總數(shù)量獲取單元，用于在調(diào)用數(shù)據(jù)庫(kù)查詢語(yǔ)句后，獲取多個(gè)數(shù)據(jù)庫(kù)分片的分片總數(shù)量；
37、語(yǔ)句執(zhí)行控制單元，用于在控制數(shù)據(jù)庫(kù)查詢語(yǔ)句執(zhí)行的過(guò)程中，每完成一次對(duì)查詢對(duì)象的數(shù)據(jù)查詢，統(tǒng)計(jì)已查詢的數(shù)據(jù)庫(kù)分片的總數(shù)量，直至已查詢的數(shù)據(jù)庫(kù)分片的總數(shù)量等于分片總數(shù)量，控制數(shù)據(jù)庫(kù)查詢語(yǔ)句停止執(zhí)行。
38、在其中一個(gè)實(shí)施例中，測(cè)試數(shù)據(jù)寫入模塊包括：
39、目標(biāo)測(cè)試數(shù)據(jù)提取單元，用于針對(duì)從每一數(shù)據(jù)庫(kù)分片中分別提取出的測(cè)試數(shù)據(jù)，獲取預(yù)設(shè)參數(shù)化格式，根據(jù)預(yù)設(shè)參數(shù)化格式中設(shè)置的數(shù)據(jù)提取字段，對(duì)已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)進(jìn)行目標(biāo)字段提取，得到已標(biāo)識(shí)所屬數(shù)據(jù)庫(kù)分片的目標(biāo)測(cè)試數(shù)據(jù)；
40、寫入?yún)?shù)獲取單元，用于獲取測(cè)試數(shù)據(jù)存儲(chǔ)文檔的指定路徑、以及與測(cè)試數(shù)據(jù)存儲(chǔ)文檔匹配的數(shù)據(jù)寫入方式；
41、測(cè)試數(shù)據(jù)寫入單元，用于根據(jù)與測(cè)試數(shù)據(jù)存儲(chǔ)文檔匹配的數(shù)據(jù)寫入方式，按照指定路徑，將目標(biāo)測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔。
42、在其中一個(gè)實(shí)施例中，測(cè)試數(shù)據(jù)處理裝置還包括：
43、調(diào)取指令接收單元，用于接收測(cè)試數(shù)據(jù)調(diào)取指令；
44、測(cè)試數(shù)據(jù)調(diào)取單元，用于根據(jù)測(cè)試數(shù)據(jù)調(diào)取指令指示的數(shù)據(jù)庫(kù)分片標(biāo)識(shí)，從測(cè)試數(shù)據(jù)存儲(chǔ)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種測(cè)試數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)查詢語(yǔ)句通過(guò)以下方式構(gòu)建：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在調(diào)用所述數(shù)據(jù)庫(kù)查詢語(yǔ)句后，通過(guò)控制所述數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，對(duì)每個(gè)所述查詢對(duì)象依次進(jìn)行數(shù)據(jù)查詢，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，所述方法還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，所述方法還包括：
7.一種測(cè)試數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述測(cè)試數(shù)據(jù)處理裝置還包括：
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述查詢語(yǔ)句執(zhí)行模塊包括：
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述測(cè)試數(shù)據(jù)寫入模塊包括：
11
12.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述測(cè)試數(shù)據(jù)處理裝置還包括：
13.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。
14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。
15.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種測(cè)試數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)查詢語(yǔ)句通過(guò)以下方式構(gòu)建：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在調(diào)用所述數(shù)據(jù)庫(kù)查詢語(yǔ)句后，通過(guò)控制所述數(shù)據(jù)庫(kù)查詢語(yǔ)句循環(huán)執(zhí)行，對(duì)每個(gè)所述查詢對(duì)象依次進(jìn)行數(shù)據(jù)查詢，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，所述方法還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將已完成標(biāo)識(shí)的測(cè)試數(shù)據(jù)寫入測(cè)試數(shù)據(jù)存儲(chǔ)文檔后，所述方法還包括：
7.一種測(cè)試數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述測(cè)試數(shù)據(jù)處理裝置還...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：史曉晨，
申請(qǐng)(專利權(quán))人：中國(guó)建設(shè)銀行股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。