【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及金融科技領(lǐng)域，具體而言，涉及一種數(shù)據(jù)表的傳輸方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備。
技術(shù)介紹
1、在數(shù)據(jù)存儲(chǔ)系統(tǒng)中，數(shù)據(jù)的導(dǎo)出是一個(gè)重要的操作，在相關(guān)技術(shù)的數(shù)據(jù)傳輸場(chǎng)景中，在待傳輸?shù)臄?shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)量過多的情況下，就會(huì)導(dǎo)致傳輸數(shù)據(jù)表的過程中，發(fā)生數(shù)據(jù)丟失的概率增高，使得數(shù)據(jù)表傳輸?shù)姆€(wěn)定性降低。
2、針對(duì)相關(guān)技術(shù)中數(shù)據(jù)表傳輸?shù)姆€(wěn)定性較低的問題，目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的主要目的在于提供一種數(shù)據(jù)表的傳輸方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備，以解決相關(guān)技術(shù)中數(shù)據(jù)表傳輸?shù)姆€(wěn)定性較低的問題。
2、為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種數(shù)據(jù)表的傳輸方法。該方法包括：
3、在數(shù)據(jù)表的傳輸時(shí)刻到達(dá)的情況下，從數(shù)據(jù)庫中提取待傳輸?shù)某跏紨?shù)據(jù)表，其中，所述初始數(shù)據(jù)表中存儲(chǔ)了待傳輸?shù)臄?shù)據(jù)；
4、檢測(cè)所述初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間的關(guān)系；
5、在檢測(cè)到所述初始數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)量的變化率高于或者等于變化率閾值的情況下，將所述初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，其中，n為大于1的正整數(shù)，所述n個(gè)候選數(shù)據(jù)表中存儲(chǔ)了所述初始數(shù)據(jù)表中的全量數(shù)據(jù)；
6、對(duì)n個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到n個(gè)目標(biāo)數(shù)據(jù)表；
7、將n個(gè)所述目標(biāo)數(shù)據(jù)表傳輸至待接收所述待傳輸?shù)臄?shù)據(jù)的目標(biāo)地址。
8、可選的，所述檢測(cè)所述初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間
9、可選的，所述將所述初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，包括：檢測(cè)所述初始數(shù)據(jù)表中是否存在字段長(zhǎng)度大于或者等于長(zhǎng)度閾值的目標(biāo)數(shù)據(jù)字段；在檢測(cè)到所述初始數(shù)據(jù)表中存在所述目標(biāo)數(shù)據(jù)字段的情況下，將所述目標(biāo)數(shù)據(jù)字段拆分為符合目標(biāo)長(zhǎng)度的p個(gè)候選字段，得到待拆分?jǐn)?shù)據(jù)表，其中，p為大于1的正整數(shù)；將所述待拆分?jǐn)?shù)據(jù)表拆分為n個(gè)所述候選數(shù)據(jù)表。
10、可選的，所述對(duì)n個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到n個(gè)目標(biāo)數(shù)據(jù)表，包括：識(shí)別每個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)的數(shù)據(jù)類型；按照所述數(shù)據(jù)類型對(duì)應(yīng)的標(biāo)準(zhǔn)化策略對(duì)所述數(shù)據(jù)類型為目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，直至完成n個(gè)所述候選數(shù)據(jù)表的所述標(biāo)準(zhǔn)化操作，得到n個(gè)所述目標(biāo)數(shù)據(jù)表，其中，所述目標(biāo)數(shù)據(jù)類型包括以下至少之一：日期類型、字符類型、媒體類型、浮點(diǎn)類型。
11、可選的，所述按照所述數(shù)據(jù)類型對(duì)應(yīng)的標(biāo)準(zhǔn)化策略對(duì)所述數(shù)據(jù)類型為目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，包括：在所述數(shù)據(jù)的所述數(shù)據(jù)類型為所述日期類型的情況下，將所述日期類型的數(shù)據(jù)的格式轉(zhuǎn)換為“yyyymmdd”，其中，yyyy用于指示年份，mm用于指示月份，dd用于指示日期；在所述數(shù)據(jù)的所述數(shù)據(jù)類型為所述字符類型的情況下，將所述字符類型的數(shù)據(jù)的換行符和回車符替換為空；在所述數(shù)據(jù)的所述數(shù)據(jù)類型為所述媒體類型的情況下，計(jì)算所述媒體類型的數(shù)據(jù)的字段長(zhǎng)度；將所述媒體類型的數(shù)據(jù)中的換行符和回車符替換為目標(biāo)字符，其中，所述目標(biāo)字符用于確保每條所述媒體類型的數(shù)據(jù)處于完整的一行；在所述數(shù)據(jù)的所述數(shù)據(jù)類型為所述浮點(diǎn)類型的情況下，保留所述浮點(diǎn)類型的數(shù)據(jù)在目標(biāo)位數(shù)的小數(shù)。
12、可選的，所述將n個(gè)所述目標(biāo)數(shù)據(jù)表傳輸至待接收所述待傳輸?shù)臄?shù)據(jù)的目標(biāo)地址，包括：檢測(cè)所述目標(biāo)數(shù)據(jù)表的數(shù)據(jù)表配置是否指示了對(duì)所述目標(biāo)數(shù)據(jù)表執(zhí)行入湖操作；在檢測(cè)到所述數(shù)據(jù)表配置指示了對(duì)所述目標(biāo)數(shù)據(jù)表執(zhí)行入湖操作的情況下，使用所述目標(biāo)數(shù)據(jù)表更新數(shù)據(jù)湖中對(duì)應(yīng)的參考數(shù)據(jù)表；在確定完成所述入湖操作，或者檢測(cè)到所述數(shù)據(jù)表配置指示了不對(duì)所述目標(biāo)數(shù)據(jù)表執(zhí)行入湖操作的情況下，復(fù)制所述目標(biāo)數(shù)據(jù)表得到所述目標(biāo)數(shù)據(jù)表的備份數(shù)據(jù)表；將所述目標(biāo)數(shù)據(jù)表和所述備份數(shù)據(jù)表傳輸至所述目標(biāo)地址。
13、可選的，在所述將所述目標(biāo)數(shù)據(jù)表和所述備份數(shù)據(jù)表傳輸至所述目標(biāo)地址之后，所述方法還包括：使用所述數(shù)據(jù)湖中的所述參考數(shù)據(jù)表檢測(cè)所述目標(biāo)數(shù)據(jù)表是否存在數(shù)據(jù)丟失；在檢測(cè)到所述目標(biāo)數(shù)據(jù)表存在數(shù)據(jù)丟失的情況下，使用所述備份數(shù)據(jù)表恢復(fù)所述目標(biāo)數(shù)據(jù)表中的丟失數(shù)據(jù)。
14、為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的另一方面，提供了一種數(shù)據(jù)表的傳輸裝置。該裝置包括：
15、提取模塊，用于在數(shù)據(jù)表的傳輸時(shí)刻到達(dá)的情況下，從數(shù)據(jù)庫中提取待傳輸?shù)某跏紨?shù)據(jù)表，其中，所述初始數(shù)據(jù)表中存儲(chǔ)了待傳輸?shù)臄?shù)據(jù)；
16、第一檢測(cè)模塊，用于檢測(cè)所述初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間的關(guān)系；
17、拆分模塊，用于在檢測(cè)到所述初始數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)量的變化率高于或者等于變化率閾值的情況下，將所述初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，其中，n為大于1的正整數(shù)，所述n個(gè)候選數(shù)據(jù)表中存儲(chǔ)了所述初始數(shù)據(jù)表中的全量數(shù)據(jù)；
18、操作模塊，用于對(duì)n個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到n個(gè)目標(biāo)數(shù)據(jù)表；
19、傳輸模塊，用于將n個(gè)所述目標(biāo)數(shù)據(jù)表傳輸至待接收所述待傳輸?shù)臄?shù)據(jù)的目標(biāo)地址。
20、根據(jù)本申請(qǐng)的又一個(gè)實(shí)施例，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述任一項(xiàng)方法實(shí)施例中的步驟。
21、根據(jù)本申請(qǐng)的又一個(gè)實(shí)施例，還提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行上述任一項(xiàng)方法實(shí)施例中的步驟。
22、根據(jù)本申請(qǐng)的又一個(gè)實(shí)施例，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)方法實(shí)施例中的步驟。
23、通過本申請(qǐng)，采用以下步驟：在數(shù)據(jù)表的傳輸時(shí)刻到達(dá)的情況下，從數(shù)據(jù)庫中提取待傳輸?shù)某跏紨?shù)據(jù)表，其中，初始數(shù)據(jù)表中存儲(chǔ)了待傳輸?shù)臄?shù)據(jù)；檢測(cè)初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間的關(guān)系；在檢測(cè)到初始數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)量的變化率高于或者等于變化率閾值的情況下，將初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，其中，n為大于1的正整數(shù)，n個(gè)候選數(shù)據(jù)表中存儲(chǔ)了初始數(shù)據(jù)表中的全量數(shù)據(jù)；對(duì)n個(gè)候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到n個(gè)目標(biāo)數(shù)據(jù)表；將n個(gè)目標(biāo)數(shù)據(jù)表傳輸至待接收待傳輸?shù)臄?shù)據(jù)的目標(biāo)地址。通過將存儲(chǔ)的數(shù)據(jù)量的變化率高于或者等于變化率閾值的初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，將傳輸單個(gè)過大的初始數(shù)據(jù)表轉(zhuǎn)換為并行傳輸數(shù)據(jù)量較少的n個(gè)候選數(shù)據(jù)表，降低了發(fā)生數(shù)據(jù)丟失的概率，解決了相關(guān)技術(shù)中數(shù)據(jù)表傳輸?shù)姆€(wěn)定性較低的問題。進(jìn)而達(dá)到了提高數(shù)據(jù)表傳輸?shù)姆€(wěn)定性的效果。<本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)表的傳輸方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測(cè)所述初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間的關(guān)系，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述初始數(shù)據(jù)表拆分為N個(gè)候選數(shù)據(jù)表，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)N個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到N個(gè)目標(biāo)數(shù)據(jù)表，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述按照所述數(shù)據(jù)類型對(duì)應(yīng)的標(biāo)準(zhǔn)化策略對(duì)所述數(shù)據(jù)類型為目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將N個(gè)所述目標(biāo)數(shù)據(jù)表傳輸至待接收所述待傳輸?shù)臄?shù)據(jù)的目標(biāo)地址，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述將所述目標(biāo)數(shù)據(jù)表和所述備份數(shù)據(jù)表傳輸至所述目標(biāo)地址之后，所述方法還包括：
8.一種數(shù)據(jù)表的傳輸裝置，其特征在于，包括：
9.一種處理器，其特征在于，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時(shí)執(zhí)行權(quán)利要求1至7中任意一項(xiàng)
10.一種電子設(shè)備，其特征在于，包括一個(gè)或多個(gè)處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)權(quán)利要求1至中任意一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)表的傳輸方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測(cè)所述初始數(shù)據(jù)表的中所存儲(chǔ)的數(shù)據(jù)量的變化率與變化率閾值之間的關(guān)系，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述初始數(shù)據(jù)表拆分為n個(gè)候選數(shù)據(jù)表，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)n個(gè)所述候選數(shù)據(jù)表中存儲(chǔ)的數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化操作得到n個(gè)目標(biāo)數(shù)據(jù)表，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述按照所述數(shù)據(jù)類型對(duì)應(yīng)的標(biāo)準(zhǔn)化策略對(duì)所述數(shù)據(jù)類型為目標(biāo)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：譚綺，王梓銘，劉遠(yuǎn)，袁旻忞，
申請(qǐng)(專利權(quán))人：中國(guó)工商銀行股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。