一種數(shù)據(jù)下發(fā)的方法與裝置制造方法及圖紙

本發(fā)明專利技術(shù)提出了一種數(shù)據(jù)下發(fā)的方法，包括：查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表；對臨時數(shù)據(jù)表中的任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件；將多個數(shù)據(jù)文件上傳到文件存儲服務(wù)系統(tǒng)，獲取多個數(shù)據(jù)文件存儲路徑并將多個數(shù)據(jù)文件存儲路徑插入數(shù)據(jù)文件存儲路徑列表；以及將數(shù)據(jù)文件存儲路徑列表發(fā)送給下游系統(tǒng)。本發(fā)明專利技術(shù)還公開了一種數(shù)據(jù)下發(fā)的裝置。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及計算機(jī)
，特別地涉及一種數(shù)據(jù)下發(fā)的方法與裝置。
技術(shù)介紹
在計算機(jī)
中，互聯(lián)網(wǎng)數(shù)據(jù)是很有價值的信息，數(shù)據(jù)中心也成為一種較為重要的應(yīng)用系統(tǒng)，在搭建數(shù)據(jù)中心應(yīng)用系統(tǒng)時，需要考慮到數(shù)據(jù)中心的數(shù)據(jù)如何下發(fā)給下游系統(tǒng)，因為下游系統(tǒng)需要數(shù)據(jù)中心的數(shù)據(jù)作為初始化數(shù)據(jù)。因此，數(shù)據(jù)下發(fā)成為數(shù)據(jù)中心的一個很重要的功能。現(xiàn)有技術(shù)的做法為：當(dāng)下游系統(tǒng)需要數(shù)據(jù)中心的數(shù)據(jù)時，一般是下游系統(tǒng)調(diào)用數(shù)據(jù)中心的接口，來查詢需要的初始化數(shù)據(jù)，流程如圖1所示。下游系統(tǒng)在應(yīng)用部署時，需要初始化數(shù)據(jù)，例如倉庫系統(tǒng)中的商品信息、在庫序列號等數(shù)據(jù)，故下游系統(tǒng)需要開發(fā)相應(yīng)的數(shù)據(jù)拉取功能，即從數(shù)據(jù)中心的接口查詢數(shù)據(jù)，之后插入到下游系統(tǒng)本地數(shù)據(jù)庫，此過程是由線程執(zhí)行的一個循環(huán)過程，需要分頁查詢數(shù)據(jù)，并且需要記錄查詢數(shù)據(jù)的臨時值，以便下次查詢數(shù)據(jù)。基本上每個下游系統(tǒng)都需要定制開發(fā)數(shù)據(jù)拉取功能。針對現(xiàn)有技術(shù)存在以下缺點：工作量較大，各個下游系統(tǒng)需要開發(fā)出復(fù)雜的數(shù)據(jù)拉取功能來完成數(shù)據(jù)的初始化，這種方式極大的浪費了人力成本和時間成本。同時，由于下游系統(tǒng)需要獲取數(shù)據(jù)量較大，一般一次請求的數(shù)據(jù)都在幾十萬的記錄數(shù)，所以當(dāng)下游系統(tǒng)達(dá)到一定規(guī)模時，接口的調(diào)用量也會快速增加，數(shù)據(jù)中心的下發(fā)壓力也會隨之增加，服務(wù)的性能和穩(wěn)定性都很難得到保證，影響了系統(tǒng)的整體的使用效果。
技術(shù)實現(xiàn)思路
有鑒于此，本專利技術(shù)提供一種數(shù)據(jù)下發(fā)的方法，通過將下游系統(tǒng)數(shù)據(jù)拉取變?yōu)閿?shù)據(jù)中心數(shù)據(jù)下發(fā)的方式，采用數(shù)據(jù)下發(fā)任務(wù)來規(guī)范數(shù)據(jù)下發(fā)的執(zhí)行，這樣下游系統(tǒng)的數(shù)據(jù)初始化只需要向數(shù)據(jù)中心提出下發(fā)任務(wù)，之后數(shù)據(jù)中心會異步執(zhí)行數(shù)據(jù)下發(fā)，保證數(shù)據(jù)中心的穩(wěn)定性，同時，由于下發(fā)的數(shù)據(jù)量較大，本專利技術(shù)采用文件系統(tǒng)作為中間數(shù)據(jù)存儲系統(tǒng)，數(shù)據(jù)中心給下游系統(tǒng)傳遞的為數(shù)據(jù)文件存儲標(biāo)識，下游系統(tǒng)可以通過存儲標(biāo)識到文件存儲系統(tǒng)中獲取數(shù)據(jù)文件，解析后存儲到下游系統(tǒng)的本地數(shù)據(jù)庫中。本專利技術(shù)還公開了一種數(shù)據(jù)下發(fā)的裝置。為實現(xiàn)上述目的，根據(jù)本專利技術(shù)的一個方面，提供了一種數(shù)據(jù)下發(fā)的方法，包括：查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將所述任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表；對所述臨時數(shù)據(jù)表中的所述任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件；將所述多個數(shù)據(jù)文件上傳到文件存儲服務(wù)系統(tǒng)，獲取多個數(shù)據(jù)文件存儲路徑并將所述多個數(shù)據(jù)文件存儲路徑插入數(shù)據(jù)文件存儲路徑列表；以及將所述數(shù)據(jù)文件存儲路徑列表發(fā)送給下游系統(tǒng)。可選地，還包括：所述數(shù)據(jù)中心系統(tǒng)接收所述下游系統(tǒng)的任務(wù)提交，并且將接收的下發(fā)任務(wù)插入到所述數(shù)據(jù)中心系統(tǒng)的下發(fā)任務(wù)記錄表中。可選地，還包括：下載所述多個數(shù)據(jù)文件并解析所述多個數(shù)據(jù)文件的內(nèi)容；以及將解析后的所述多個數(shù)據(jù)文件的內(nèi)容插入到所述下游系統(tǒng)的本地數(shù)據(jù)庫中。可選地，還包括：手動輸入所述數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄的任務(wù)編號；以及查詢與所述任務(wù)編號對應(yīng)的所述數(shù)據(jù)文件存儲路徑，并將所述數(shù)據(jù)文件存儲路徑發(fā)送給所述下游系統(tǒng)。為實現(xiàn)上述目的，根據(jù)本專利技術(shù)的另一個方面，提供了一種數(shù)據(jù)下發(fā)的裝置，包括：下發(fā)任務(wù)模塊，用于查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將所述任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表；數(shù)據(jù)文件生成模塊，用于對所述臨時數(shù)據(jù)表中的所述任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件；存儲路徑獲取模塊，用于將所述多個數(shù)據(jù)文件上傳到文件存儲服務(wù)系統(tǒng)，獲取多個數(shù)據(jù)文件存儲路徑并將所述多個數(shù)據(jù)文件存儲路徑插入數(shù)據(jù)文件存儲路徑列表；以及發(fā)送模塊，用于將所述數(shù)據(jù)文件存儲路徑列表發(fā)送給下游系統(tǒng)。可選地，還包括：任務(wù)接收模塊，用于所述數(shù)據(jù)中心系統(tǒng)接收所述下游系統(tǒng)的任務(wù)提交，并且將接收的下發(fā)任務(wù)插入到所述數(shù)據(jù)中心系統(tǒng)的下發(fā)任務(wù)記錄表中。可選地，還包括：數(shù)據(jù)文件處理模塊，用于下載所述多個數(shù)據(jù)文件并解析所述多個數(shù)據(jù)文件的內(nèi)容；以及數(shù)據(jù)庫插入模塊，用于將解析后的所述多個數(shù)據(jù)文件的內(nèi)容插入到所述下游系統(tǒng)的本地數(shù)據(jù)庫中。可選地，還包括：任務(wù)編號輸入模塊，用于手動輸入所述數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄的任務(wù)編號；以及任務(wù)編號查詢模塊，用于查詢與所述任務(wù)編號對應(yīng)的所述數(shù)據(jù)文件存儲路徑，并將所述數(shù)據(jù)文件存儲路徑發(fā)送給所述下游系統(tǒng)。根據(jù)本專利技術(shù)的技術(shù)方案，本專利技術(shù)提出了一種數(shù)據(jù)下發(fā)的方法，通過將下游系統(tǒng)數(shù)據(jù)拉取變?yōu)閿?shù)據(jù)中心數(shù)據(jù)下發(fā)的方式，采用數(shù)據(jù)下發(fā)任務(wù)來規(guī)范數(shù)據(jù)下發(fā)的執(zhí)行，這樣下游系統(tǒng)的數(shù)據(jù)初始化只需要向數(shù)據(jù)中心提出下發(fā)任務(wù)，之后數(shù)據(jù)中心會異步執(zhí)行數(shù)據(jù)下發(fā)，保證數(shù)據(jù)中心的穩(wěn)定性，同時，由于下發(fā)的數(shù)據(jù)量較大，本專利技術(shù)采用文件系統(tǒng)作為中間數(shù)據(jù)存儲系統(tǒng)，數(shù)據(jù)中心給下游系統(tǒng)傳遞的為數(shù)據(jù)文件存儲標(biāo)識，下游系統(tǒng)可以通過存儲標(biāo)識到文件存儲系統(tǒng)中獲取數(shù)據(jù)文件，解析后存儲到下游系統(tǒng)的本地數(shù)據(jù)庫中。本專利技術(shù)還公開了一種數(shù)據(jù)下發(fā)的裝置。附圖說明附圖用于更好地理解本專利技術(shù)，不構(gòu)成對本專利技術(shù)的不當(dāng)限定。其中：圖1是現(xiàn)有技術(shù)中數(shù)據(jù)獲取的流程圖；圖2是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法的步驟流程圖；圖3是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法中的數(shù)據(jù)抽取調(diào)度流程圖；圖4是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法中下發(fā)任務(wù)接收流程圖；圖5是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法中的數(shù)據(jù)文件生成調(diào)度流程圖；圖6是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法中的文件路徑下發(fā)流程圖；圖7是根據(jù)本專利技術(shù)實施例的另一種數(shù)據(jù)下發(fā)的方法中的文件路徑下發(fā)流程圖；圖8是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法中的文件路徑手動下發(fā)流程圖；圖9是本專利技術(shù)的具體方案示例圖；以及圖10是根據(jù)本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的裝置的結(jié)構(gòu)示意圖。具體實施方式以下結(jié)合附圖對本專利技術(shù)的示范性實施方式做出說明，其中包括本專利技術(shù)實施方式的各種細(xì)節(jié)以助于理解，應(yīng)當(dāng)將它們認(rèn)為僅僅是示范性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，可以對這里描述的實施方式做出各種改變和修改，而不會背離本專利技術(shù)的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結(jié)構(gòu)的描述。如圖2所示，本專利技術(shù)實施例的一種數(shù)據(jù)下發(fā)的方法的步驟流程圖。具體步驟如下：步驟S1：查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表。具體地，數(shù)據(jù)抽取調(diào)度線程查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，獲取與待下發(fā)的任務(wù)記錄對應(yīng)的查詢參數(shù)，進(jìn)一步地，查詢并獲取相應(yīng)的任務(wù)數(shù)據(jù)，并將任務(wù)數(shù)據(jù)插入到臨時數(shù)據(jù)表中。如圖3所示。由此，通過采用下發(fā)任務(wù)的方式，實現(xiàn)了對數(shù)據(jù)中心系統(tǒng)下發(fā)數(shù)據(jù)的靈活性與高效性。進(jìn)一步地，本專利技術(shù)提出的一種數(shù)據(jù)下發(fā)的方法，在查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄之前還包括：數(shù)據(jù)中心系統(tǒng)接收下游系統(tǒng)的任務(wù)提交，并且將接收的下發(fā)任務(wù)插入到數(shù)據(jù)中心系統(tǒng)的下發(fā)任務(wù)記錄表中。具體地，根據(jù)任務(wù)提交中的請求參數(shù)到數(shù)據(jù)庫中執(zhí)行任務(wù)查詢，判斷是否存在任務(wù)，若存在，則下游系統(tǒng)任務(wù)接收成功；若不存在，則將任務(wù)插入數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)庫中。如圖4所示。其中，請求參數(shù)包括：查詢參數(shù)以及接口參數(shù)。本專利技術(shù)中的查詢參數(shù)具體可包括：數(shù)據(jù)查詢配送中心、倉庫、商品、序列號等信息，同時，還包括數(shù)據(jù)下發(fā)時的信息，例如，下發(fā)給下游系統(tǒng)標(biāo)識、配送中心和倉庫等標(biāo)識，進(jìn)一步地，還包括任務(wù)編號，且任務(wù)編號可以有效防止重復(fù)調(diào)用接口造成數(shù)據(jù)重復(fù)的問題，具有執(zhí)行任務(wù)的簡捷性與高效性。步驟S2：對臨時數(shù)據(jù)表中的任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種數(shù)據(jù)下發(fā)的方法，其特征在于，包括步驟：查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將所述任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表；對所述臨時數(shù)據(jù)表中的所述任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件；將所述多個數(shù)據(jù)文件上傳到文件存儲服務(wù)系統(tǒng)，獲取多個數(shù)據(jù)文件存儲路徑并將所述多個數(shù)據(jù)文件存儲路徑插入數(shù)據(jù)文件存儲路徑列表；以及將所述數(shù)據(jù)文件存儲路徑列表發(fā)送給下游系統(tǒng)。

【技術(shù)特征摘要】
1.一種數(shù)據(jù)下發(fā)的方法，其特征在于，包括步驟：查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，抽取任務(wù)數(shù)據(jù)并將所述任務(wù)數(shù)據(jù)插入臨時數(shù)據(jù)表；對所述臨時數(shù)據(jù)表中的所述任務(wù)數(shù)據(jù)進(jìn)行分割，生成多個數(shù)據(jù)文件；將所述多個數(shù)據(jù)文件上傳到文件存儲服務(wù)系統(tǒng)，獲取多個數(shù)據(jù)文件存儲路徑并將所述多個數(shù)據(jù)文件存儲路徑插入數(shù)據(jù)文件存儲路徑列表；以及將所述數(shù)據(jù)文件存儲路徑列表發(fā)送給下游系統(tǒng)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：所述數(shù)據(jù)中心系統(tǒng)接收所述下游系統(tǒng)的任務(wù)提交，并且將接收的下發(fā)任務(wù)插入到所述數(shù)據(jù)中心系統(tǒng)的下發(fā)任務(wù)記錄表中。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：下載所述多個數(shù)據(jù)文件并解析所述多個數(shù)據(jù)文件的內(nèi)容；以及將解析后的所述多個數(shù)據(jù)文件的內(nèi)容插入到所述下游系統(tǒng)的本地數(shù)據(jù)庫中。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：手動輸入所述數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄的任務(wù)編號；以及查詢與所述任務(wù)編號對應(yīng)的所述數(shù)據(jù)文件存儲路徑，并將所述數(shù)據(jù)文件存儲路徑發(fā)送給所述下游系統(tǒng)。5.一種數(shù)據(jù)下發(fā)的裝置，其特征在于，包括：下發(fā)任務(wù)模塊，用于查詢數(shù)據(jù)中心系統(tǒng)待下發(fā)的任務(wù)記錄，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：韓松，
申請(專利權(quán))人：北京京東尚科信息技術(shù)有限公司，北京京東世紀(jì)貿(mào)易有限公司，
類型：發(fā)明
國別省市：北京;11