進行歷史數據遷移的方法及系統技術方案

本發明專利技術公開了進行歷史數據遷移的方法及系統，其中，該方法包括：獲取生產端實時生成的觸發消息；對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。本發明專利技術方案能夠減小遷移壓力，提高遷移效率。

【技術實現步驟摘要】

本專利技術涉及數據處理技術，尤其涉及進行歷史數據遷移的方法及系統。
技術介紹
目前，各業務進行數據處理的過程中，會生成大量的業務數據。例如，在進行網上數據信息交互的過程中，需對涉及的業務交互數據進行存儲。為了解決數據庫因數據量過大而導致讀寫效率下降的問題，通常會創建一個生產庫和歷史庫，生產庫對實時產生的業務數據進行存儲。然后定期把生產庫的歷史數據遷移到歷史庫上，以此來提高生產庫的性能；具體地，采用定時器進行計時，到達計時時刻，進行批量操作，將生產庫中的數據批量遷移到歷史庫；如此，周期性地執行。現有的該遷移方案存在以下缺陷：周期性地執行，時間集中，對生產庫和歷史庫造成很大的遷移壓力；并且，隨著業務的不斷增長，周期性的遷移方式已不能滿足對遷移效率的要求。
技術實現思路
本專利技術提供了一種進行歷史數據遷移的方法，該方法能夠減小遷移壓力，提高遷移效率。本專利技術提供了一種進行歷史數據遷移的系統，該系統能夠減小遷移壓力，提高遷移效率。一種進行歷史數據遷移的方法，該方法包括：獲取生產端實時生成的觸發消息；對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。優選地，所述觸發消息的生成包括：生產端在業務執行過程中，如果獲知業務數據滿足過期條件，則生成觸發消息。優選地，該方法還包括：接收訂閱請求，所述訂閱請求包含業務類型；生成關于業務類型的訂閱信息。優選地，所述對觸發消息進行解析后，該方法還包括：查詢訂閱信息中是否有觸發消息包含的業務類型，如果是，則執行所述獲取與業務類型對應的遷移邏輯的步驟；否則，結束流程。優選地，該方法還包括：對生產庫到歷史庫的數據遷移進行監控，如果遷移失敗，則再次執行所述采用獲取的遷移邏輯將業務數據遷移到歷史庫的步驟。一種進行歷史數據遷移的系統，該系統包括消息控制中心、生產庫和歷史庫，所述消息控制中心包括消息管理器和消費端；所述消息管理器，獲取生產端實時生成的觸發消息，發送給所述消費端；所述消費端，接收來自所述消息管理器的觸發消息，對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將查詢出的業務數據遷移到歷史庫；所述生產庫，存儲了待遷移的業務數據；所述歷史庫，用于存儲進行遷移操作的數據。優選地，該系統還包括生產端，在業務執行過程中，如果獲知業務數據滿足過期條件，則生成觸發消息，將觸發消息發送給所述消息管理器。優選地，所述消費端，還向所述消息管理器發送訂閱請求，所述訂閱請求包含業務類型；所述消息管理器，接收訂閱請求，生成關于業務類型的訂閱信息。優選地，所述消息管理器，在向所述消費端發送觸發消息之前，還查詢訂閱信息中是否有觸發消息包含的業務類型，如果是，則將觸發消息發送給所述消費端；否則，不發送。優選地，所述消費端，對生產庫到歷史庫的數據遷移進行監控，如果遷移失敗，則向所述消息管理器返回失敗響應；所述消息管理器，接收失敗響應后，再次向所述消費端發送觸發消息。優選地，所述生產端為生產集群，所述消息端為消息集群。從上述方案可以看出，本專利技術中，獲取生產端實時生成的觸發消息；對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。本專利技術采用了實時遷移的方式，并給出了結合業務類型和業務標識進行遷移的具體方案，從而，減小了對生產庫和歷史庫造成很大的遷移壓力，也提高了遷移效率，滿足了需求。附圖說明圖1為本專利技術進行歷史數據遷移的方法示意性流程圖；圖2為本專利技術進行歷史數據遷移的方法流程圖實例；圖3為本專利技術進行歷史數據遷移的系統結構示意圖。具體實施方式為使本專利技術的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本專利技術進一步詳細說明。現有采用的定時周期性對歷史數據進行批量遷移的方案，存在時間集中，遷移壓力大，效率低的缺陷。為了解決該技術問題，本專利技術提供了實時遷移的方式，并給出了結合業務類型和業務標識進行遷移的具體方案。參見圖1，為本專利技術進行歷史數據遷移的方法示意性流程圖，其包括以下步驟：步驟101，獲取生產端實時生成的觸發消息。在進行網上數據信息交互的過程中，需對涉及的業務交互數據進行存儲，生產端將相應的業務數據存儲到生產庫。本專利技術中，為了進行實時遷移，需生產端在進行業務數據的存儲中，實時生成觸發消息，上報給消息控制中心，該觸發消息包含業務類型和業務標識，業務類型表示了業務數據的數據類型，業務標識可具體為業務數據的編號，根據業務標識可查詢到相應的業務數據。進一步地，若同一時刻接收的觸發消息較多，可將觸發消息存入消息隊列，同時從消息隊列中一一提取觸發消息進行執行。步驟102，對觸發消息進行解析，得到業務類型和業務標識。步驟103，獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。不同業務類型的業務數據，有各自不同的存儲邏輯，相應地，采用相對應的遷移邏輯對相應的業務數據進行遷移。本專利技術中，獲取生產端實時生成的觸發消息，而后，對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。本專利技術采用了實時遷移的方式，并給出了結合業務類型和業務標識進行遷移的具體方案，從而，減小了對生產庫和歷史庫造成很大的遷移壓力，也提高了遷移效率，滿足了需求。具體實現中，生產端可在滿足觸發條件時上報觸發消息，該觸發條件可根據需要設置；例如為存儲完成業務數據時；再如，業務數據滿足過期條件時上報觸發消息，該過期條件可具體：生產端在業務執行過程中，獲知某條任務單處理完畢，便可進行觸發消息的上報。進一步地，本專利技術中，還可對遷移的業務數據進行限制，具體地，先記錄需限制的業務信息，包括：接收訂閱請求，所述訂閱請求包含業務類型；生成關于業務類型的訂閱信息。相應地，圖1的流程中，步驟102所述對觸發消息進行解析后，該方法還包括：查詢訂閱信息中是否有觸發消息包含的業務類型，如果是，則執行所述獲取與業務類型對應的遷移邏輯的步驟；否則，結束流程。現有進行歷史數據遷移的方案中，假設定時遷移的時間為每天凌晨2點至3點，當業務數據急劇增長時，最終導致每天的歷史數據遷移不完，造成某些數據遷移失敗；針對這種情形，現有方案不能自動重試，需要人工干預。并且，當業務數據增長，造成遷移壓力大時，導致數據遷移故障，造成遷移失敗；對于此情形，現有方案也需要人工干預，進行重新遷移。鑒于此，本專利技術提供了自動進行重新遷移的方案，具體地：對生產庫到歷史庫的數據遷移進行監控，如果遷移失敗，則再次執行所述采用獲取的遷移邏輯將業務數據遷移到歷史庫的步驟。具體實現時，所述對生產庫到歷史庫的數據遷移進行監控可采用如下方式實現：針對每一觸發消息，都反饋遷移響應，如果關于生產庫和歷史庫的響應為遷移失敗，則啟動重新遷移，如果關于生產庫和歷史庫的響應為遷移成功，則結束流程。下面結合圖2的流程，對本專利技術進行歷史數據遷移的方法進行實例說明本文檔來自技高網...

【技術保護點】
一種進行歷史數據遷移的方法，其特征在于，該方法包括：獲取生產端實時生成的觸發消息；對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。

【技術特征摘要】
1.一種進行歷史數據遷移的方法，其特征在于，該方法包括：獲取生產端實時生成的觸發消息；對觸發消息進行解析，得到業務類型和業務標識；獲取與業務類型對應的遷移邏輯，從生產庫中查詢業務標識對應的業務數據，采用獲取的遷移邏輯將業務數據遷移到歷史庫。2.如權利要求1所述的方法，其特征在于，所述觸發消息的生成包括：生產端在業務執行過程中，如果獲知業務數據滿足過期條件，則生成觸發消息。3.如權利要求1所述的方法，其特征在于，該方法還包括：接收訂閱請求，所述訂閱請求包含業務類型；生成關于業務類型的訂閱信息。4.如權利要求3所述的方法，其特征在于，所述對觸發消息進行解析后，該方法還包括：查詢訂閱信息中是否有觸發消息包含的業務類型，如果是，則執行所述獲取與業務類型對應的遷移邏輯的步驟；否則，結束流程。5.如權利要求1至4中任一項所述的方法，其特征在于，該方法還包括：對生產庫到歷史庫的數據遷移進行監控，如果遷移失敗，則再次執行所述采用獲取的遷移邏輯將業務數據遷移到歷史庫的步驟。6.一種進行歷史數據遷移的系統，其特征在于，該系統包括消息控制中心、生產庫和歷史庫，所述消息控制中心包括消息管理器和消費端；所述消息管理器，獲取生產端實時生成的觸發消息，發送給所述消費端；所述消費端，接收來自...

【專利技術屬性】
技術研發人員：張子敬，
申請(專利權)人：北京京東尚科信息技術有限公司，北京京東世紀貿易有限公司，
類型：發明
國別省市：北京;11