【技術實現步驟摘要】
本申請涉及云計算，尤其涉及數據遷移方法及系統。
技術介紹
1、熱遷移，是指在不中斷當前云服務的情況下，將云服務上正在運行的應用程序或所需的數據從一個節點遷移到另一個節點的過程，該節點可為存儲節點，如存儲集群。通常由部署有云服務的計算機系統中的一個工作節點，將上述應用程序或數據從一個存儲集群遷移到另一個存儲集群。然而，在應用程序或數據的數據量較大，即工作節點需遷移的數據較多時，由于單個工作節點的帶寬、負載等因素影響，導致遷移速度較慢，進而遷移效率較低。
技術實現思路
1、本申請提供了數據遷移方法及系統，以解決云服務熱遷移過程中，在云服務對應的應用程序或數據的數據量較大時，由于單個工作節點的帶寬、負載等因素影響，導致數據遷移速度較慢，遷移效率較低的問題。
2、第一方面，本申請提供了一種數據遷移方法。該數據遷移方法可應用于計算機系統或應用于該計算機系統實現數據遷移方法的計算設備，如，該計算機系統為數據遷移系統，該數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群，如，計算設備為服務器等。該數據遷移方法包括：控制節點獲取源存儲集群中的待遷移數據的數據量，并根據該待遷移數據的數據量，從多個工作節點中確定n個第一工作節點，進而向該n個第一工作節點發送數據遷移指令。n個第一工作節點根據數據遷移指令，將待遷移數據從源存儲集群遷移至目標存儲集群。其中，前述的第一工作節點為達到預設條件的工作節點，n為大于1的正整數。
3、在本申請中，通過n個第一工作節點將待遷移數據從源
4、在一種可能的實現方式中，上述數據遷移方法，還包括：控制節點獲取用戶的數據遷移請求，數據遷移請求包括源存儲集群的標識和/或目標存儲集群的標識。
5、在一種可能的示例中，控制節點獲取用戶在用戶顯示界面上對控制部件的觸發操作，響應于該觸發操作，獲取用戶的數據遷移請求。
6、例如，上述標識可為存儲集群的名稱或身份標識號(identity?document，id)等。
7、在本申請中，控制節點接收到用戶明確的源存儲集群的標識和/或目標存儲集群的標識，進而控制節點根據標識可指示工作節點將源存儲集群中的數據遷移至目標存儲集群中，以實現對源存儲集群中的數據進行遷移。
8、在一種可能的情形中，上述數據遷移請求中還包括待遷移數據的標識，該待遷移數據的標識可為數據的名稱、待遷移數據所處扇區、存儲塊或云硬盤的id等。
9、在一種可能的示例中，目標存儲集群的存儲性能優于源存儲集群的存儲性能。該存儲性能可包括存儲容量、帶寬或延遲等。
10、在一種可能的實現方式中，控制節點從多個工作節點確定n個第一工作節點，包括：控制節點計算單位時間內多個工作節點的可遷移數據量，并根據多個工作節點的可遷移數據量，對多個工作節點進行排序，進而由控制節點按照排序結果，選取前n個工作節點作為第一工作節點。
11、示例性的，上述排序結果為控制節點根據工作節點在單位時間內的可遷移數據量按降序進行排列得到。
12、在本申請中，采用n個第一工作節點共同對待遷移數據進行遷移，提高了遷移待遷移數據的效率。以及，由于第一工作節點為單位時間內的可遷移數據量排序在前的n個工作節點，因此，利用該n個第一工作節點對待遷移數據進行遷移，可進一步提高遷移待遷移數據的效率。
13、在一種可能的情形中，上述單位時間內的可遷移數據量可為單位時間內的最大可遷移數據量。
14、在一種可能的示例中，控制節點計算單位時間內多個工作節點的可遷移數據量，包括：控制節點按照多個工作節點的帶寬、歷史遷移信息及遷移任務信息，計算單位時間內多個工作節點的可遷移數據量，其中，歷史遷移信息用于指示多個工作節點執行歷史遷移任務的失敗或成功信息，遷移任務信息用于指示待遷移數據的遷移起始時間。
15、例如，控制節點可采用加權求和的方式或者采用機器學習模型計算工作節點在單位時間內的可遷移數據。
16、在本申請中，控制節點從歷史維度(歷史遷移信息和網絡帶寬)和當前維度(遷移任務信息)計算工作節點在單位時間內的可遷移數據量，有利于更準確的確定工作節點在單位時間內的可遷移數據量，進而控制節點選取利用上述計算方式得到在單位時間內的可遷移數據量排序在前的n個第一工作節點進行數據遷移，可提高遷移待遷移數據的效率以及成功率。
17、在一種可能的實現方式中，控制節點獲取源存儲集群中的待遷移數據的數據量，包括：控制節點獲取源存儲集群的位圖，進而根據位圖，將源存儲集群中的有效數據作為待遷移數據，位圖用于指示源存儲集群中存儲的數據是否為有效數據。
18、在本申請中，僅對用戶指示的源存儲集群中的有效數據，即待遷移數據進行遷移，減少了遷移的數據量，從而可加快遷移速度，提高了數據遷移的效率。且避免了遷移無效數據至目標存儲集群，浪費目標存儲集群的存儲資源的問題，提高了目標存儲集群中存儲空間的利用率。
19、在一種可能的實現方式中，在數據遷移期間，若用戶訪問待遷移數據中的目標數據，用戶的輸入/輸出負載掛載在目標存儲集群，上述數據遷移方法還包括：第二工作節點獲取目標存儲集群的快照位圖，并根據快照位圖判斷目標數據是否存儲在目標存儲集群中。若目標數據存儲在目標存儲集群中，第二工作節點從目標存儲集群中讀取目標數據；若目標數據存儲在源存儲集群中，第二工作節點從源存儲集群中讀取目標數據。
20、在本申請中，若在數據遷移期間，用戶需訪問待遷移數據中的部分數據(目標數據)，控制節點可通過查詢快照位圖的方式，確定目標數據存儲在源存儲集群或目標存儲集群中，進而在對應的存儲空間中訪問目標數據。避免了由于不清楚目標數據的存儲位置，導致實際訪問的數據與目標數據不一致，而出現數據紊亂的問題，提高了在數據遷移期間訪問目標數據的準確度以及不影響業務的正常運行，即實現了熱遷移。
21、在一種可能的情形中，若目標數據存儲在源存儲集群中，第二工作節點從源存儲集群中讀取目標數據后，將目標數據遷移至目標存儲集群中。
22、在本申請中，第二工作節點根據用戶的訪問需求(用戶訪問待遷移數據中的目標數據)，將存儲在源存儲集群中的目標數據遷移至目標存儲集群，實現根據用戶的需求進行遷移。
23、第二方面，本申請提供了一種數據遷移系統。該數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群中，該數據遷移系統包括控制節點和多個工作節點，如，該數據遷移系統為計算機集群。該數據遷移系統包括：控制節點，用于獲取源存儲集群中的待遷移數據的數據量，并根據待遷移數據的數據量，從多個工作節點確定n個第一工作節點。其中，第一工作節點為達到預設條件的工作節點，n是大于1的正整數。進而，控制節點向n個第一工作節點發送數據遷移指令。該n個第一工作節點，用于根據數據遷移指令，將待本文檔來自技高網...
【技術保護點】
1.一種數據遷移方法，其特征在于，所述方法應用于數據遷移系統，所述數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群中，所述數據遷移系統包括控制節點和多個工作節點，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1或2所述的方法，其特征在于，所述控制節點從所述多個工作節點確定N個第一工作節點，包括：
4.根據權利要求3所述的方法，其特征在于，所述控制節點計算單位時間內所述多個工作節點的可遷移數據量，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述控制節點獲取所述源存儲集群中的待遷移數據的數據量，包括：
6.根據權利要求1至5任一項所述的方法，其特征在于，在數據遷移期間，若用戶訪問所述待遷移數據中的目標數據，所述用戶的輸入/輸出負載掛載在所述目標存儲集群，所述方法還包括：
7.一種數據遷移系統，其特征在于，所述數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群中，所述數據遷移系統包括控制節點和多個工作節點，所述數據遷移系統包括：
...【技術特征摘要】
1.一種數據遷移方法，其特征在于，所述方法應用于數據遷移系統，所述數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群中，所述數據遷移系統包括控制節點和多個工作節點，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1或2所述的方法，其特征在于，所述控制節點從所述多個工作節點確定n個第一工作節點，包括：
4.根據權利要求3所述的方法，其特征在于，所述控制節點計算單位時間內所述多個工作節點的可遷移數據量，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述控制節點獲取所述源存儲集群中的待遷移數據的數據量，包括：
6.根據權利要求1至5任一項所述的方法，其特征在于，在數據遷移期間，若用戶訪問所述待遷移數據中的目標數據，所述用戶的輸入/輸出負載掛載在所述目標存儲集群，所述方法還包括：
7.一種數據遷移系統，其特征在于，所述數據遷移系統用于將源存儲集群中存儲的數據遷移至目標存儲集群中，所述數據遷移系統包括控制節點和多個工作節點，所述數據遷移系統包括：
8.根據...
【專利技術屬性】
技術研發人員：李磊，趙克威，魯萬城，舒大偉，
申請(專利權)人：華為云計算技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。