System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及云計算,具體而言,涉及一種數據遷移方法及裝置、存儲介質、計算機程序產品。
技術介紹
1、隨著云計算技術的不斷發展,數據遷移在云環境中變得愈發重要。尤其是對于大規模的數據集,有效、高效的遷移是云服務的關鍵要素之一。傳統的數據遷移方法常常忽視了應用之間的依賴關系,這導致遷移過程中可能會出現數據一致性、數據完整性等問題,進而影響應用的正常工作和數據的使用效率。
2、針對上述的問題,目前尚未提出有效的解決方案。
技術實現思路
1、本申請實施例提供了一種數據遷移方法及裝置、存儲介質、計算機程序產品,以至少解決相關技術在對大規模的數據集進行降維遷移時,并未考慮數據所屬業務模塊之間的依賴關系,導致降維后的數據存在數據缺失、不一致的技術問題。
2、根據本申請實施例的一個方面,提供了一種數據遷移方法,包括:獲取待遷移的業務系統內多個業務模塊的初始數據集,其中,多個業務模塊是按照業務系統所提供的多個功能進行拆分所得的功能模塊;依據各個業務模塊的初始數據集確定各個業務模塊之間的相似度,并根據相似度對多個業務模塊進行聚類,得到多個聚類簇;對于每個聚類簇,對聚類簇內各個業務模塊的初始數據集進行降維處理,得到各個業務模塊的目標數據集,并對聚類簇內各個業務模塊的目標數據集進行遷移。
3、可選地,依據各個業務模塊的初始數據集確定各個業務模塊之間的相似度,包括:對于多個業務模塊內任意兩個目標業務模塊,利用預設的距離算法確定兩個目標業務模塊的初始數據集的距離,并判斷距離與
4、可選地,根據相似度對多個業務模塊進行聚類,得到多個聚類簇,包括:判斷相似度與預設的相似度閾值的大小關系;在相似度不低于預設的相似度閾值的情況下,確定兩個目標業務模塊屬于相同類型;將屬于相同類型的多個業務模塊進行聚合,以得到多個聚類簇。
5、可選地,在得到多個聚類簇之后,該方法還包括:對于每個聚類簇,確定聚類簇在預設的評估維度下的值,其中,評估維度包括以下至少之一:聚類簇內的業務模塊的數量、聚類簇內的業務模塊在業務系統內的重要度、數據量;將預設的評估維度下的值和對應的維度權重進行加權求和,得到聚類簇的遷移優先級。
6、可選地,對聚類簇內各個業務模塊的初始數據集進行降維處理,得到各個業務模塊的目標數據集,包括:以聚類簇內的各個業務模塊作為行、以預設維度作為列構建數據矩陣,其中,預設維度包括以下至少之一:鏈路異常頻率、帶寬峰值占比、業務周期時長、業務周期內的交互數據量、傳輸時延,且數據矩陣內每個矩陣元素表示對應業務模塊在對應預設維度下的初始數據集;確定數據矩陣與所對應的轉置矩陣的矩陣乘積結果,并將矩陣乘積結果除以聚類簇內業務模塊的數量減去1所得的差值,得到協方差矩陣;對協方差矩陣進行特征分解,得到多個特征值和對應的多個特征向量;依據特征值從多個特征向量內選擇預設數量的特征向量作為列向量,構建投影矩陣;使用投影矩陣對數據矩陣進行降維處理,得到聚類簇內各個業務模塊的目標數據集。
7、可選地,該方法還包括:確定聚類簇內各個業務系統的目標數據集在遷移過程中的遷移時長和網絡資源使用率;判斷遷移時長與預設的第一范圍閾值、網絡資源使用率與預設的第二范圍閾值之間的大小關系;在遷移時長處于第一范圍閾值,且網絡資源使用率處于第二范圍閾值的情況下,確定聚類簇內各個業務模塊的目標數據集的遷移過程處于正常狀態;在遷移時長不處于第一范圍閾值,和/或網絡資源使用率不處于第二范圍閾值的情況下,確定聚類簇內各個業務模塊的目標數據集的遷移過程處于異常狀態,并對聚類簇內各個業務模塊的目標數據集的遷移過程執行相應的處理操作,其中,處理操作包括以下至少之一:增加網絡資源、調整遷移優先級。
8、可選地,確定聚類簇內各個業務系統的目標數據集在遷移過程中的遷移時長和資源占用率,包括:確定聚類簇內各個業務系統的目標數據集的數據量以及網絡資源信息,其中,網絡資源信息包括以下至少之一:網絡帶寬占用率、內存占用率、帶寬傳輸速率、快照制作速率;依據數據傳輸速率和數據量確定數據傳輸時長,并依據快照制作速率和數據量確定鏡像制作時長,由數據傳輸時長和鏡像制作時長確定遷移時長。
9、根據本申請實施例的另一方面,還提供了一種數據遷移裝置,包括:獲取模塊,用于獲取待遷移的業務系統內多個業務模塊的初始數據集,其中,多個業務模塊是按照業務系統所提供的多個功能進行拆分所得的功能模塊;確定模塊,用于依據各個業務模塊的初始數據集確定各個業務模塊之間的相似度,并根據相似度對多個業務模塊進行聚類,得到多個聚類簇;遷移模塊,用于對于每個聚類簇,對聚類簇內各個業務模塊的初始數據集進行降維處理,得到各個業務模塊的目標數據集,并對聚類簇內各個業務模塊的目標數據集進行遷移。
10、根據本申請實施例的另一方面,還提供了一種非易失性存儲介質,該非易失性存儲介質包括存儲的計算機程序,其中,非易失性存儲介質所在設備通過運行該計算機程序執行上述的數據遷移方法。
11、根據本申請實施例的另一方面,還提供了一種計算機程序產品,該計算機程序產品包括存儲的計算機程序,其中,計算機程序被處理器執行時實現上述的數據遷移方法。
12、在本申請實施例中,通過根據業務系統內各個業務模塊的初始數據集確定各個業務模塊之間的相似度,以將相同類型的業務模塊進行聚類,得到多個聚類簇,以識別和分離出具有相似特性和依賴關系的業務模塊,為后續的降維遷移提供了基礎;然后,對每個聚類簇內各個業務模塊的初始數據集進行降維處理,有效降低了數據維度。降維后的數據集被稱為目標數據集,它們在保持信息完整性的前提下,更加緊湊和高效,減少了數據存儲和傳輸的開銷;最后,對聚類簇內各個業務模塊的目標數據集進行遷移,大大提高了遷移效率。實現了對云環境中業務系統內多個業務模塊的高效、安全遷移的技術效果,解決了相關技術在對大規模的數據集進行降維遷移時,并未考慮數據所屬業務模塊之間的依賴關系,導致降維后的數據存在數據缺失、不一致的技術問題。
本文檔來自技高網...【技術保護點】
1.一種數據遷移方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,依據各個所述業務模塊的初始數據集確定各個所述業務模塊之間的相似度,包括:
3.根據權利要求2所述的方法,其特征在于,根據所述相似度對所述多個業務模塊進行聚類,得到多個聚類簇,包括:
4.根據權利要求1所述的方法,其特征在于,在得到多個聚類簇之后,所述方法還包括:
5.根據權利要求1所述的方法,其特征在于,對所述聚類簇內各個業務模塊的初始數據集進行降維處理,得到各個所述業務模塊的目標數據集,包括:
6.根據權利要求1所述的方法,其特征在于,所述方法還包括:
7.根據權利要求6所述的方法,其特征在于,確定所述聚類簇內各個業務系統的目標數據集在遷移過程中的遷移時長和資源占用率,包括:
8.一種數據遷移裝置,其特征在于,包括:
9.一種非易失性存儲介質,其特征在于,所述非易失性存儲介質中存儲有計算機程序,其中,所述非易失性存儲介質所在設備通過運行所述計算機程序執行權利要求1至7中任意一項所述的數據遷移方法。
...【技術特征摘要】
1.一種數據遷移方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,依據各個所述業務模塊的初始數據集確定各個所述業務模塊之間的相似度,包括:
3.根據權利要求2所述的方法,其特征在于,根據所述相似度對所述多個業務模塊進行聚類,得到多個聚類簇,包括:
4.根據權利要求1所述的方法,其特征在于,在得到多個聚類簇之后,所述方法還包括:
5.根據權利要求1所述的方法,其特征在于,對所述聚類簇內各個業務模塊的初始數據集進行降維處理,得到各個所述業務模塊的目標數據集,包括:
6.根據權利要求1所述的方法...
【專利技術屬性】
技術研發人員:杜年豐,李明,王飛,
申請(專利權)人:中國電信股份有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。