基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法技術(shù)方案

基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法，該方法包括：提供大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心：以云應(yīng)用服務(wù)中心為單元對本中心的云應(yīng)用服務(wù)及數(shù)據(jù)的特征進行歸總管理，并根據(jù)所述云應(yīng)用特征行為管理單元中的特征信息，建立各個云應(yīng)用服務(wù)中心之間的關(guān)聯(lián)關(guān)系;接收云應(yīng)用服務(wù)中心及時更新的數(shù)據(jù)信息，根據(jù)云應(yīng)用業(yè)務(wù)管理單元中預(yù)先存儲的關(guān)聯(lián)關(guān)系，找到相關(guān)聯(lián)的其它云應(yīng)用服務(wù)中心信息，并通知更新數(shù)據(jù)的云應(yīng)用服務(wù)中心或相關(guān)聯(lián)的云應(yīng)用服務(wù)中心；接收到所述DBRange管理中心下發(fā)的相關(guān)聯(lián)的云應(yīng)用服務(wù)中心時，將更新數(shù)據(jù)的相關(guān)信息發(fā)送至對應(yīng)的云應(yīng)用服務(wù)中心，或者當(dāng)接收到所述DBRange管理中心下發(fā)的更新數(shù)據(jù)的云應(yīng)用服務(wù)中心時與該云應(yīng)用服務(wù)中心建立數(shù)據(jù)交互獲得當(dāng)前更新的數(shù)據(jù)。

【技術(shù)實現(xiàn)步驟摘要】
基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法
本專利技術(shù)涉及一種云計算領(lǐng)域，特別涉及一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法。
技術(shù)介紹
云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念。是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，工人同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置在量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成一個云存儲系統(tǒng)，所述云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。從云存儲的概念及目前應(yīng)用來看，其本質(zhì)是向用戶提供一種透明的網(wǎng)絡(luò)存儲服務(wù)。用戶服務(wù)只要連接進入互聯(lián)網(wǎng)，即可享受網(wǎng)絡(luò)存儲服務(wù)-隨時隨地的管理其所存儲的數(shù)據(jù)，就如同這些數(shù)據(jù)存儲在本地一樣；同時用戶可以方便將存儲在云存儲的數(shù)據(jù)與其他用戶共享。因此如何實現(xiàn)在任意網(wǎng)絡(luò)接入點方便快捷的讀取數(shù)據(jù)，同時保證數(shù)據(jù)的保密性、完整性成為云存儲技術(shù)的關(guān)鍵。在申請?zhí)枮?01110103409.2、專利技術(shù)名稱為云存儲分割與備份數(shù)據(jù)的方法及裝置的專利中，公開了云存儲分割與備份數(shù)據(jù)的方法及裝置，其設(shè)計思路是通過改變以往將數(shù)據(jù)完整的保存在同一物理存儲設(shè)備上的做法,而采用將數(shù)據(jù)分割為若干數(shù)據(jù)段保存每段的校驗信息,再將每一數(shù)據(jù)段再復(fù)制若干副本,將這些數(shù)據(jù)段副本分別保存在不同的物理存儲設(shè)備上。即對完整數(shù)據(jù)進行有限、可控的分割與備份,數(shù)據(jù)分割片為多少片段、每一片段有多少副本都依據(jù)對數(shù)據(jù)保密性、完整性、可用性的要求高、底來決定。合并完整數(shù)據(jù)時,將通過校驗的數(shù)據(jù)片段副本重新合并即可。這種設(shè)計的確能夠解決數(shù)據(jù)分割和存儲的一些問題。但是，大規(guī)模云計算應(yīng)用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)，已經(jīng)成為大規(guī)模云計算應(yīng)用平臺面臨且迫切需要解決的問題。另外，云服務(wù)提供多種不同的應(yīng)用，我們稱之為云應(yīng)用服務(wù)平臺或云計算服務(wù)平臺。比如，云郵箱服務(wù)平臺、移動辦公云服務(wù)平臺等。目前，各個云應(yīng)用服務(wù)平臺或云計算服務(wù)平臺之間通常不進行數(shù)據(jù)同步工作的。比如，移動辦公云服務(wù)平臺更改了某些數(shù)據(jù)（比如，聯(lián)系人的聯(lián)系電話發(fā)生變化），移動辦公云服務(wù)平臺不會主動將更改后的數(shù)據(jù)發(fā)送至云郵箱服務(wù)平臺，云郵箱服務(wù)平臺的聯(lián)系人聯(lián)系電話還是老的數(shù)據(jù)，存在同步性差的問題。在申請?zhí)枮?01210393339.3中公開一種云管理平臺和云平臺間數(shù)據(jù)同步的方法，其步驟：云管理平臺在啟動時向云平臺獲取全部數(shù)據(jù)，更新到云管理平臺的數(shù)據(jù)庫并存放在內(nèi)存中的比較數(shù)據(jù)庫；云管理平臺每隔時間Y向云平臺獲取數(shù)據(jù)存放到內(nèi)存中；當(dāng)云管理平臺第N次向云平臺獲取數(shù)據(jù)時，其中N*Y≥X，云管理平臺開始同步數(shù)據(jù)；當(dāng)內(nèi)存中的比較數(shù)據(jù)庫與當(dāng)前獲取的數(shù)實時據(jù)不一致時，將當(dāng)前獲取的實時數(shù)據(jù)放入更新隊列；云管理平臺將更新隊列中實時數(shù)據(jù)更新到云管理平臺的數(shù)據(jù)庫中，云管理平臺將次數(shù)N清零，并將當(dāng)前獲取的實時數(shù)據(jù)存放到內(nèi)存中。該法是一種高效可行的方法，能夠減少云管理平臺的工作量。這種云管理平臺來管理并同步云應(yīng)用服務(wù)平臺或云計算服務(wù)平臺的數(shù)據(jù)，雖然能達到比較好的同步效果。但是，以一個云郵箱服務(wù)平臺來說，有可能會涉及到郵箱數(shù)據(jù)、郵件數(shù)據(jù)是極度龐大的，如果僅同步某一部分?jǐn)?shù)據(jù)，則云管理平臺可以將該部分?jǐn)?shù)據(jù)存儲在本端的數(shù)據(jù)庫，然后更新相關(guān)其它云應(yīng)用服務(wù)平臺或云計算服務(wù)平臺，但是如果同步該些涉及到的所有或絕大部分?jǐn)?shù)據(jù)，對于云管理平臺來說，需要一個極其龐大的數(shù)據(jù)庫來存儲這些預(yù)同步的數(shù)據(jù)，特別大規(guī)模云計算應(yīng)用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)，已經(jīng)成為大規(guī)模云計算應(yīng)用平臺面臨且迫切需要解決的問題。
技術(shù)實現(xiàn)思路
本專利技術(shù)的第一目的在于提供基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，以解決如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)的技術(shù)問題。一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，包括：若干云客戶端、若干云應(yīng)用服務(wù)中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進一步包括云服務(wù)數(shù)據(jù)智能分割引擎和分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元，云服務(wù)數(shù)據(jù)智能分割引擎：接收和處理云應(yīng)用服務(wù)中心提交的各種云應(yīng)用特征數(shù)據(jù)信息或數(shù)據(jù)信息，基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中;分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元：連接云服務(wù)數(shù)據(jù)智能分割引擎，在記錄數(shù)據(jù)分割關(guān)系表中記錄云服務(wù)數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關(guān)系和變化情況；云應(yīng)用服務(wù)中心：與云客戶端連接，用于給云客戶端提供云服務(wù)，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應(yīng)用服務(wù)的特征數(shù)據(jù)提交到云服務(wù)數(shù)據(jù)智能分割引擎進行分割保存。較佳地，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括：云應(yīng)用特征行為管理單元:以云應(yīng)用服務(wù)中心為單元對本中心的云應(yīng)用服務(wù)及數(shù)據(jù)的特征進行歸總管理。較佳地，云服務(wù)數(shù)據(jù)智能分割引擎進一步包括：數(shù)據(jù)庫：用于存儲云應(yīng)用服務(wù)中心對應(yīng)各種數(shù)據(jù)表；分割判斷單元：用于連接云應(yīng)用特征行為管理單元，用于對用于基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，判斷所述特征是否滿足分割條件；分割單元：用于對滿足分割條件的大規(guī)模數(shù)據(jù)進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中。較佳地，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括：云應(yīng)用業(yè)務(wù)管理單元：與云應(yīng)用特征行為管理單元進行連接，根據(jù)所述云應(yīng)用特征行為管理單元中的特征信息，建立各個云應(yīng)用服務(wù)中心之間的關(guān)聯(lián)關(guān)系；實時數(shù)據(jù)處理單元：用于接收云應(yīng)用服務(wù)中心及時更新的數(shù)據(jù)信息，根據(jù)云應(yīng)用業(yè)務(wù)管理單元中預(yù)先存儲的關(guān)聯(lián)關(guān)系，找到相關(guān)聯(lián)的其它云應(yīng)用服務(wù)中心信息，并通知更新數(shù)據(jù)的云應(yīng)用服務(wù)中心或相關(guān)聯(lián)的云應(yīng)用服務(wù)中心。較佳地，云應(yīng)用服務(wù)中心還進一步包括：更新通訊單元：用于給云客戶端提供云服務(wù)，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應(yīng)用服務(wù)的特征數(shù)據(jù)提交到云服務(wù)數(shù)據(jù)智能分割引擎進行分割保存;數(shù)據(jù)交互單元：用于將更新數(shù)據(jù)信息發(fā)送至一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，當(dāng)接收到所述DBRange管理中心下發(fā)的相關(guān)聯(lián)的云應(yīng)用服務(wù)中心時，將更新數(shù)據(jù)的相關(guān)信息發(fā)送至對應(yīng)的云應(yīng)用服務(wù)中心，或者當(dāng)接收到所述DBRange管理中心下發(fā)的更新數(shù)據(jù)的云應(yīng)用服務(wù)中心時與該云應(yīng)用服務(wù)中心建立數(shù)據(jù)交互獲得當(dāng)前更新的數(shù)據(jù)。一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，包括以下步驟：大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務(wù)數(shù)據(jù)智能分割引擎接收和處理云應(yīng)用服務(wù)中心提交的各種云應(yīng)用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關(guān)系表找到對應(yīng)的數(shù)據(jù)表；基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的數(shù)本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，包括：若干云客戶端、若干云應(yīng)用服務(wù)中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進一步包括云服務(wù)數(shù)據(jù)智能分割引擎和分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元，云服務(wù)數(shù)據(jù)智能分割引擎：接收和處理云應(yīng)用服務(wù)中心提交的各種云應(yīng)用特征數(shù)據(jù)信息或數(shù)據(jù)信息，基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中;分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元：連接云服務(wù)數(shù)據(jù)智能分割引擎，在記錄數(shù)據(jù)分割關(guān)系表中記錄云服務(wù)數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關(guān)系和變化情況；云應(yīng)用服務(wù)中心：與云客戶端連接，用于給云客戶端提供云服務(wù)，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應(yīng)用服務(wù)的特征數(shù)據(jù)提交到云服務(wù)數(shù)據(jù)智能分割引擎進行分割保存。

【技術(shù)特征摘要】
1.一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，包括：若干云客戶端、若干云應(yīng)用服務(wù)中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進一步包括云服務(wù)數(shù)據(jù)智能分割引擎和分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元，云服務(wù)數(shù)據(jù)智能分割引擎：接收和處理云應(yīng)用服務(wù)中心提交的各種云應(yīng)用特征數(shù)據(jù)信息，基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中；分布式云服務(wù)數(shù)據(jù)庫關(guān)系管理單元：連接云服務(wù)數(shù)據(jù)智能分割引擎，在記錄數(shù)據(jù)分割關(guān)系表中記錄云服務(wù)數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關(guān)系和變化情況；云應(yīng)用服務(wù)中心：與云客戶端連接，用于給云客戶端提供云服務(wù)，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應(yīng)用服務(wù)的特征數(shù)據(jù)提交到云服務(wù)數(shù)據(jù)智能分割引擎進行分割保存。2.如權(quán)利要求1所述的基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括：云應(yīng)用特征行為管理單元:以云應(yīng)用服務(wù)中心為單元對本中心的云應(yīng)用服務(wù)及數(shù)據(jù)的特征進行歸總管理。3.如權(quán)利要求2所述的基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，云服務(wù)數(shù)據(jù)智能分割引擎進一步包括：數(shù)據(jù)庫：用于存儲云應(yīng)用服務(wù)中心對應(yīng)各種數(shù)據(jù)表；分割判斷單元：用于連接云應(yīng)用特征行為管理單元，用于對基于各種云應(yīng)用服務(wù)的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，判斷所述特征是否滿足分割條件；分割單元：用于對滿足分割條件的大規(guī)模數(shù)據(jù)進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中。4.如權(quán)利要求2所述的基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括：云應(yīng)用業(yè)務(wù)管理單元：與云應(yīng)用特征行為管理單元進行連接，根據(jù)所述云應(yīng)用特征行為管理單元中的特征信息，建立各個云應(yīng)用服務(wù)中心之間的關(guān)聯(lián)關(guān)系；實時數(shù)據(jù)處理單元：用于接收云應(yīng)用服務(wù)中心及時更新的數(shù)據(jù)信息，根據(jù)云應(yīng)用業(yè)務(wù)管理單元中預(yù)先存儲的關(guān)聯(lián)關(guān)系，找到相關(guān)聯(lián)的其它云應(yīng)用服務(wù)中心信息，并通知更新數(shù)據(jù)的云應(yīng)用服務(wù)中心或相關(guān)聯(lián)的云應(yīng)用服務(wù)中心。5.如權(quán)利要求1所述的基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，云應(yīng)用服務(wù)中心還進一步包括：更新通訊單元：用于給云客戶端提供...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：許曉魯，鐘冰，
申請(專利權(quán))人：上海和辰信息技術(shù)有限公司，
類型：發(fā)明
國別省市：