【技術實現步驟摘要】
本申請涉及網絡存儲，尤其涉及一種基于集群的調度方法及系統。
技術介紹
1、信息時代最重要的技術方向主要都是以存儲、計算以及傳輸為基礎不斷地發展和進步的，隨著技術的普及，互聯網上產生了海量的數據文件。對于海量的數據文件，在存儲領域，當前基本都采用分布式存儲的方案才能滿足海量的存儲以及訪問，分布式存儲是一種將數據分散存儲在多個物理節點上的技術，旨在提高數據的可用性、可靠性和擴展性。
2、基于集群的分布式存儲系統通常由多臺服務器(節點)組成，這些節點在網絡中相互協作，以實現統一的數據存儲管理。現有的分布式存儲在多集群，或多區域部署時，每個集群的總容量大小，可用空間等狀態不盡相同，多數業務場景下，全部請求都本地處理，沒有集中的請求調度系統。業務請求到每個存儲集群如果不經多調度，都是請求到本地的區域或集群時，會出現空間資源浪費或這無空間可用的情況而其他集群的存儲空間則閑置，導致不能充分利用各個集群的存儲空間。
技術實現思路
1、本申請為解決現有技術中存在的技術問題，提出一種用基于集群的調度方法，包括步驟：
2、s1:分析來自同一個地址的批次業務請求以及其總數據寫入量；
3、s2:判斷批次業務請求所歸屬區域的集群是否符合寫入條件，如符合，則選擇所歸屬區域的集群作為該批次請求的寫入集群，若不符合，則執行步驟s3；
4、s3:根據該批此業務請求訪問的候選集群進行排序，將排序最優并符合寫入條件的候選集群作為寫入集群。
5、進一步地，還包括步
6、hx+rx*tx-d＞cx*(1-mx％)，并且負載低于lx％
7、其中：hx為剩余可用空間,rx為回收速度,tx為預計寫入時間，d：該批次總數據寫入量，cx為總容量，mx為調節參數，lx為負載，x為集群序號；
8、若所有集群都不滿足條件，則拒絕此批次請求或者請求緩存，等待預設的時間間隔之后再重新選擇集群寫入。
9、進一步地，批次業務請求為連續的n個業務請求。
10、進一步地，寫入條件：
11、hx-dx＞cx*(1-mx％)，并且負載低于lx％。
12、進一步地，步驟s3中的排序為根據該批此業務請求訪問候選集群的時延進行排序。
13、進一步地，步驟s3中的排序為根據該批此業務請求訪問候選集群的剩余可用空間進行排序。
14、本申請還提供一種基于集群的調度系統，用于實現所述的基于集群的調度方法，包括分析單元、判斷單元以及排序單元，其中：
15、分析單元用以分析來自同一個地址的批次業務請求以及其總數據寫入量；
16、判斷單元用以判斷批次業務請求所歸屬區域的集群是否符合寫入條件，如符合，則選擇所歸屬區域的集群作為該批次請求的寫入集群，若不符合，則依照執行單元進行處理；
17、排序單元用以根據該批此業務請求訪問的候選集群進行排序，將排序最優并符合寫入條件的候選集群作為寫入集群。
18、進一步地，還包括優化單元，用以若每個集群都不符合寫入條件，則對每個集群的剩余空間以及待回收空間的總量進行排序，并按照如下寫入條件作為寫入集群：
19、hx+rx*tx-d＞cx*(1-mx％)，并且負載低于lx％
20、其中：hx為剩余可用空間,rx為回收速度,tx為預計寫入時間，d：該批次總數據寫入量，cx為總容量，mx為調節參數，lx為負載，x為集群序號；
21、若所有集群都不滿足條件，則拒絕此批次請求或者請求緩存，等待預設的時間間隔之后再重新選擇集群寫入。
22、本專利技術還提供一種存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器運行時執行所述的基于集群的調度方法。
23、本專利技術還提供一種電子設備，包括：處理器、存儲介質和總線，所述存儲介質存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述存儲介質之間通過總線通信，所述處理器執行所述機器可讀指令，以執行所述的基于集群的調度方法。
24、本申請公開的方法和系統中所述模塊，在實際應用中，即可以在一臺目標服務器上部署多個模塊，也可以每一模塊獨立部署在不同的目標服務器上，特別的，根據需要，為了提供更強大的計算處理能力，也可以根據需要將模塊部署到集群目標服務器上。
25、由此可見，本申請當業務請求動態變化和本地集群容量不匹配時，綜合考慮業務請求的地址，各個集群當前的待回收空間，剩余可用空間，負載，和回收速度，將業務請求發送到最佳的集群，達到高效充分利用各個集群的資源，而且可以在不中斷業務的連續情況下及時調整集群資源。
26、為了對本申請有更清楚全面的了解，下面結合附圖，對本申請的具體實施方式進行詳細描述。
本文檔來自技高網...【技術保護點】
1.一種基于集群的調度方法，其特征是，包括步驟：
2.如權利要求1所述的基于集群的調度方法，其特征是，還包括步驟S4:若每個集群都不符合寫入條件，則對每個集群的剩余空間以及待回收空間的總量進行排序，并按照如下寫入公式條件作為寫入集群：
3.如權利要求1所述的基于集群的調度方法，其特征是，批次業務請求為連續的N個業務請求。
4.如權利要求1所述的基于集群的調度方法，其特征是，寫入條件：
5.如權利要求1所述的基于集群的調度方法，其特征是,步驟S3中的排序為根據該批此業務請求訪問候選集群的時延進行排序。
6.如權利要求1所述的基于集群的調度方法，其特征是,步驟S3中的排序為根據該批此業務請求訪問候選集群的剩余可用空間進行排序。
7.一種基于集群的調度系統，用于實現如權利要求1-6任一所述的基于集群的調度方法，其特征是，包括分析單元、判斷單元以及排序單元，其中：
8.如權利要求7所述的基于集群的調度系統，其特征是，還包括優化單元，用以若每個集群都不符合寫入條件，則對每個集群的剩余空間以及待回收空間的總量
9.一種存儲介質，其特征是，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器運行時執行如權利要求1至6任一所述的基于集群的調度方法。
10.一種電子設備，其特征是，包括：處理器、存儲介質和總線，所述存儲介質存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處
...【技術特征摘要】
1.一種基于集群的調度方法，其特征是，包括步驟：
2.如權利要求1所述的基于集群的調度方法，其特征是，還包括步驟s4:若每個集群都不符合寫入條件，則對每個集群的剩余空間以及待回收空間的總量進行排序，并按照如下寫入公式條件作為寫入集群：
3.如權利要求1所述的基于集群的調度方法，其特征是，批次業務請求為連續的n個業務請求。
4.如權利要求1所述的基于集群的調度方法，其特征是，寫入條件：
5.如權利要求1所述的基于集群的調度方法，其特征是,步驟s3中的排序為根據該批此業務請求訪問候選集群的時延進行排序。
6.如權利要求1所述的基于集群的調度方法，其特征是,步驟s3中的排序為根據該批此業務請求訪問候選集群的...
【專利技術屬性】
技術研發人員：謝勇，趙梅，時嘉贇，
申請(專利權)人：上海七牛信息技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。