System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及計算機,特別是涉及一種分布式代碼存儲系統的資源平衡方法、裝置、電子設備。
技術介紹
1、相對于傳統的分布式存儲系統來講,分布式代碼存儲系統由于其代碼存儲以git倉庫為最小存儲單位,從而在數據處理過程中,導致cpu(中心處理器,central?processingunit)的資源占用率更高,系統的輸入輸出io接口的資源占用率更高,占用的帶寬資源更多,占用的存儲資源也更高。這是因為git倉庫的特性,在對git倉庫進行解壓縮、讀寫包、重新打包等操作都會涉及到大量的計算和帶寬,當用戶請求量大或者倉庫大,這種情況則尤為明顯。
2、隨著分布式代碼存儲系統的使用,存儲的代碼數據逐漸增長,分布式多副本代碼存儲架構多次進行水平擴容,同時也有用戶不可預測行為等原因,導致各個存儲服務器之間資源占用不平衡的現象愈發嚴重,包括請求數/計算、帶寬、存儲等資源。
3、需要說明的是,本部分旨在為權利要求書中陳述的本專利技術實施例提供背景或上下文。不應以此處的描述包括在本部分中就承認是現有技術。
技術實現思路
1、本專利技術實施例提供的一種分布式代碼存儲系統的資源平衡方法、裝置、電子設備,至少解決相關技術中的分布式代碼存儲系統隨著使用和擴容,各個存儲服務器之間的資源占用會越發不平衡,進而導致存儲系統的資源利用率低的問題。
2、本專利技術實施例提供了一種分布式代碼存儲系統的資源平衡方法,包括:在分布式代碼存儲系統初始化后,觸發調度平衡的情況下,獲取分布式代碼存儲系統的各個
3、本專利技術實施例的有益效果:通過分布式代碼存儲系統的各個存儲服務器的存儲資源信息和熱點資源信息分別進行存儲資源平衡和熱點資源平衡,實現分布式代碼存儲系統的存儲資源和熱點資源的動態平衡。進而保證整個分布式代碼存儲系統的資源利率用處于較高水平,避免不必要的資源占用。解決了相關技術中的分布式代碼存儲系統隨著使用和擴容,各個存儲服務器之間的資源占用會越發不平衡,進而導致存儲系統的資源利用率低的問題。
4、作為一種可選的實施例,所述存儲資源信息包括:占用存儲空間,總存儲空間;根據所述存儲資源信息,對存儲服務器進行存儲資源評估,包括:根據所述存儲資源信息對存儲服務器的存儲資源進行存儲資源評分,其中,所述存儲資源評分用于表征存儲資源的平衡狀況;在存儲服務器的存儲資源評分達到第一預設閾值的情況下,確定所述存儲服務器的存儲資源平衡;在存儲服務器的存儲資源評分未達到所述第一預設閾值的情況下,確定所述存儲服務器的存儲資源不平衡。
5、根據包括占用存儲空間和總存儲空間的存儲資源信息,來對存儲服務器進行存儲資源評分,在存儲資源評分達到第一預設閾值的情況下,確定存儲資源平衡,反之則確定存儲資源不平衡,需要進行存儲資源的平衡操作。
6、作為一種可選的實施例,根據所述存儲資源信息對存儲服務器的存儲資源進行存儲資源評分,包括:在各個存儲服務器的總存儲空間大小相同的情況下,根據待評分的存儲服務器的占用存儲空間,以及各個存儲服務器的總存儲空間,計算所述存儲服務器的存儲資源評分;在各個存儲服務器的總存儲空間大小不同的情況下,根據進行資源平衡的多個存儲服務器的總存儲空間的最大值和最小值,以及待評分的存儲服務器的占用存儲空間,計算所述存儲服務器的存儲資源評分。
7、針對各個存儲服務器的總存儲空間大小是否相同,采用不同的計算方式計算存儲資源評分,使得存儲資源評分更加準確。根據存儲服務器的占用空間以及各個存儲服務器的總空間,計算存儲資源評分,有效反映各個存儲服務器的總存儲空間一致情況下,存儲服務器的資源占用水平。根據存儲服務器的總存儲空間的最大值和最小值,以及存儲服務器的占用存儲空間,計算存儲資源評分,準確有效反映各個存儲服務器的總存儲空間不一致情況下,存儲服務器的資源占用水平。
8、作為一種可選的實施例,所述熱點資源信息包括下列熱點參數至少之一:請求量,接口耗時,接口流量,活躍數據量;根據所述熱點資源信息,對存儲服務器進行熱點資源評估,包括:根據所述熱點資源信息對存儲服務器的熱點資源進行熱點資源評分,其中,所述熱點資源評分用于表征熱點資源的平衡狀況;在存儲服務器的熱點資源評分達到第二預設閾值的情況下,確定所述存儲服務器的熱點資源平衡;在存儲服務器的熱點資源評分未達到第二預設閾值的情況下,確定所述存儲服務器的熱點資源不平衡。
9、根據包括請求量,接口耗時,接口流量,活躍數據量的熱點資源信息,來對存儲服務器進行熱點資源評分,在熱點資源評分達到第二預設閾值的情況下,確定熱點資源平衡,反之則確定熱點資源不平衡,需要進行熱點資源的平衡操作。
10、作為一種可選的實施例,根據所述熱點資源信息對存儲服務器的熱點資源進行熱點資源評分,包括:根據所述熱點資源信息中熱點參數的數值,以及各個存儲服務器的所述熱點參數的平均值,計算所述熱點參數的熱點子評分;根據各項熱點參數對應的權重,以及各項熱點參數的熱點子評分,計算存儲服務器的熱點資源評分。
11、根據熱點資源信息中熱點參數的數值,以及各個存儲服務器的熱點參數的平均值,計算熱點參數的熱點子評分,有效反映各個熱點參數的資源占用水平。根據各項熱點參數對應的權重,以及各項熱點參數的熱點子評分,計算存儲服務器的熱點資源評分,準確有效的反映熱點資源的占用情況。
12、作為一種可選的實施例,生成對資源不平衡的存儲服務器中存儲的目標代碼倉庫副本移動到其他存儲服務器的副本移動任務,包括:將資源不平衡的存儲服務器作為源服務器,并從所述源服務器中選擇需要移動的目標代碼倉庫副本,其中,所述源服務器中包括至少一個副本;根據選擇原則選擇目標服務器,其中,所述目標服務器為接收所述目標代碼倉庫副本的存儲服務器,所述選擇原則為選擇接收目標代碼倉庫副本的存儲服務器作為目標服務器的原則;根據所述源服務器,所述目標代碼倉庫副本和所述目標服務器,生成副本移動任務。
13、根據不平衡的存儲服務器的目標代碼倉庫副本,以及選擇的目標服務器生成副本移動任務,以便通過副本移動任務的執行,將目標代碼倉庫副本移動至目標服務器,使得源服務器的資源平衡。
14、作為一種可選的實施例,根據所述源服務器,所述目標代碼倉庫副本和所述目標服務器,生成副本移動任務之后,所述方法還包括:評估所述副本移動任務執行后,所述源服務器是否仍然資源不本文檔來自技高網...
【技術保護點】
1.一種分布式代碼存儲系統的資源平衡方法,包括:
2.根據權利要求1所述的方法,其中,所述存儲資源信息包括:占用存儲空間,總存儲空間;根據所述存儲資源信息,對存儲服務器進行存儲資源評估,包括:
3.根據權利要求2所述的方法,其中,根據所述存儲資源信息對存儲服務器的存儲資源進行存儲資源評分,包括:
4.根據權利要求1所述的方法,其中,所述熱點資源信息包括下列熱點參數至少之一:請求量,接口耗時,接口流量,活躍數據量;根據所述熱點資源信息,對存儲服務器進行熱點資源評估,包括:
5.根據權利要求4所述的方法,其中,根據所述熱點資源信息對存儲服務器的熱點資源進行熱點資源評分,包括:
6.根據權利要求1所述的方法,其中,生成對資源不平衡的存儲服務器中存儲的目標代碼倉庫副本移動到其他存儲服務器的副本移動任務,包括:
7.根據權利要求6所述的方法,其中,根據所述源服務器,所述目標代碼倉庫副本和所述目標服務器,生成副本移動任務之后,所述方法還包括:
8.根據權利要求6所述的方法,其中,所述目標代碼倉庫副本和所述目標
9.根據權利要求7所述的方法,其中,評估所述副本移動任務執行后,所述源服務器是否仍然資源不平衡,包括:
10.根據權利要求1所述的方法,其中,將所述副本移動任務分配給對應的所述存儲服務器執行,對所述目標代碼倉庫副本進行副本移動,包括:
11.根據權利要求10所述的方法,其中,更新所述任務隊列的當前任務,包括:
12.根據權利要求1所述的方法,其中,在分布式代碼存儲系統初始化后,觸發調度平衡的情況下,獲取分布式代碼存儲系統的各個存儲服務器的資源信息之前,所述方法還包括:
13.根據權利要求1至12中任一項所述的方法,其中,將所述副本移動任務分配給對應的存儲服務器執行,以進行副本移動之后,所述方法還包括:
14.一種分布式代碼存儲系統的資源平衡裝置,包括:
15.一種電子設備,包括:處理器,以及存儲程序的存儲器,其中,所述程序包括指令,所述指令在由所述處理器執行時使所述處理器執行權利要求1至13中任一項所述的分布式代碼存儲系統的資源平衡方法。
16.一種存儲有計算機指令的非瞬時機器可讀介質,其中,所述計算機指令用于使所述計算機執行權利要求1至13中任一項所述的分布式代碼存儲系統的資源平衡方法。
...【技術特征摘要】
1.一種分布式代碼存儲系統的資源平衡方法,包括:
2.根據權利要求1所述的方法,其中,所述存儲資源信息包括:占用存儲空間,總存儲空間;根據所述存儲資源信息,對存儲服務器進行存儲資源評估,包括:
3.根據權利要求2所述的方法,其中,根據所述存儲資源信息對存儲服務器的存儲資源進行存儲資源評分,包括:
4.根據權利要求1所述的方法,其中,所述熱點資源信息包括下列熱點參數至少之一:請求量,接口耗時,接口流量,活躍數據量;根據所述熱點資源信息,對存儲服務器進行熱點資源評估,包括:
5.根據權利要求4所述的方法,其中,根據所述熱點資源信息對存儲服務器的熱點資源進行熱點資源評分,包括:
6.根據權利要求1所述的方法,其中,生成對資源不平衡的存儲服務器中存儲的目標代碼倉庫副本移動到其他存儲服務器的副本移動任務,包括:
7.根據權利要求6所述的方法,其中,根據所述源服務器,所述目標代碼倉庫副本和所述目標服務器,生成副本移動任務之后,所述方法還包括:
8.根據權利要求6所述的方法,其中,所述目標代碼倉庫副本和所述目標服務器,生成副本移動任務之后,所述方法還包括:
9.根據權利要求7...
【專利技術屬性】
技術研發人員:夏曉文,陳博俊,蔣鑫,
申請(專利權)人:杭州阿里云飛天信息技術有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。