路由信息更新方法及裝置制造方法及圖紙

本發明專利技術公開了一種路由信息更新方法及裝置，以解決若保證負載分布均衡，則需要在分布式KV存儲系統中增加較多的虛擬節點從而增大負擔的問題。方法包括：增加存儲服務器后，確定存儲服務器的第一個數、包含的虛擬節點的第二個數；針對每個存儲服務器，執行根據第一個數、第二個數、按照該存儲服務器在的第一排列序號、在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數，確定分配給該存儲服務器的虛擬節點的第三個數；根據第三個數和對應關系確定規則，分別確定各個存儲服務器與虛擬節點的對應關系；以及根據確定的對應關系更新路由信息。

【技術實現步驟摘要】
路由信息更新方法及裝置
本專利技術涉及互聯網
，尤其涉及一種路由信息更新方法及裝置。
技術介紹
分布式KV(Key-Value)存儲系統通常由客戶端和存儲服務器構成，其中，存儲服務器的功能在于存儲鍵值(Value，即數據)，而客戶端的功能在于通過基于一定的路由算法(比如哈希(hash)算法)所確定出的路由信息，路由到相應的存儲服務器上，從而實現對與鍵(Key，即數據標識)相對應的Value的訪問與操作(比如可以對Value執行寫讀、寫、刪除等操作)。當分布式KV存儲系統的存儲容量增加時，數據會在存儲服務器之間發生遷移，此時需要重新根據路由算法確定數據與存儲服務器之間的對應關系，并根據該對應關系對路由信息進行更新，進而根據更新后的路由信息將數據遷移到相應的存儲服務器中。在上述過程中，若采用的路由算法不當，很可能在新增存儲服務器的情況下，導致大量的數據都遷移到新增的存儲服務器中，從而使得整個分布式KV存儲系統的負載失衡；或者，還可能導致幾乎所有的數據都發生遷移，從而增大分布式KV存儲系統的處理負擔。以下介紹現有技術中常用的幾種路由算法及其特點：首先介紹一種簡單的路由算法——取模hash(即余數hash)算法。研究發現，由于該路由算法與存儲服務器的個數密切相關，因此在存儲服務器的個數變化后，根據該算法所計算出的路由會導致幾乎所有的數據都需要進行遷移，從而使得數據發生劇烈波動(數據波動即數據在不同存儲服務器之間發生遷移)，也使得分布式KV存儲系統的處理負擔非常沉重。其次介紹一種改進的路由算法——簡單一致性hash(即在存儲服務器上進行一致性hash)算法。研究發現，該算法雖然可以在分布式KV存儲系統的存儲容量改變后，實現使存儲容量改變前的分布式KV存儲系統的已有路由盡可能少的受到影響，但卻不能達到使得新增的存儲服務器和原有的存儲服務器在數據存儲負載上較為均衡這一目標。此外重點介紹基于虛擬節點的一致性hash算法(即在虛擬節點上進行一致性hash，并建立虛擬節點和物理的存儲服務器之間的映射關系)。需要說明的是，虛擬節點用于對存儲網絡中的各存儲服務器的磁盤陣列進行虛擬化操作，將各磁盤陣列中的LUN(LogicalUnitNumber，邏輯單元號)虛擬為邏輯卷，其中，虛擬節點可以為一個硬件設備，也可以為可以實現上述功能的一個軟件功能單元。當客戶端要訪問某個存儲服務器時，首先要訪問虛擬節點，然后再通過存儲網絡訪問實際的存儲服務器中存儲的數據。在此過程中，客戶端只會識別到邏輯卷，而不會直接識別到存儲服務器的物理硬盤。基于虛擬節點，該一致性hash算法是指先根據一致性hash算法確定一個虛擬節點，然后再跟據該虛擬節點和存儲服務器的映射關系更新路由信息，并根據更新后的路由信息找到對應的存儲服務器。該算法的缺陷在于，在解決分布式KV存儲系統擴容時的數據波動問題和存儲服務器負載均衡性問題時，會受到存儲服務器對應的虛擬節點的個數的限制。具體來說，若存儲服務器對應的虛擬節點越多，則基于更新后的路由信息進行數據遷移時的數據波動越小，從而數據在不同存儲服務器之間的分布越均衡，存儲服務器的負載也就越均衡。具體地，存儲服務器所對應的虛擬節點個數與背離指標的對應關系示意圖如圖1所示。圖1中的橫坐標代表存儲服務器所對應的虛擬節點個數；縱坐標代表背離指標。需要說明的是，背離指標是能夠反映數據在存儲服務器之間分布狀況的一個百分比指標，背離指標越高，數據在存儲服務器之間分布得越均衡，否則，則越不均衡。由圖1可知，當物理存儲器僅對應一個虛擬節點時(這種情況也就是利用簡單一致性hash算法進行路由計算的情況)，背離率接近100％，說明數據在存儲服務器之間分布得非常不均衡；當一個存儲服務器對應100-200個虛擬節點的時候，背離率在5％－10％左右，此時數據在存儲服務器之間分布得較為均衡。由此可見，基于虛擬節點的一致性hash算法而得到的數據分布均衡性有賴于存儲服務器所對應的虛擬節點的個數，只有在這個數相當大時才能達到一個可接受的數據分布均衡狀態。此外，通常實現一致性hash算法時需要使用排序樹之類的數據結構來存儲虛擬節點與存儲服務器的映射關系，因此對分布式KV存儲系統的功能性要求較高，并且由于要求虛擬節點散列得盡可能的均勻，因此對散列算法要求也較高。目前常用的路由算法為上述第三種算法，但若要基于該算法使得數據的分布處于均衡狀態，則需要在分布式KV存儲系統中增加較多的虛擬節點，這無疑會大大增加分布式KV存儲系統的負擔。
技術實現思路
本申請實施例提供一種路由信息更新方法及裝置，用以在分布式KV存儲系統的存儲容量增加后，提供一種對路由信息進行更新的方案，以解決若要保證存儲服務器的負載分布比較均衡，則需要在分布式KV存儲系統中增加較多的虛擬節點從而導致增大分布式KV存儲系統負擔的問題。本申請實施例采用以下技術方案：一種路由信息更新方法，包括：在分布式存儲系統中增加存儲服務器后，確定所述分布式存儲系統包含的存儲服務器的第一個數、包含的虛擬節點的第二個數；根據按照增加了存儲服務器后的分布式存儲系統包含的所有存儲服務器的排列位置，而為存儲服務器分配的第一排列序號的順序，依次針對每個存儲服務器，執行根據所述第一個數、第二個數、為該存儲服務器分配的所述第一排列序號、在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數，確定分配給該存儲服務器的虛擬節點的第三個數；根據所述第三個數和預定的存儲服務器與虛擬節點對應關系確定規則，分別確定各個存儲服務器與虛擬節點的對應關系；以及根據確定的所述對應關系，更新用于指示虛擬節點與存儲服務器之間的路由的路由信息。一種路由信息更新方法，包括：在分布式存儲系統中增加存儲服務器后，確定所述分布式存儲系統包含的存儲服務器的第一個數，其中，第一個數滿足：其為所述分布式存儲系統中各存儲服務器分別對應的虛擬節點的個數的公約數；并按照選取具備能被所述第一個數整除的排列序號的虛擬節點的選取規則，從除增加的存儲服務器外的每個存儲服務器所對應的虛擬節點中，選取虛擬節點，其中，所述排列序號是根據虛擬節點在對應于同一存儲服務器的所有虛擬節點中的排列位置分配的；刪除用于指示選取的虛擬節點與相應的存儲服務器之間的路由的路由信息，并確定用于指示選取的虛擬節點與增加的存儲服務器之間的路由的路由信息。一種路由信息更新裝置，包括：第一確定單元，用于在分布式存儲系統中增加存儲服務器后，確定所述分布式存儲系統包含的存儲服務器的第一個數、包含的虛擬節點的第二個數；第二確定單元，用于按照增加了存儲服務器后的分布式存儲系統包含的所有存儲服務器的排列位置，而為存儲服務器分配的第一排列序號的順序，依次針對每個存儲服務器，執行根據第一確定單元確定的第一個數、第二個數、為該存儲服務器分配的所述第一排列序號、在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數，確定分配給該存儲服務器的虛擬節點的第三個數；對應關系確定單元，用于根據第二確定單元確定的第三個數和預定的存儲服務器與虛擬節點對應關系確定規則，分別確定各個存儲服務器與虛擬節點的對應關系；路由信息更新單元，用于根據對應關系確定單元確定的對應關系，更新用于指示虛擬節點本文檔來自技高網...

【技術保護點】
一種路由信息更新方法，其特征在于，包括：在分布式存儲系統中增加存儲服務器后，確定所述分布式存儲系統包含的存儲服務器的第一個數、包含的虛擬節點的第二個數；根據按照增加了存儲服務器后的分布式存儲系統包含的所有存儲服務器的排列位置，而為存儲服務器分配的第一排列序號的順序，依次針對每個存儲服務器，執行根據所述第一個數、第二個數、為該存儲服務器分配的所述第一排列序號、在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數，確定分配給該存儲服務器的虛擬節點的第三個數；根據所述第三個數和預定的存儲服務器與虛擬節點對應關系確定規則，分別確定各個存儲服務器與虛擬節點的對應關系；以及根據確定的所述對應關系，更新用于指示虛擬節點與存儲服務器之間的路由的路由信息。

【技術特征摘要】
1.一種路由信息更新方法，其特征在于，包括：在分布式存儲系統中增加存儲服務器后，確定所述分布式存儲系統包含的存儲服務器的第一個數、包含的虛擬節點的第二個數；根據按照增加了存儲服務器后的分布式存儲系統包含的所有存儲服務器的排列位置，而為存儲服務器分配的第一排列序號的順序，依次針對每個存儲服務器，執行根據所述第一個數、第二個數、為該存儲服務器分配的所述第一排列序號、在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數，確定分配給該存儲服務器的虛擬節點的第三個數；根據所述第三個數和預定的存儲服務器與虛擬節點對應關系確定規則，分別確定各個存儲服務器與虛擬節點的對應關系；以及根據確定的所述對應關系，更新用于指示虛擬節點與存儲服務器之間的路由的路由信息。2.如權利要求1所述的方法，其特征在于，根據所述第三個數和所述確定規則分別確定各個存儲服務器與虛擬節點的對應關系，具體包括：根據所述第三個數確定存儲服務器，其中，確定的存儲服務器滿足：其在所述分布式存儲系統增加存儲服務器前所對應的虛擬節點的第四個數大于其在所述分布式存儲系統增加存儲服務器后所對應的虛擬節點的第三個數；分別確定對應于確定出的各個存儲服務器的第四個數和第三個數的個數差，并根據預定的虛擬節點選取規則，從確定的存儲服務器在所述分布式存儲系統增加存儲服務器前分別對應的虛擬節點中，分別選取個數與相應的所述個數差一致的虛擬節點，其中，所述選取規則為：按照虛擬節點的序號由大至小或由小至大的順序依次選取虛擬節點；確定選取的虛擬節點與增加的存儲服務器的對應關系，并取消選取的虛擬節點與增加存儲服務器前的所述分布式存儲系統包含的存儲服務器的對應關系。3.如權利要求1所述的方法，其特征在于，根據所述第三個數和所述確定規則分別確定各個存儲服務器與虛擬節點的對應關系，具體包括：根據第二個數、所述第一排列序號、不大于第三個數的第二排列序號，分別確定各個存儲服務器所對應的虛擬節點的第三排列序號；從按照在分布式存儲系統包含的所有虛擬節點中的排列位置而被分配了排列序號的虛擬節點中，確定具備的排列序號與所述第三排列序號匹配一致的虛擬節點，并分別確定各個存儲服務器與確定的虛擬節點的對應關系。4.如權利要求1所述的方法，其特征在于，執行更新路由信息的操作后，還包括：將與增加的存儲服務器對應的虛擬節點相綁定的數據遷移到增加的存儲服務器中。5.如權利要求1所述的方法，其特征在于，更新所述路由信息，具體包括：針對增加存儲服務器前的分布式存儲系統存儲的路由信息，執行刪除與增加的存儲服務器對應的虛擬節點相關的路由信息；以及添加用于指示增加的存儲服務器對應的虛擬節點與增加的存儲服務器之間的路由的路由信息。6.如權利要求1所述的方法，其特征在于，所述第三個數通過以下公式確定：其中，M表示第一個數、N表示第二個數，表示“在分布式存儲系統中增加存儲服務器后已分配給存儲服務器的虛擬節點的總個數”，Yx為存儲服務器mx所對...

【專利技術屬性】
技術研發人員：李智慧，周英，余俊，何坤，周異，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：