一種數據中心內關聯流的帶寬調度方法及裝置制造方法及圖紙

本發明專利技術公開了一種數據中心內關聯流的帶寬調度方法及裝置，包括：主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；主控制器為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。本發明專利技術公開的數據中心內關聯流的帶寬調度方法及裝置，能夠結合數據中心內應用的關聯流實現光突發交換的數據中心全光網絡的帶寬動態調度。

【技術實現步驟摘要】

本專利技術涉及網絡通信
，尤其涉及一種數據中心內關聯流的帶寬調度方法及裝置。
技術介紹
移動互聯網、云計算為代表的信息服務越來越依賴高性能、可擴展的數據中心。通常數據中心承載著眾多面向用戶的應用如網頁服務器、文件服務、在線游戲、企業應用等，同時也存在大數據挖掘等計算密集型任務。這些應用任務造成了服務器之間(虛擬機之間)的大量并發通信流，這些通信數據流包括一對多、多對一、多對多等通信模式，且其帶寬需求動態范圍大，更具備特殊的時延要求以保障上層應用性能。因此，如何設計相應的數據交換承載網絡，支持數據中心內多樣應用和復雜的通信模式，同時提供更綠色低能耗的優勢以及靈活升級擴展的能力，是目前產業界和學術界共同關注的熱點課題。特別是近年來隨著光電子器件技術的發展進步，以光傳輸和交換為基礎的數據中心網絡設計，得到了越來越多的關注和重視。在數據中心內，大多數集群計算應用程序框架(如MapReduce)完成用戶定義的工作，并沿著符合編程模型的特定工作流傳輸。其他有些是面向用戶的通道，用戶通過多級結構請求并最終返回相應的回答(例如Google和Bing的搜索結果，以及Facebook的主頁反饋)。以MapReduce的Shuffle和分布式文件系統(DFS，DistributedFileSystem)復制過程為例。MapReduce是一個眾所周知和廣泛使用的分布式計算框架。在這個模型中，每個mapper從DFS讀取輸入，執行用戶定義的計算，并將中間數據寫入磁盤；各reducer將中間數據從不同mapper讀出，將它們合并，并將其輸出寫入到DFS，然后復制到多個目的地。MapReduce模型的主要特征就是直到最后一個reducer完成，整個任務才完成。因此，在任務的最后有一個明確的障礙(barrier)，研究人員已經在模型中利用它來優化Shuffle過程。又如整體同步并行(BSP，BulkSynchronousParallel)模型是集群計算中另一個熟知的模型。使用這個模型的計算框架有專注于圖表處理、矩陣計算、網絡算法的Pregel、Giragh和Hama。一個BSP并行計算機由一組通過通信網絡互連的處理器——內存單元組成。它主要有三個部分：一組具有局部內存的分布式處理器、全局數據通信網絡、支持所有處理單元間全局路障同步的機制。通過對每次超步(superstep)最后的障礙優化，superstep通信階段可以得到優化。再如Partition-aggregate通信中的聚合過程，面向用戶的在線服務收到用戶的請求并通過聚合樹向下面的工作節點(worker)傳遞，在樹的每個階段，不同的分割過程中獨立的請求產生活動，最后，worker響應聚合并且在最后期限返回到用戶界面，不能在最后期限返回的響應被丟棄或過一會兒進行異步發送(如Facebook主頁反饋)。由上述描述可以看出，雖然在傳輸層中，流之間相互獨立難以區分，但是同一集群計算中，不同組計算機之間的流通常具有應用級的語義相關性。例如，MapReduceShuffle過程中最后一個流決定了整體流的完成時間。類似地，如果一個流延遲或被丟棄就會導致整體流錯過最晚完成時間，也許會對小部分響應產生影響。因此，將不同組的計算機之間具有語義相關性的流稱為一個關聯流。換言之，一個關聯流就是具有相同績效目標的流的集合，績效目標可以是保證這組流都能夠在最晚完成時間(deadline)之前傳輸完成，或者使這組流具有最短傳輸時間。實現基于光突發交換的數據中心全光網絡的關鍵技術之一在于提供具有可靠的、符合應用特征的動態資源調度機制，能通過高效的帶寬分配算法實現網絡帶寬資源的靈活調度，以滿足基于應用請求的網絡節點的動態帶寬需求。然而，針對數據中心光突發交換網絡，現有技術的網絡帶寬資源調度機制未考慮上層應用的關聯流需求特征。
技術實現思路
為了解決上述技術問題，本專利技術提供一種數據中心內關聯流的帶寬調度方法及裝置，能夠結合數據中心內應用的關聯流實現光突發交換的數據中心全光網絡的帶寬動態調度。為了達到上述技術目的，本專利技術提供一種數據中心內關聯流的帶寬調度方法及裝置，包括：主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；主控制器為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。此外，本專利技術還提供一種數據中心內關聯流的帶寬調度裝置，設置于主控制器，包括：流分類模塊，用于根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；預計完成時間計算模塊，用于為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；關聯分配模塊，用于根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。在本專利技術中，主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；主控制器為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。如此，本專利技術結合數據中心內應用的關聯流實現了光突發交換的數據中心全光網絡的帶寬動態調度。而且，通過本專利技術實施例，實現了數據中心內光突發傳送環網高效且無沖突的動態資源調度，實現了基于應用的快速數據傳輸，不僅能公平合理地分配帶寬資源并快速響應突發業務的帶寬需求，而且實現了數據無沖突交換、關聯流任務整體傳輸完成時間短并獲得了較高的帶寬利用率。附圖說明圖1為本專利技術實施例的應用場景示意圖；圖2為本專利技術實施例提供的數據中心內關聯流的帶寬調度方法的流程圖；圖3為本專利技術實施例中步驟11的具體流程圖；圖4為本專利技術實施例中步驟12的具體流程圖；圖5為本專利技術實施例中步驟13的具體流程圖；圖6為本專利技術一實施例提供的數據中心內關聯流的帶寬調度裝置的示意圖。具體實施方式以下結合附圖對本專利技術的實施例進行詳細說明，應當理解，以下所說明的實施例僅用于說明和解釋本專利技術，并不用于限定本專利技術。圖1為本專利技術實施例的應用場景示意圖。如圖1所示，數據中心內的光突發傳送環網包含n個網絡節點及1個主控制器。其中，n為大于1的整數，而且，網絡節點的數目可按需設定。其中，主控制器負責帶寬分配等集中式控制管理，每個網絡節點為數據中心內配置m個服務器的機架(實際上，服務器數量可按需設定)，每個網絡節點配置k個發射機和k個接收機，其中，m、k均為大于1的整數。于此，數據中心內的光突發傳送網采用的是網絡節點之間等時間連接，一個周期內所有連接建立時間相等，網絡節點之間可以等效為全連接，關聯流由服務器發出的最本文檔來自技高網...

【技術保護點】
一種數據中心內關聯流的帶寬調度方法，其特征在于，包括：主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；所述主控制器為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；所述主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。

【技術特征摘要】
1.一種數據中心內關聯流的帶寬調度方法，其特征在于，包括：主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流；所述主控制器為各瓶頸數據流分配滿足第一條件的傳輸帶寬，并根據分配給各瓶頸數據流的傳輸帶寬確定各瓶頸數據流所屬關聯流的預計完成時間；所述主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬，當分配給所有關聯流中非瓶頸數據流的傳輸帶寬滿足第二條件時，確定各關聯流的預計完成時間及分配給每個關聯流中各數據流的傳輸帶寬。2.如權利要求1所述的方法，其特征在于，所述主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流之前，還包括：所述主控制器收集一個周期內的所有關聯流帶寬請求。3.如權利要求1或2所述的方法，其特征在于，所述關聯流帶寬請求包括關聯流中每一條數據流的源地址信息、目的地址信息以及待傳輸的數據量。4.如權利要求3所述的方法，其特征在于，所述關聯流帶寬請求還包括所述關聯流的完成時間上限值，其中，所述確定的瓶頸數據流所屬關聯流的預計完成時間不超過所述關聯流的完成時間上限值。5.如權利要求1所述的方法，其特征在于，所述主控制器根據收集到的關聯流帶寬請求，選出每個關聯流的瓶頸數據流包括：所述主控制器根據每個關聯流帶寬請求攜帶的各數據流信息，從該關聯流的所有數據流中選出待傳輸數據量最大的數據流或者節點可用帶寬最大的數據流作為該關聯流的瓶頸數據流。6.如權利要求1所述的方法，其特征在于，所述主控制器根據各關聯流的預計完成時間為各關聯流中非瓶頸數據流分配傳輸帶寬之后，還包括：當分配給所有關聯流中非瓶頸數據流的傳輸帶寬不滿足所述第二條件時，所
\t述主控制器均勻縮減分配給各瓶頸數據流的滿足第一條件的傳輸帶寬，根據所述重新分配的各瓶頸數據流的傳輸帶寬重新確定各瓶頸數據流所屬...

【專利技術屬性】
技術研發人員：郭宏翔，于佳，張東旭，安高峰，廖屏，
申請(專利權)人：中興通訊股份有限公司，北京郵電大學，
類型：發明
國別省市：廣東;44