分布負(fù)載平衡器系統(tǒng)和負(fù)載平衡方法技術(shù)方案

一種分布負(fù)載平衡器，其中路由器從至少一個(gè)客戶端接收封包，并且將封包流路由至多個(gè)進(jìn)入服務(wù)器。針對(duì)未知封包流，進(jìn)入服務(wù)器配合主要流量跟蹤器和次要流量跟蹤器來(lái)建立至服務(wù)器節(jié)點(diǎn)的連接。針對(duì)已知封包流，所述進(jìn)入服務(wù)器將所述封包發(fā)送至目標(biāo)服務(wù)器節(jié)點(diǎn)。所述服務(wù)器節(jié)點(diǎn)隨機(jī)地選擇用于所述封包流的傳出封包的外出服務(wù)器。所述進(jìn)入服務(wù)器、流量跟蹤器和外出服務(wù)器通過(guò)負(fù)載平衡器節(jié)點(diǎn)層中的多個(gè)負(fù)載平衡器節(jié)點(diǎn)實(shí)現(xiàn)。用于給定封包流的所述進(jìn)入服務(wù)器和外出服務(wù)器可處于不同的負(fù)載平衡器節(jié)點(diǎn)上。所述負(fù)載平衡器節(jié)點(diǎn)可使用一致哈希函數(shù)來(lái)根據(jù)封包流客戶端/公共端點(diǎn)對(duì)計(jì)算用于所述節(jié)點(diǎn)的一致哈希環(huán)，從而可以定位與給定封包流相關(guān)聯(lián)的節(jié)點(diǎn)。

【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專利技術(shù)】分布負(fù)載平衡器系統(tǒng)和負(fù)載平衡方法
本專利技術(shù)涉及計(jì)算機(jī)網(wǎng)絡(luò)，具體地說(shuō)，涉及在冗余負(fù)載平衡節(jié)點(diǎn)和服務(wù)器節(jié)點(diǎn)之間對(duì)客戶端請(qǐng)求進(jìn)行負(fù)載平衡。
技術(shù)介紹
常規(guī)負(fù)載平衡器通常為單一、專門盒，其包括多個(gè)網(wǎng)絡(luò)接口控制器(NIC)，例如八個(gè)NIC，其中NIC中的一些操控來(lái)自客戶端的進(jìn)入流量/到客戶端的外出流量而其他NIC操控來(lái)自正在負(fù)載平衡的主機(jī)裝置(例如，服務(wù)器如網(wǎng)絡(luò)服務(wù)器)的傳出流量/到主機(jī)裝置的傳入流量。這些常規(guī)負(fù)載平衡器上的帶寬或通量通常在客戶端側(cè)上為40吉比特/秒(Gbps)而在服務(wù)器側(cè)上為40Gbps的范圍。隨著基于網(wǎng)絡(luò)的應(yīng)用和基于網(wǎng)絡(luò)的服務(wù)如云計(jì)算服務(wù)的規(guī)模和范圍增加，數(shù)據(jù)中心可容納數(shù)百或甚至數(shù)千個(gè)需要負(fù)載平衡的主機(jī)裝置(例如，網(wǎng)絡(luò)服務(wù)器)。常規(guī)負(fù)載平衡器在這類環(huán)境中可能不會(huì)較好地調(diào)整。此外，常規(guī)負(fù)載平衡器通常使用應(yīng)用于從主機(jī)裝置收集的數(shù)據(jù)以選擇哪一個(gè)主機(jī)裝置將操控連接的技術(shù)例如最大連接(或maxconns)、循環(huán)和/或最小連接(leastconns)。另外，常規(guī)負(fù)載平衡器通常充當(dāng)其在前面的主機(jī)裝置的代理，且因而終止來(lái)自客戶端的連接(例如，傳輸控制協(xié)議(TCP)連接)并且在主機(jī)裝置與負(fù)載平衡器之間建立的TCP連接上將客戶端流量發(fā)送至主機(jī)裝置。因此，在使用這些常規(guī)負(fù)載平衡器時(shí)，主機(jī)裝置和客戶端不在直接TCP連接上通信。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)包括用于在多個(gè)負(fù)載平衡節(jié)點(diǎn)和服務(wù)器節(jié)點(diǎn)之間對(duì)客戶端請(qǐng)求進(jìn)行負(fù)載平衡的系統(tǒng)和方法。一種分布式負(fù)載平衡器包括路由器，該路由器從至少一個(gè)客戶端接收封包并把封包流路由到多個(gè)進(jìn)入服務(wù)器。對(duì)于未知的封包流，進(jìn)入服務(wù)器與主要流跟蹤器以及次要流跟蹤器協(xié)作以建立至服務(wù)器節(jié)點(diǎn)的連接。對(duì)于已知的封包流，進(jìn)入服務(wù)器把所述封包發(fā)送至目標(biāo)服務(wù)器節(jié)點(diǎn)。服務(wù)器節(jié)點(diǎn)為封包流的外出封包隨機(jī)選擇外出服務(wù)器。進(jìn)入服務(wù)器、流跟蹤器和外出服務(wù)器由負(fù)載平衡器節(jié)點(diǎn)層中的多個(gè)服務(wù)器平衡器節(jié)點(diǎn)實(shí)現(xiàn)。用于給定封包流的進(jìn)入服務(wù)器和外出服務(wù)器可以在不同的負(fù)載平衡器節(jié)點(diǎn)上。所述負(fù)載平衡器節(jié)點(diǎn)可使用一致哈希函數(shù)來(lái)根據(jù)封包流客戶端/公共端點(diǎn)對(duì)計(jì)算用于所述節(jié)點(diǎn)的一致哈希環(huán)，從而可以定位與給定封包流相關(guān)聯(lián)的節(jié)點(diǎn)。附圖說(shuō)明圖1是根據(jù)至少一些實(shí)施方案的示例性分布負(fù)載平衡系統(tǒng)的方框圖。圖2是根據(jù)至少一些實(shí)施方案的可由圖1的分布負(fù)載平衡器系統(tǒng)實(shí)施的負(fù)載平衡法的較高水平流程圖。圖3示出根據(jù)至少一些實(shí)施方案的包括進(jìn)入、外出和流量跟蹤器部件的示例性負(fù)載平衡器節(jié)點(diǎn)。圖4示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡器中的路由和封包流。圖5示出根據(jù)至少一些實(shí)施方案的將進(jìn)入節(jié)點(diǎn)向邊緣路由器公布。圖6是根據(jù)至少一些實(shí)施方案的多路徑路由方法的流程圖。圖7圖形化示出根據(jù)至少一些實(shí)施方案的不對(duì)稱封包流。圖8示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡系統(tǒng)中的封包流。圖9A和9B提供根據(jù)至少一些實(shí)施方案的在分布負(fù)載平衡系統(tǒng)中建立連接時(shí)的封包流的流程圖。圖10A至10G示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡系統(tǒng)中的封包流。圖11A至11D示出根據(jù)至少一些實(shí)施方案的影響負(fù)載平衡器節(jié)點(diǎn)一致哈希環(huán)中的成員關(guān)系的事件的操控。圖12是根據(jù)至少一些實(shí)施方案的可根據(jù)健康檢查間隔由每個(gè)負(fù)載平衡器節(jié)點(diǎn)執(zhí)行的健康檢查方法的較高水平流程圖。圖13示出根據(jù)至少一些實(shí)施方案的從另一個(gè)負(fù)載平衡器節(jié)點(diǎn)對(duì)一個(gè)負(fù)載平衡器節(jié)點(diǎn)進(jìn)行健康檢查的方法。圖14圖形化示出根據(jù)至少一些實(shí)施方案的一個(gè)負(fù)載平衡器節(jié)點(diǎn)對(duì)一個(gè)或多個(gè)其他負(fù)載平衡器節(jié)點(diǎn)進(jìn)行健康檢查。圖15示出根據(jù)至少一些實(shí)施方案的負(fù)載平衡器節(jié)點(diǎn)對(duì)服務(wù)器節(jié)點(diǎn)進(jìn)行健康檢查。圖16圖形化示出根據(jù)至少一些實(shí)施方案的可由負(fù)載平衡器節(jié)點(diǎn)110保持的另一個(gè)節(jié)點(diǎn)的健康狀況的視圖。圖17示出根據(jù)至少一些實(shí)施方案的可由每個(gè)負(fù)載平衡器節(jié)點(diǎn)保持的健康信息。圖18A和18B示出根據(jù)至少一些實(shí)施方案的操控負(fù)載平衡器節(jié)點(diǎn)失效。圖19A和19B圖形化示出根據(jù)至少一些實(shí)施方案的連接發(fā)布技術(shù)。圖20是根據(jù)至少一些實(shí)施方案的可由每個(gè)負(fù)載平衡器模塊執(zhí)行的連接發(fā)布方法的較高水平流程圖。圖21是根據(jù)至少一些實(shí)施方案的將在連接發(fā)布封包中接收的活動(dòng)連接信息分配至目標(biāo)負(fù)載平衡器節(jié)點(diǎn)的方法的流程圖。圖22示出根據(jù)至少一些實(shí)施方案的將在連接發(fā)布封包中接收的活動(dòng)連接信息分配至目標(biāo)負(fù)載平衡器節(jié)點(diǎn)的替代方法。圖23示出根據(jù)至少一些實(shí)施方案的負(fù)載平衡器節(jié)點(diǎn)的示例性軟件堆棧架構(gòu)。圖24示出可在實(shí)施方案中使用的核心封包處理技術(shù)的方面。圖25示出根據(jù)至少一些實(shí)施方案的處理負(fù)載平衡器節(jié)點(diǎn)上的數(shù)據(jù)流的示例性多核心封包處理器。圖26示出根據(jù)至少一些實(shí)施方案的處理負(fù)載平衡器節(jié)點(diǎn)上的數(shù)據(jù)流的另一個(gè)示例性多核心封包處理器。圖27示出根據(jù)至少一些實(shí)施方案的通過(guò)負(fù)載平衡器節(jié)點(diǎn)過(guò)程對(duì)傳入封包的處理。圖28示出根據(jù)至少一些實(shí)施方案的通過(guò)負(fù)載平衡器節(jié)點(diǎn)過(guò)程對(duì)傳出封包的處理。圖29示出根據(jù)至少一些實(shí)施方案的包括生產(chǎn)環(huán)境中的分布負(fù)載平衡器的負(fù)載平衡系統(tǒng)。圖30示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡器測(cè)試系統(tǒng)，其并入消息總線機(jī)構(gòu)，所述機(jī)構(gòu)使得多個(gè)分布負(fù)載平衡系統(tǒng)部件能夠配置并執(zhí)行于單一過(guò)程中或作為單一過(guò)程。圖31和32示出根據(jù)至少一些實(shí)施方案的消息總線封包適配器和封包管線。圖33A示出根據(jù)至少一些實(shí)施方案的示例性提供者網(wǎng)絡(luò)環(huán)境。圖33B示出根據(jù)至少一些實(shí)施方案的如圖33A展示的示例性提供者網(wǎng)絡(luò)環(huán)境中的分布負(fù)載平衡器實(shí)行方案。圖34A示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡器和服務(wù)器節(jié)點(diǎn)的示例性物理機(jī)架實(shí)行方案。圖34B示出根據(jù)至少一些實(shí)施方案的分布負(fù)載平衡器和服務(wù)器節(jié)點(diǎn)的另一個(gè)示例性物理機(jī)架實(shí)行方案。圖35示出根據(jù)至少一些實(shí)施方案的一個(gè)、兩個(gè)或更多個(gè)分布負(fù)載平衡器實(shí)施于網(wǎng)絡(luò)中的示例性連網(wǎng)環(huán)境。圖36是示出可以在一些實(shí)施方案中使用的示例性計(jì)算機(jī)系統(tǒng)的框圖。雖然在本文中通過(guò)列舉若干實(shí)施方案和示意性附圖的實(shí)例的方式描述了實(shí)施方案，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，實(shí)施方案并不限于所描述的實(shí)施方案或附圖。應(yīng)理解，附圖和對(duì)其的詳細(xì)描述并非意圖將實(shí)施方案限于所公開(kāi)的特定形式，而是相反，其意圖在于涵蓋落入由所附權(quán)利要求書所界定的精神和范圍內(nèi)的所有修改、等同物以及替代方案。本文中使用的任何標(biāo)題都僅用于組織目的，并且并不意圖用于限制描述或權(quán)利要求書的范圍。如貫穿本申請(qǐng)所用，詞語(yǔ)“可”是以允許意義(即，意味著有可能)而不是強(qiáng)制意義(即，意味著必須)使用。類似地，詞語(yǔ)“包括(include/including/includes)”表示包括但不限于。具體實(shí)施方式描述網(wǎng)絡(luò)環(huán)境中的分布負(fù)載平衡的方法和系統(tǒng)的各種實(shí)施方案。描述可根據(jù)各種網(wǎng)絡(luò)環(huán)境中的分布負(fù)載平衡器的實(shí)施方案來(lái)實(shí)施的分布負(fù)載平衡法和系統(tǒng)的實(shí)施方案。分布負(fù)載平衡器的實(shí)施方案可例如用于促進(jìn)和保持外部網(wǎng)絡(luò)如互聯(lián)網(wǎng)上的客戶端與局部網(wǎng)絡(luò)，例如如圖33A和33B示出的提供者網(wǎng)絡(luò)1900上的目的地，通常為服務(wù)器(例如，網(wǎng)絡(luò)服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)服務(wù)器等)之間的封包流，例如傳輸控制協(xié)議(TCP)技術(shù)封包流。雖然本文主要關(guān)于處理TCP封包流來(lái)描述實(shí)施方案，但是應(yīng)注意實(shí)施方案可應(yīng)用于除了TCP以外的其他數(shù)據(jù)通信協(xié)議，以及除了處理封包流以外的其他應(yīng)用。分布負(fù)載平衡器可用于促進(jìn)和保持具體客戶端與選定服務(wù)器(例如，網(wǎng)絡(luò)服務(wù)器)之間的TCP封包流。然而，分布負(fù)載本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種分布負(fù)載平衡器系統(tǒng)，包括：多個(gè)負(fù)載平衡器節(jié)點(diǎn)，其中所述多個(gè)負(fù)載平衡器節(jié)點(diǎn)中的至少兩個(gè)被配置為進(jìn)入服務(wù)器，并且其中所述多個(gè)負(fù)載平衡器節(jié)點(diǎn)中的至少兩個(gè)被配置為流跟蹤器節(jié)點(diǎn)；多個(gè)服務(wù)器節(jié)點(diǎn)；和路由器，被配置來(lái)根據(jù)哈希多路徑路由技術(shù)將來(lái)自一個(gè)或多個(gè)客戶端的封包流分布至所述進(jìn)入服務(wù)器；其中每一個(gè)進(jìn)入服務(wù)器被配置來(lái)：從所述路由器接收客戶端的封包流中的封包；確定所述進(jìn)入服務(wù)器不具有所述封包流至所述多個(gè)服務(wù)器節(jié)點(diǎn)的映射；根據(jù)應(yīng)用于所述封包的源和目的地地址信息的一致哈希函數(shù)來(lái)確定所述封包流的至少一個(gè)流跟蹤器節(jié)點(diǎn)；從所述至少一個(gè)流跟蹤器節(jié)點(diǎn)獲得所述封包流的至所述多個(gè)服務(wù)器節(jié)點(diǎn)中的特定一個(gè)的連接的映射；并且將所述封包流中的一個(gè)或多個(gè)封包發(fā)送至所述特定服務(wù)器節(jié)點(diǎn)。

【技術(shù)特征摘要】
【國(guó)外來(lái)華專利技術(shù)】2013.04.16 US 13/864,1571.一種分布負(fù)載平衡器系統(tǒng)，包括：多個(gè)負(fù)載平衡器節(jié)點(diǎn)，其中所述多個(gè)負(fù)載平衡器節(jié)點(diǎn)中的至少兩個(gè)被配置為進(jìn)入服務(wù)器，并且其中所述多個(gè)負(fù)載平衡器節(jié)點(diǎn)中的至少兩個(gè)被配置為流跟蹤器節(jié)點(diǎn)；多個(gè)服務(wù)器節(jié)點(diǎn)；和路由器，被配置來(lái)根據(jù)哈希多路徑路由技術(shù)將來(lái)自一個(gè)或多個(gè)客戶端的封包流分布至所述進(jìn)入服務(wù)器；其中每一個(gè)進(jìn)入服務(wù)器被配置來(lái)：從所述路由器接收客戶端的封包流中的封包；確定所述進(jìn)入服務(wù)器不具有所述封包流至所述多個(gè)服務(wù)器節(jié)點(diǎn)的映射；根據(jù)應(yīng)用于所述封包的源和目的地地址信息的一致哈希函數(shù)來(lái)確定所述封包流的至少一個(gè)流跟蹤器節(jié)點(diǎn)；從所述至少一個(gè)流跟蹤器節(jié)點(diǎn)獲得所述封包流的至所述多個(gè)服務(wù)器節(jié)點(diǎn)中的特定一個(gè)的連接的映射；并且將所述封包流中的一個(gè)或多個(gè)封包發(fā)送至所述特定服務(wù)器節(jié)點(diǎn)。2.如權(quán)利要求1所述的分布負(fù)載平衡器系統(tǒng)，其中所述封包流為傳輸控制協(xié)議封包流。3.如權(quán)利要求1所述的分布負(fù)載平衡器系統(tǒng)，其中所述多個(gè)負(fù)載平衡器節(jié)點(diǎn)中的至少兩個(gè)被配置為外出服務(wù)器，所述外出服務(wù)器被配置來(lái)將傳出封包從所述服務(wù)器節(jié)點(diǎn)發(fā)送至所述一個(gè)或多個(gè)客戶端，其中所述服務(wù)器節(jié)點(diǎn)被配置來(lái)：選擇所述外出服務(wù)器中的一個(gè)以用于所述封包流；并且將所述封包流的一個(gè)或多個(gè)傳出封包發(fā)送至所選擇的外出服務(wù)器；其中所述外出服務(wù)器被配置將所述傳出封包發(fā)送至所述客戶端；并且其中用于所述封包流的所選擇的外出服務(wù)器是與用于所述封包流的所述進(jìn)入服務(wù)器不同的負(fù)載平衡器節(jié)點(diǎn)。4.如權(quán)利要求3所述的分布負(fù)載平衡器系統(tǒng)，其中所述進(jìn)入服務(wù)器在將所述封包發(fā)送至所述服務(wù)器節(jié)點(diǎn)之前根據(jù)用戶數(shù)據(jù)報(bào)協(xié)議UDP封裝所述一個(gè)或多個(gè)封包，其中所述服務(wù)器節(jié)點(diǎn)在將所述傳出封包發(fā)送至所述外出服務(wù)器之前根據(jù)UDP封裝所述傳出封包，并且其中所述外出服務(wù)器在將所述傳出封包發(fā)送至所述客戶端之前從所述傳出封包剝除UDP封裝。5.如權(quán)利要求4所述的分布負(fù)載平衡器系統(tǒng)，其中所述服務(wù)器節(jié)點(diǎn)包括負(fù)載平衡器模塊，所述負(fù)載平衡器模塊被配置來(lái)：選擇所述外出服務(wù)器以用于所述封包流；從所述進(jìn)入服務(wù)器接收傳入封裝封包；從所述封包剝除所述UDP封裝，并且將所述封包遞送至所述服務(wù)器節(jié)點(diǎn)上的服務(wù)器；從所述服務(wù)器節(jié)點(diǎn)上的所述服務(wù)器獲得所述傳出封包；根據(jù)UDP封裝所述傳出封包；并且將所封裝的傳出封包發(fā)送至所述外出服務(wù)器。6.如權(quán)利要求1所述的分布負(fù)載平衡器系統(tǒng)，其中，為了從所述至少一個(gè)流跟蹤器節(jié)點(diǎn)獲得所述封包流的至所述多個(gè)服務(wù)器節(jié)點(diǎn)中的特定一個(gè)的連接的映射，所述進(jìn)入服務(wù)器將包括所述封包流的信息的消息發(fā)送至用于所述封包流的主要流跟蹤器；所述主要流跟蹤器將消息發(fā)送至用于所述封包流的次要流跟蹤器，所述消息包括所述封包流的所述信息，其中用于所述封包流的所述主要流跟蹤器和所述次要流跟蹤器是不同的負(fù)載平衡器節(jié)點(diǎn)；所述次要流跟蹤器將對(duì)所述封包流的確認(rèn)發(fā)送至所述客戶端；所述進(jìn)入服務(wù)器從所述客戶端接收確認(rèn)封包，并且將所述確認(rèn)封包轉(zhuǎn)發(fā)至所述主要流跟蹤器；所述主要流跟蹤器從所述多個(gè)服務(wù)器節(jié)點(diǎn)中隨機(jī)地選擇所述特定服務(wù)器節(jié)點(diǎn)作為接收所述封包流的服務(wù)器節(jié)點(diǎn)，并且將指示所述特定服務(wù)器節(jié)點(diǎn)的消息發(fā)送至所述次要流跟蹤器；所述次要流跟蹤器編制同步消息，并且將所編制的同步消息發(fā)送至所述特定服務(wù)器節(jié)點(diǎn)；所述次要流跟蹤器從所述特定服務(wù)器節(jié)點(diǎn)接收用于所述封包流的連接信息，并且將包括所述連接信息的消息發(fā)送至所述主要流跟蹤器；并且所述主要流跟蹤器將包括用于所述封包流的所述連接信息的消息發(fā)送至所述進(jìn)入服務(wù)器，其中所述連接信息將所述封包流映射至所述特定服務(wù)器節(jié)點(diǎn)。7.如權(quán)利要求6所述的分布負(fù)載平衡器系統(tǒng)，其中所述服務(wù)器節(jié)點(diǎn)包括負(fù)載平衡器...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：J·C·索倫森三世，D·S·勞倫斯，V·斯里尼瓦森，A·S·瓦佳，張帆，
申請(qǐng)(專利權(quán))人：亞馬遜科技公司，
類型：發(fā)明
國(guó)別省市：美國(guó);US