【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及信息，尤其涉及機(jī)器學(xué)習(xí)模型預(yù)測領(lǐng)域，具體是指一種基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法、裝置、處理器及其計算機(jī)可讀存儲介質(zhì)。
技術(shù)介紹
1、在金融服務(wù)領(lǐng)域，金融服務(wù)平臺扮演著重要角色，提供交易、行情、理財?shù)榷喾N服務(wù)。為提高用戶訪問速度和安全性，這些平臺通常采用httpdns技術(shù)替代傳統(tǒng)的域名解析方法，允許用戶在客戶端先通過http請求的方式拿到業(yè)務(wù)服務(wù)可用的ip地址，再對ip發(fā)出請求。
2、對于客戶端請求，現(xiàn)有的ip調(diào)度系統(tǒng)多采用基于規(guī)則的ip調(diào)度方法，例如基于對服務(wù)器負(fù)載、流量等性能指標(biāo)的監(jiān)控數(shù)據(jù)，結(jié)合客戶端的地理位置、運(yùn)營商等信息，按照人工設(shè)計好的某項規(guī)則計算出所有待調(diào)度ip的優(yōu)先級，然后基于優(yōu)先級排序的結(jié)果采取一定的策略分發(fā)ip。這種ip調(diào)度方法雖然計算速度很快，且易于實現(xiàn)，但是過于依賴人工經(jīng)驗，無法保證客戶端拿到的ip是最優(yōu)ip(即ip所屬服務(wù)器的請求應(yīng)答耗時最短)；并且基于固定規(guī)則無法適應(yīng)復(fù)雜多變的實際應(yīng)用場景，從而可能導(dǎo)致會下發(fā)低質(zhì)量的ip(即ip所屬服務(wù)器的請求應(yīng)答耗時相對較高)。此外，基于固定規(guī)則計算ip優(yōu)先級會導(dǎo)致ip的優(yōu)先級也相對固定，從而會表現(xiàn)出大概率向具有同一類特征的客戶端請求持續(xù)下發(fā)同一個ip。在高并發(fā)的情況下，這種做法會造成服務(wù)器負(fù)載非常不均衡，極端情況下甚至?xí)?dǎo)致服務(wù)器崩潰，這對業(yè)務(wù)的穩(wěn)定運(yùn)行構(gòu)成了威脅，并且嚴(yán)重影響用戶的使用體驗。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的是克服了上述現(xiàn)有技術(shù)的缺點，提供了一種滿足穩(wěn)定性好、
2、為了實現(xiàn)上述目的，本專利技術(shù)的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法、裝置、處理器及其計算機(jī)可讀存儲介質(zhì)如下：
3、該基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其主要特點是，所述的方法包括以下步驟：
4、(1)收集客戶端請求反饋數(shù)據(jù)和服務(wù)器數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行清洗和處理，構(gòu)建用于訓(xùn)練并測試機(jī)器學(xué)習(xí)模型的數(shù)據(jù)集；
5、(2)選擇并導(dǎo)入機(jī)器學(xué)習(xí)模型，利用構(gòu)建好的數(shù)據(jù)集訓(xùn)練模型并進(jìn)行測試，獲取具有最佳參數(shù)的模型；
6、(3)枚舉所有可能的客戶端請求，每隔固定時間間隔t查詢一次服務(wù)器數(shù)據(jù)，將所有客戶端請求數(shù)據(jù)和所有服務(wù)器數(shù)據(jù)進(jìn)行清洗和處理并構(gòu)建數(shù)據(jù)集，輸入到機(jī)器學(xué)習(xí)模型中，利用機(jī)器學(xué)習(xí)模型預(yù)測在每個客戶端請求下每臺服務(wù)器的預(yù)期請求應(yīng)答耗時，將預(yù)測結(jié)果進(jìn)行緩存；在固定時間間隔t′內(nèi)實時跟蹤記錄每臺服務(wù)器的請求應(yīng)答次數(shù)；
7、(4)對于一個客戶端請求，結(jié)合每臺服務(wù)器的預(yù)測耗時及其請求應(yīng)答率計算每臺服務(wù)器的綜合權(quán)重，基于綜合權(quán)重決定將哪些服務(wù)器ip下發(fā)給客戶端；
8、(5)每間隔時間t″重新訓(xùn)練模型，對模型進(jìn)行更新與優(yōu)化。
9、較佳地，所述的步驟(1)具體包括以下步驟：
10、(1.1)收集客戶端請求反饋數(shù)據(jù)和服務(wù)器數(shù)據(jù)；
11、(1.2)對收集到的客戶端請求反饋數(shù)據(jù)和服務(wù)器數(shù)據(jù)進(jìn)行相應(yīng)的清洗和處理；
12、(1.3)對處理后的數(shù)據(jù)，將服務(wù)器請求應(yīng)答耗時字段數(shù)據(jù)作為目標(biāo)特征數(shù)據(jù)，將其它字段數(shù)據(jù)作為輸入特征數(shù)據(jù)，按8:1:1的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集。
13、較佳地，所述的步驟(1.2)具體包括以下步驟：
14、(1.2.1)對于客戶端請求反饋和服務(wù)器數(shù)據(jù)，如果某些字段的值為空，則將其對應(yīng)的所有客戶端請求反饋數(shù)據(jù)和服務(wù)器數(shù)據(jù)全部清除；
15、(1.2.2)若服務(wù)器數(shù)據(jù)中的服務(wù)器ip對應(yīng)的是lvs集群ip，則對該lvs集群下的所有服務(wù)器的某些字段數(shù)據(jù)進(jìn)行聚合，將聚合后的數(shù)據(jù)作為該lvs對應(yīng)的字段數(shù)據(jù)；
16、(1.2.3)將處理后的客戶端請求反饋數(shù)據(jù)和服務(wù)器數(shù)據(jù)合并，得到完整的數(shù)據(jù)；
17、(1.2.4)采用前n頻數(shù)編碼方法對類別數(shù)據(jù)進(jìn)行編碼，分別計算每個算類別字段數(shù)據(jù)中每種類別出現(xiàn)的頻率，從大到小將頻率排名前n的類別作為有效類別，剩余類別統(tǒng)一歸為“其它類別”；對于實際生產(chǎn)環(huán)境中出現(xiàn)的字段值缺失或者未知字段值，將它們均歸類為“未知類別”；用數(shù)字id表示類別，并記錄類別與其數(shù)字id的映射關(guān)系；
18、(1.2.5)對時間數(shù)據(jù)進(jìn)行編碼，提取時間的具體元素。
19、較佳地，所述的步驟(2)具體包括以下步驟：
20、(2.1)導(dǎo)入機(jī)器學(xué)習(xí)模型，設(shè)置相關(guān)重要參數(shù)的初始值；
21、(2.2)在訓(xùn)練集和驗證集上使用超參數(shù)搜索方法對模型進(jìn)行訓(xùn)練，搜索模型的最佳參數(shù)組合；
22、(2.3)獲取當(dāng)前具有最佳參數(shù)的訓(xùn)練好的模型后，在測試集上對模型進(jìn)行測試，如果測試結(jié)果符合測試指標(biāo)要求，則將模型進(jìn)行保存，否則調(diào)整參數(shù)取值范圍，重復(fù)步驟(2.2)和步驟(2.3)。
23、較佳地，所述的步驟(3)具體包括以下步驟：
24、(3.1)獲取客戶端請求數(shù)據(jù)中每個數(shù)值字段在模型中對應(yīng)的決策邊界數(shù)據(jù)；
25、(3.2)獲取客戶端請求數(shù)據(jù)中每個類別字段數(shù)據(jù)包含的所有類別的類別數(shù)；
26、(3.3)根據(jù)步驟(3.1)和步驟(3.2)中得到的所有數(shù)值字段的決策邊界數(shù)和所有類別字段的類別數(shù)，枚舉所有可能的客戶端請求組合，計算所有可能的客戶端請求數(shù)nclient；
27、(3.4)獲取當(dāng)前的時間t，提取時間數(shù)據(jù)；獲取所有服務(wù)器的數(shù)據(jù)并處理；將時間數(shù)據(jù)與服務(wù)器數(shù)據(jù)與得到的客戶端請求數(shù)據(jù)進(jìn)行組合，得到完整的輸入特征數(shù)據(jù)，即n條輸入特征數(shù)據(jù)；可用服務(wù)器的數(shù)量為nserver，那么n＝nclient×nserver；
28、(3.5)將所述的n條輸入特征數(shù)據(jù)輸入到模型中，利用模型預(yù)測所述的n條輸入特征數(shù)據(jù)對應(yīng)的請求應(yīng)答耗時，得到n維的向量，重塑成nclient×nserver的矩陣d，并緩存；
29、(3.6)每間隔t重新查詢一次服務(wù)器信息，按照步驟(3.3)和步驟(3.4)中的方式重新計算所述步驟(3.5)中的請求應(yīng)答耗時矩陣d，更新緩存；
30、(3.7)在時間間隔t′內(nèi)，實時跟蹤記錄每臺服務(wù)器對客戶端請求的請求應(yīng)答次數(shù)，用長度為nserver的列表表示，記為c；列表c中每個元素代表其對應(yīng)服務(wù)器在t′內(nèi)的實時請求應(yīng)答次數(shù)，該列表對應(yīng)的服務(wù)器的順序與所述請求應(yīng)答耗時矩陣d中服務(wù)器的順序一致。
31、較佳地，所述的步驟(3.3)中計算所有可能的客戶端請求數(shù)nclient，具體為：
32、根據(jù)以下公式計算所有可能的客戶端請求數(shù)nclient：
33、
34、其中，客戶端請求數(shù)據(jù)中有m個數(shù)值字段，第i個字段對應(yīng)的決策邊界數(shù)據(jù)中的的數(shù)值個數(shù)為客戶端請求數(shù)據(jù)中有n個類別字段，第j個字段包含的類別數(shù)為
35、較佳地，所述的步驟(3.4)具體包括以下步驟：
36、(3.4.1本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(1)具體包括以下步驟：
3.根據(jù)權(quán)利要求2所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(1.2)具體包括以下步驟：
4.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(2)具體包括以下步驟：
5.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(3)具體包括以下步驟：
6.根據(jù)權(quán)利要求5所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(3.3)中計算所有可能的客戶端請求數(shù)Nclient，具體為：
7.根據(jù)權(quán)利要求5所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(3.4)具體包括以下步驟：
8.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智
9.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法，其特征在于，所述的步驟(5)具體包括以下步驟：
10.一種基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的系統(tǒng)，其特征在于，所述的系統(tǒng)包括：
11.一種用于實現(xiàn)基于機(jī)器學(xué)習(xí)模型預(yù)測進(jìn)行智能IP調(diào)度處理的裝置，其特征在于，所述的裝置包括：
12.一種用于實現(xiàn)基于機(jī)器學(xué)習(xí)模型預(yù)測進(jìn)行智能IP調(diào)度處理的處理器，其特征在于，所述的處理器被配置成執(zhí)行計算機(jī)可執(zhí)行指令，所述的計算機(jī)可執(zhí)行指令被所述的處理器執(zhí)行時，實現(xiàn)權(quán)利要求1至9中任一項所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法的各個步驟。
13.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計算機(jī)程序，所述的計算機(jī)程序可被處理器執(zhí)行以實現(xiàn)權(quán)利要求1至9中任一項所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能IP調(diào)度處理的方法的各個步驟。
...【技術(shù)特征摘要】
1.一種基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(1)具體包括以下步驟：
3.根據(jù)權(quán)利要求2所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(1.2)具體包括以下步驟：
4.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(2)具體包括以下步驟：
5.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(3)具體包括以下步驟：
6.根據(jù)權(quán)利要求5所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(3.3)中計算所有可能的客戶端請求數(shù)nclient，具體為：
7.根據(jù)權(quán)利要求5所述的基于機(jī)器學(xué)習(xí)模型預(yù)測實現(xiàn)智能ip調(diào)度處理的方法，其特征在于，所述的步驟(3.4)具體包括以下步驟：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：俞楓，羅春富，葉振博，梅克波，謝麗君，
申請(專利權(quán))人：國泰君安證券股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。