System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及云計算技術與數據中心,尤其是一種基于數據特征的云資源負載預測方法、裝置、設備及介質。
技術介紹
1、云計算具有強大的網絡計算能力,能夠在分布式并行計算的基礎上短時間內處理大量數據。隨著云服務需求的日益增長,云平臺的資源分配使分布式云平臺的安全性、服務質量和成本問題均面臨挑戰,并且工作負載的增加對分布式云平臺的數據存儲和內存容量產生巨大的壓力。因此,如何實現高效的資源管理是云平臺需要解決的主要問題。
2、現有技術通過云資源負載預測來進行云資源的高效管理,通過云資源負載預測避免資源過度分配或分配不足的問題,并且能夠助力云企業提前規劃決策。但在云計算中,各類計算資源消耗不均,且由于云資源的負載特征的高動態性和無規律性,使得云資源負載預測具有一定的挑戰性。
3、現有技術通過訓練預測模型的方式來進行云資源負載預測,例如,傳統的時間序列模型、機器學習模型和深度學習模型。但,時間序列模型主要針對線性平穩時間序列,對高波動、非平穩的長時間序列預測性能較差;機器學習模型對于時間序列較長的負載數據魯棒性不強,預測性能較差;深度學習模型存在長時間序列丟失問題,導致預測結果不準確的問題。
技術實現思路
1、本申請人針對上述問題及技術需求,提出了一種基于數據特征的云資源負載預測方法、裝置、設備及介質,用以解決現有技術在進行云資源負載預測時預測結果準確性差的問題,實現利用多網絡的聯合以及隱藏特征的提取,提高預測結果的準確性。
2、本申請實施例提供了一種基于數據特征
3、獲取云平臺運行時預設時間段內的運行數據,其中,所述運行數據包括:cpu利用率、內存利用率、傳入網絡包、傳出網絡包和磁盤空間利用率;
4、將所述運行數據輸入預先訓練的森林選擇模型,得到所述森林選擇模型輸出的關鍵參數,其中,所述關鍵參數為所述運行數據中的任一項,所述森林選擇模型基于運行數據樣本和關鍵參數樣本訓練得到;
5、基于模態分解算法對所述關鍵參數進行分解操作,得到多個子序列;
6、構建二維子序列,將得到的二維子序列輸入預先訓練的負載預測模型,通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征;將所述隱藏特征輸入長短期記憶網絡得到所述二維子序列對應的預測值,其中,所述負載預測模型基于二維子序列樣本和預測值樣本訓練得到;
7、對每個所述預測值進行求和處理,將得到的求和結果確定為云資源負載預測值。
8、根據本申請一個實施例的基于數據特征的云資源負載預測方法,通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
9、通過卷積神經網絡的第一卷積層得到第一特征圖,以及通過所述卷積神經網絡的第二卷積層得到第二特征圖;
10、基于所述第一特征圖和所述第二特征圖生成全局平均池化通道對應的平均特征和最大池化通道對應的最大特征;
11、基于所述注意力機制,利用所述平均特征和所述最大特征得到所述隱藏特征。
12、根據本申請一個實施例的基于數據特征的云資源負載預測方法,所述通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
13、通過特征提取公式得到所述隱藏特征;
14、其中,所述特征提取公式包括:
15、f1=conv1(imf(t));
16、f2=conv2(f1);
17、
18、fc=[favg,fmax];
19、sc=σ(w2δ(w1fc));
20、fcout=sc⊙f2;;
21、fout=convnext(fcout);
22、其中,f1表示第一特征圖,imf(t)表示二維子序列,conv1(imf(t))表示通過第一卷積層對二維子序列行卷積操作,f2表示第二特征圖,conv2(f1)表示通過第二卷積層對第一特征圖進行卷積操作,favg表示平均特征,fmax表示最大特征,f2[:,i,j]表示在第二特征圖的(i,j)位置處的所有通道的特征值,fc表示favg和fmax的并集,sc表示通道關注權重,用于表征通道的重要性,σ表示sigmoid函數,w2表示卷積神經網絡中的第二個全連接層的權重矩陣,δ表示激活函數,w1表示卷積神經網絡中的第一個全連接層的權重矩陣,fcout表示新特征,fout表示最終的隱藏特征。
23、根據本申請一個實施例的基于數據特征的云資源負載預測方法,將所述隱藏特征輸入長短期記憶網絡得到所述二維子序列對應的預測值,包括:
24、通過預測公式得到所述預測值;
25、其中,所述預測公式包括:
26、ft=σ(w(f)imfp(t)+u(f)h(t-1));
27、it=σ(wihht-1+wiimfpimfp(t)+bi);
28、ot=o(w(o)imfp(t)+u(o)h(t-1));
29、
30、ht=ot·tanh(ct);
31、
32、imfyk(t)=wp+ht+bp;
33、其中,imfyk(t)表示第k個mf分量在時間t的預測值,h(t-1)表示上一時刻的隱藏狀態,imfp(t)表示與隱藏特征對應的一維特征,wih為輸入門權重矩陣中的權重,用于連接imfp(t)和h(t-1)的交互,it表示輸入門的狀態,ot表示輸出門的狀態,w(f)表示忘記門的權重矩陣,u(f)表示忘記門的遞歸權重矩陣,w(i)表示輸入門的權重矩陣,w(o)表示輸出門的權重矩陣,u(o)表示輸出門的遞歸權重矩陣,w(c)表示候選細胞狀態的權重矩陣、u(c)表示候選細胞狀態的遞歸權重矩陣,bi表示輸入門的偏置項,it表示輸入門的激活值,wp表示權重矩陣,bp表示偏置項,ct表示t時刻的細胞狀態,ht表示當前時刻的隱藏狀態,w(i)imfp表示輸入門的另一權重矩陣,表示候選細胞狀態,c(t-1)表示上一時刻的細胞狀態。
34、根據本申請一個實施例的基于數據特征的云資源負載預測方法,將所述運行數據輸入預先訓練的森林選擇模型,得到所述森林選擇模型輸出的關鍵參數,包括:
35、將所述運行數據輸入所述森林選擇模型,通過所述森林選擇模型確定每個參數的重要性評分,將最大的重要性評分對應的參數確定為所述關鍵參數;
36、其中,通過評分公式,確定每個參數的重要性評分:
37、
38、其中,msebefore表示分裂前的均方誤差,n表示第g個森林節點中運行數據的數量,yi表示第g個森林節點對應的目標值,表示第g個森林節點對應的樣本均值,mseafter表示分裂后的均方誤差,nl表示第g個森林節點中左子節點中運行數據的數量,nr表示第g個森林節點中右子節點中運行數據的數量,msel表示左子節點對應的均方差,mser表示右子節點對應的本文檔來自技高網...
【技術保護點】
1.一種基于數據特征的云資源負載預測方法,其特征在于,所述方法包括:
2.根據權利要求1所述的基于數據特征的云資源負載預測方法,其特征在于,通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
3.根據權利要求2所述的基于數據特征的云資源負載預測方法,其特征在于,所述通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
4.根據權利要求1-3任一項所述的基于數據特征的云資源負載預測方法,其特征在于,將所述隱藏特征輸入長短期記憶網絡得到所述二維子序列對應的預測值,包括:
5.根據權利要求1-3任一項所述的基于數據特征的云資源負載預測方法,其特征在于,將所述運行數據輸入預先訓練的森林選擇模型,得到所述森林選擇模型輸出的關鍵參數,包括:
6.根據權利要求1-3任一項所述的基于數據特征的云資源負載預測方法,其特征在于,所述關鍵參數包括:所述CPU利用率;
7.根據權利要求6所述的基于數據特征的云資源負載預測方法,其特征在于,基于模態分解算法對所述關鍵參數進行分解操作,得到多
8.一種基于數據特征的云資源負載預測裝置,其特征在于,所述裝置包括:
9.一種電子設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執行所述程序時實現如權利要求1至7任一項所述的基于數據特征的云資源負載預測方法的步驟。
10.一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,該計算機程序被處理器執行時實現如權利要求1至7任一項所述的基于數據特征的云資源負載預測方法的步驟。
...【技術特征摘要】
1.一種基于數據特征的云資源負載預測方法,其特征在于,所述方法包括:
2.根據權利要求1所述的基于數據特征的云資源負載預測方法,其特征在于,通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
3.根據權利要求2所述的基于數據特征的云資源負載預測方法,其特征在于,所述通過卷積神經網絡中嵌入的注意力機制得到所述二維子序列對應的隱藏特征,包括:
4.根據權利要求1-3任一項所述的基于數據特征的云資源負載預測方法,其特征在于,將所述隱藏特征輸入長短期記憶網絡得到所述二維子序列對應的預測值,包括:
5.根據權利要求1-3任一項所述的基于數據特征的云資源負載預測方法,其特征在于,將所述運行數據輸入預先訓練的森林選擇模型,得到所述森林選擇模型輸出的關鍵參數,包括:
...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。