【技術實現步驟摘要】
本專利技術涉及一種基于gnn和transformer模型的網絡建模方法，屬于計算機網絡。
技術介紹
1、網絡模型是設計、構建和評估計算機網絡的關鍵工具之一，它通過模擬網絡行為，幫助設計者評估協議性能、預測協議行為，以及進行網絡性能評估、網絡拓撲設計、網絡資源分配和網絡優化。例如，設計者可以使用網絡模型評估不同協議在網絡中的延遲、吞吐量和丟包率，預測路由協議如何選擇路徑，評估不同網絡拓撲結構的性能，選擇最優的資源分配方案，以及優化網絡配置以提高網絡性能。
2、傳統的網絡模型，例如排隊論和基于數據包級別的模型，雖然應用廣泛，但存在著一些局限性。排隊論模型對流量模型的假設過于嚴格，難以模擬現實網絡中的復雜流量特性；而數據包級別模型雖然能夠精確模擬網絡行為，但計算成本高，難以滿足實時網絡優化的需求。例如，在單個1gbps鏈路上，數據包數量可能在每秒數百萬的范圍內。因此，在考慮具有實際流量的大型網絡時，這種方法速度緩慢且不切實際。鑒于這類模型在處理時間上的限制，它們對于在線網絡優化的適用性受到了嚴重制約。
技術實現思路
1、為了克服如何通過神經網絡來為某些特定場景專利技術一種更先進的技術問題，本專利技術提供了一種能夠準確地對復雜的流量特征進行建模，同時擴展到大型真實世界網絡的基于gnn和transformer模型的網絡建模方法。
2、一種基于gnn和transformer模型的網絡建模方法，包括以下步驟：
3、步驟一：數據收集：收集在模擬中生成或是實際工作
4、步驟二：數據預處理：將網絡樣本轉換為圖結構，其中節點表示網絡設備，邊表示連接設備之間的鏈路，同時為每個節點和邊提取特征，如流量特征、鏈路容量、隊列大小和隊列優先級；
5、步驟三：構建消息傳遞神經網絡：消息傳遞神經網絡包括gnn級聯模塊，transformer級聯模塊和特定指標讀出模塊三部分，使用不同的函數初始化流、隊列和鏈路的隱藏狀態，將流、隊列和鏈路特征編碼為固定大小的向量，代表特征嵌入，使用gnn網絡進行t次消息傳遞迭代，每個迭代包括三個階段：流的隱藏狀態消息傳遞和更新、隊列的隱藏狀態消息傳遞和更新、鏈路的隱藏狀態消息傳遞和更新，接著將這些特征輸入到transformer網絡中，利用其自注意力機制進一步處理特征或學習圖之間的依賴關系，使用讀出函數計算每個流的性能指標；
6、步驟四：訓練網絡：將預處理后的訓練集劃分為訓練集和驗證集，用于訓練模型和評估模型性能，將訓練集圖像輸入消息傳遞神經網絡中，經過gnn級聯模塊，transformer級聯模塊和特定指標讀出模塊三部分，生成對每個流的性能指標的預測；再使用驗證集計算均方誤差和系數決定進行損失計算，反向傳播，通過選定的優化器和相應對應參數對權重進行優化，進行多次訓練后得到網絡模型；
7、步驟五：模型評估：使用未見過的網絡樣本評估模型預測網絡性能的泛化能力，包括不同的拓撲結構、流量模型和路由配置，并與真值進行比較，計算各項評價指標。
8、所述步驟二具體包括：
9、進行網絡圖的構建，將網絡中的設備作為圖中的節點，設備之間的連接作為圖中的邊，從每個節點和邊中提取相關的特征信息，包括設備類型、功能、流量特征、隊列信息、鏈路容量、隊列信息等。再對數值特征進行歸一化處理，將提取的特征與節點和邊的連接關系組合在一起，構建網絡圖數據集。
10、所述步驟三具體包括：
11、所述gnn級聯模塊由多個循環神經網絡構建流向隊列，同時使用自回歸算法對網絡內部和外部進行多次循環后輸出到transformer級聯模塊，
12、循環神經網絡每個輸入特征首先被逐個輸入到網絡中，網絡內部有一個可訓練的隱藏狀態，該狀態在處理序列中的每個元素時都會更新，在循環神經網絡中，特定的隱藏狀態扮演著潛在嵌入空間的角色，每個輸入特征被逐個送入網絡，與上一時刻的隱藏狀態一起經過一個可訓練的線性層，線性層將輸入特征和上一時刻的隱藏狀態映射到一個新的隱藏狀態，隱藏狀態包含了當前輸入和之前輸入的信息，循環神經網絡通常不顯式地學習位置信息，通過遞歸結構隱含地捕捉序列中的順序信息，在循環神經網絡中，沒有顯式的查詢向量矩陣、鍵向量矩陣和值向量矩陣，隱藏狀態本身就在每個時間步長中更新，以反映序列中當前位置的信息，這個過程可以描述為：
13、ht＝f(w*xt+u*ht-1+b)
14、其中ht是當前時間步長的隱藏狀態，xt是當前輸入特征，w是輸入特征的權重矩陣，u是隱藏狀態的權重矩陣，b是偏置項，f是一個非線性激活函數；
15、接著將gnn級聯模塊提取到的圖特征輸入到transformer級聯模塊，所述級聯transformer模塊由數個共享參數的transformer塊組成，transformer塊由一個多頭自注意力機制網絡和一個前饋網路組成，通過自注意力機制來計算特征的長距離依賴關系，每個輸入特征首先被展開為一個一維序列，每個序列通過一個可訓練的線性投影層映射到一個潛在的d維嵌入空間，特定的位置嵌入被學習并添加到補丁嵌入，以保留位置信息，添加了位置信息后的補丁經過線性層生成查詢向量矩陣、鍵向量矩陣和值向量矩陣三個矩陣，再將三個矩陣送入多頭注意力機制操作來計算相互之間的注意力：
16、att(q,k,v)＝ω(qkt)v
17、其中att(q,k,v)是得到的注意力的值，q、k、v分別是查詢向量矩陣、鍵向量矩陣和值向量矩陣，這三個矩陣中每一行分別代表一個對應的向量；
18、將經過transformer處理后含有更多長序列中的長距離依賴關系的信息送入特定指標讀出模塊，并計算鏈路負載，端到端的流延遲，所有鏈路延遲的總和等參數，
19、
20、
21、
22、
23、其中，是鏈路負載，是流f在鏈路lj上的負載，λf是流f的平均流量，是隊列延遲，是傳輸延遲，是讀出函數，xfps是平均數據包大小，xlc是鏈路容量，dlink是鏈路延遲。
24、所述步驟四具體包括：
25、將訓練集中的網絡樣本輸入消息傳遞神經網絡中，經過gnn級聯模塊，transformer級聯模塊和特定指標讀出模塊，生成對應網絡樣本的性能指標，再使用驗證集計算均方誤差和系數決定進行損失計算：
26、
27、均方誤差是衡量模型預測值與實際值差異的一種方法，計算的是預測值與實際值之間差的平方的平均值，mse對較大的誤差賦予較高的權重，對于異常值非常敏感；
28、
29、系數決定，通常稱為r2或決定系數，衡量的是模型對總變異的解釋程度；
30、
31、其中，ssres是殘差平方和，sstot是總平方和，r2的值范圍從0到1，值越接近本文檔來自技高網...
【技術保護點】
1.一種基于GNN和Transformer模型的網絡建模方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于GNN和Transformer模型的網絡建模方法，其特征在于：所述步驟二具體包括：
3.根據權利要求1所述的一種基于GNN和Transformer模型的網絡建模方法，其特征在于：所述步驟三具體包括：
4.根據權利要求1所述的一種基于GNN和Transformer模型的網絡建模方法，其特征在于：所述步驟四具體包括：
5.根據權利要求1所述的一種基于GNN和Transformer模型的網絡建模方法，其特征在于：所述步驟五具體包括：
【技術特征摘要】
1.一種基于gnn和transformer模型的網絡建模方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于gnn和transformer模型的網絡建模方法，其特征在于：所述步驟二具體包括：
3.根據權利要求1所述的一種基于gnn和transformer模型的網...
【專利技術屬性】
技術研發人員：張繼勇，陳晨，周曉飛，唐江平，鮑柳昕，李世峰，何帆，
申請(專利權)人：杭州電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。