【技術實現步驟摘要】
本專利技術屬于無線通信，進一步涉及衛星通信技術，尤其涉及衛星網絡路由技術。
技術介紹
1、低軌(low?earth?orbit,leo)衛星網絡具有覆蓋面積大、通信距離遠、不受地理環境限制、組網靈活等特點，逐漸成為當前無線通信系統的一個熱點方向。但是低軌衛星網絡高動態性導致的網絡拓撲結構變化、通信鏈路不穩定，使得業務數據傳輸易中斷，無法保障終端用戶的服務質量。因此，如何在滿足差異化業務需求的同時，找到一條傳輸時延低、持續時間長、資源占用少的合適路徑，是保障低軌衛星網絡終端用戶服務質量問題的關鍵，是低軌衛星通信系統網絡路由技術研究的方向。
2、為了完成業務傳輸，路由策略必須滿足服務功能鏈(service?function?chain，sfc)約束，即從源節點到目標節點的業務要依次通過有相關服務功能的節點。現有研究中的大部分主要針對地面通信網絡，通常將該問題表述為整數線性規劃(integer?linearprogramming,ilp)優化問題，并采用傳統圖論或者啟發式的算法進行求解。還有少部分針對衛星網絡的，將該問題轉換為線性規劃(linear?programming,lp)問題，采用圖論方法進行求解。
3、但是已有的衛星通信網絡的路由研究方法存在路由計算復雜度高，以及獲取的網絡拓撲信息不完整等問題。
4、需要說明的是，上述內容僅用于幫助理解本申請的技術方案，并不作為評價本申請的現有技術的依據。
技術實現思路
1、因此，為解決上述現有技術的缺陷，本
2、輸入模塊，用于根據獲取的衛星網絡數據構建拓撲圖并生成節點屬性數據和歸一化鄰接矩陣；
3、圖神經網絡模塊，用于根據所述節點屬性數據和歸一化鄰接矩陣從所述拓撲圖中提取網絡特征；
4、強化學習模塊，包括選擇節點的策略，用于根據所述網絡特征、已選節點構成的路徑、起點、終點、最近一個選擇的節點，以及傳輸時間選擇下一個節點；
5、環境反饋模塊，用于根據所述下一個節點更新已選擇節點集合和所述路徑，計算選擇所述下一個節點的獎勵值和判斷路由選擇是否結束；以及
6、策略更新模塊，用于根據更新的已選擇節點集合、路徑和所述獎勵值計算累積獎勵期望并更新強化學習模塊的策略。
7、根據本專利技術的一個實施例，所述節點屬性數據包括：節點間距離，節點帶寬，節點容量，節點處理能力和節點功能。
8、根據本專利技術的一個實施例，所述鄰接矩陣用于記錄衛星網絡中物理節點之間的連接關系，包括路由的源節點和目的節點，源節點和目的節點為終端節點，并且假設節點與節點本身沒有連接關系。
9、根據本專利技術的一個實施例，所述歸一化鄰接矩陣通過以下方法獲得：
10、
11、其中，為歸一化鄰接矩陣，a為鄰接矩陣，為(a+in)的度矩陣，是對角矩陣，對角元素in為單位矩陣，+表示求和。
12、根據本專利技術的一個實施例，所述提取特征表示的方法可以表示為：
13、
14、其中，fgcn()表示經圖神經網絡模塊處理；xt表示t時刻的網絡節點屬性數據，由節點帶寬矩陣b、節點容量矩陣c、節點處理能力矩陣deal以及節點功能矩陣f拼接而成；表示第一卷積層的權重矩陣的轉置，表示第二卷積層的權重矩陣的轉置。
15、根據本專利技術的一個實施例，所述策略為：隨機產生任意小的數，并將其與自然數e的-0.4倍的當前迭代次數的次方進行比較，若小于則從未被選擇的鄰居節點集合中隨機選擇一個節點；若大于則從未被選擇的鄰居節點集合中選擇使得累積獎勵期望最大的節點。
16、根據本專利技術的一個實施例，所述獎勵值的計算方法為：時間延遲獎勵值與第一權重的乘積加上服務鏈功能約束獎勵值與第二權重的乘積，其中，第一權重與第二權重之和為1。
17、根據本專利技術的一個實施例，所述時間延遲獎勵值的計算方法為：選擇的一個節點與當前節點的距離除以電磁信號的傳播速度。
18、根據本專利技術的一個實施例，所述服務鏈功能約束獎勵值的計算方法為：當選擇的一個節點與服務功能鏈約束中當前應該選擇的功能節點相同時，服務鏈功能約束獎勵值取值為100乘以服務功能鏈約束中當前應該選擇的功能節點的序號；當選擇的一個節點與服務功能鏈約束中當前應該選擇的功能節點不相同，并且該節點確實是提供服務功能的節點，只是提供的功能不符合要求，則服務鏈功能約束獎勵值取值為-200；其它情況服務鏈功能約束獎勵值取值為10。
19、根據本專利技術的第二方面，提供一種用于上述任一所述的路由決策系統的訓練方法，包括以下步驟：
20、s1:獲取衛星網絡數據，據此構建拓撲圖并生成節點屬性數據和歸一化鄰接矩陣；
21、s2:使用歸一化矩陣和網絡節點屬性數據從拓撲圖中提取網絡特征；
22、s3:根據所述網絡特征、已選節點構成的路徑、起點、終點、最近一個選擇的節點、傳輸時間選擇下一個節點；
23、s4:根據所選擇的下一個節點更新已選擇節點集合和所述路徑，計算選擇所述下一個節點的獎勵值并判斷路由選擇是否結束，如果結束則執行s7，否則繼續執行；
24、s5:根據更新的路徑、已選擇節點集合，以及所述獎勵值計算累積獎勵期望并更新強化學習模塊的策略；
25、s6:重復執行步驟s3-s5預定次數；
26、s7:結束訓練。
27、根據本專利技術的第三方面，提供一種基于本專利技術第二方面所述訓練方法生成的路由決策系統，用于選擇衛星網絡通信的路由，所述路由決策系統包括：
28、輸入模塊：用于根據獲取的衛星網絡數據構建拓撲圖并生成節點屬性數據和歸一化鄰接矩陣；
29、圖神經網絡模塊：用于根據所述節點屬性數據和歸一化鄰接矩陣從所述拓撲圖中提取網絡特征；
30、強化學習模塊：包括選擇節點的策略，用于根據所述網絡特征、已選節點構成的路徑、起點、終點、最近一個選擇的節點，以及傳輸時間選擇下一個節點；
31、環境反饋模塊：用于根據所述下一個節點更新已選擇節點集合和所述路徑，計算選擇所述下一個節點的獎勵值和判斷路由選擇是否結束；
32、其中所述輸入模塊、圖神經網絡模塊、強化學習模塊和環境反饋模塊根據第一方面的系統訓練后獲得。
33、本專利技術綜合考慮星間、星地和用戶鏈路建立網絡模型，并根據3gpp協議構建服務功能鏈業務傳輸模型，采用圖神經網絡學習節點功能和鄰接節點的信息，采用強化學習在動態圖中選擇路徑節點并不斷優化策略，從而獲得了最優的功能順序路徑。
34、應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本申請。
本文檔來自技高網...【技術保護點】
1.一種用于路由決策系統的訓練系統，所述路由決策系統用于選擇衛星網絡通信的路由，所述訓練系統包括：
2.根據權利要求1所述的路由決策系統的訓練系統，所述節點屬性數據包括：節點間距離，節點帶寬，節點容量，節點處理能力和節點功能。
3.根據權利要求1所述的路由決策系統的訓練系統，所述鄰接矩陣用于記錄衛星網絡中物理節點之間的連接關系，包括路由的源節點和目的節點，源節點和目的節點為終端節點，并且假設節點與節點本身沒有連接關系。
4.根據權利要求3所述的路由決策系統的訓練系統，所述歸一化鄰接矩陣通過以下方法獲得：
5.根據權利要求1-4任一所述的路由決策系統的訓練系統，所述提取特征表示的方法可以表示為：
6.根據權利要求1-4任一所述的路由決策系統的訓練系統，所述策略為：隨機產生任意小的數，并將其與自然數e的-0.4倍的當前迭代次數的次方進行比較，若小于則從未被選擇的鄰居節點集合中隨機選擇一個節點；若大于則從未被選擇的鄰居節點集合中選擇使得累積獎勵期望最大的節點。
7.根據權利要求1-4任一所述的路由決策系統的訓練系統
8.根據權利要求7所述的路由決策系統的訓練系統，所述時間延遲獎勵值的計算方法為：選擇的一個節點與當前節點的距離除以電磁信號的傳播速度。
9.根據權利要求7所述的路由決策系統的訓練系統，所述服務鏈功能約束獎勵值的計算方法為：當選擇的一個節點與服務功能鏈約束中當前應該選擇的功能節點相同時，服務鏈功能約束獎勵值取值為100乘以服務功能鏈約束中當前應該選擇的功能節點的序號；當選擇的一個節點與服務功能鏈約束中當前應該選擇的功能節點不相同，并且該節點確實是提供服務功能的節點，只是提供的功能不符合要求，則服務鏈功能約束獎勵值取值為-200；其它情況服務鏈功能約束獎勵值取值為10。
10.一種用于權利要求1-9之一所述的路由決策系統的訓練方法，包括以下步驟：
11.一種路由決策系統，用于選擇衛星網絡通信的路由，所述路由決策系統包括：
...【技術特征摘要】
1.一種用于路由決策系統的訓練系統，所述路由決策系統用于選擇衛星網絡通信的路由，所述訓練系統包括：
2.根據權利要求1所述的路由決策系統的訓練系統，所述節點屬性數據包括：節點間距離，節點帶寬，節點容量，節點處理能力和節點功能。
3.根據權利要求1所述的路由決策系統的訓練系統，所述鄰接矩陣用于記錄衛星網絡中物理節點之間的連接關系，包括路由的源節點和目的節點，源節點和目的節點為終端節點，并且假設節點與節點本身沒有連接關系。
4.根據權利要求3所述的路由決策系統的訓練系統，所述歸一化鄰接矩陣通過以下方法獲得：
5.根據權利要求1-4任一所述的路由決策系統的訓練系統，所述提取特征表示的方法可以表示為：
6.根據權利要求1-4任一所述的路由決策系統的訓練系統，所述策略為：隨機產生任意小的數，并將其與自然數e的-0.4倍的當前迭代次數的次方進行比較，若小于則從未被選擇的鄰居節點集合中隨機選擇一個節點；若大于則從未被選擇的鄰居節點集合中選擇使得累積獎勵期望最大的節點。
7.根據權利...
【專利技術屬性】
技術研發人員：陳巖，曹歡，胡金龍，石晶林，周一青，陳道進，劉子凡，王龍河，
申請(專利權)人：中國科學院計算技術研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。