【技術實現步驟摘要】
本專利技術屬于終端接入，尤其涉及一種基于強化學習的端系統接入時延抖動優化方法。
技術介紹
1、近年來，人們對能夠隨時隨地以高質量接入寬帶無線網絡的需求日益強烈，適應不同場景的多種無線網絡技術獲得了迅速的發展。移動蜂窩網絡從全球移動通訊系統(gsm)發展到通用移動通信系統(umts)，又發展到長期演進技術(lte)，提供了大范圍的網絡覆蓋以及無縫移動性保障；此外，一系列802.11無線局域網wlan標準和802.16無線城域網wimax(全球微波接入互操作性)標準的建立，為用戶提供了高速率的無線連接。在gsm基站信號覆蓋范圍內，同時加入lte、wlan、wimax等無線接入點，以方便人們傳輸數據的方式成為業界的通用模式，從而逐步形成多種網絡共同存在、信號覆蓋范圍重疊的異構無線網絡hwns。與此同時，各種網絡的信號覆蓋范圍、上下行傳輸速率和最適合支持的業務類型等都有所不同，任何一種網絡技術無法同時很好地支持所有不同的用戶業務。隨著hwns的發展，在這些網絡在各自的演進過程中彼此相互競爭、相互補充、相互促進，最終使hwns融合成為必然。在hwns融合過程中，各無線網絡通過不同的架構和協議作為接入網絡和用戶連接，匯聚后各無線網絡通過公共ip核心網進行互聯，多模移動終端用戶可以選擇某一個接入點，通過公共的ip核心網訪問internet，網絡接入選擇是hwns融合的關鍵技術之一，其主要功能是對用戶的接入請求進行控制，并選擇某一個網絡為用戶提供連接服務。如何利用hwns在不同接入技術、重疊網絡架構、多業務流量負載等方面的特點，在為用戶提供接入
2、網絡接入選擇算法的設計直接關系到用戶體驗和網絡資源利用率。目前現有技術在hwns接入選擇算法方面已經做了大量研究，縱觀各種算法，根據判斷標準本文將其劃分為基于接收信號強度(rss，received?signal?strength)、負載均衡和業務qos的接入選擇算法，根據算法所采用的數學模型，又將其劃分為基于多屬性決策判決、效用函數、模糊邏輯、博弈論等的接入選擇算法。
3、由于網絡終端應用的不斷發展和進步，其對于網絡性能的需求也在不斷提高。目前由于越來越多實時性高的流量出現，5g終端設備對于網絡提供的時延抖動要求越來越高，在保證低時延的要求下，還需要接入節點提供非常低的時延抖動性能。目前，5g終端接入算法在實現高速率、低延遲和高可靠性方面取得了顯著進展。5g網絡采用了多種先進技術，如大規模多輸入多輸出mimo、波束成形和毫米波頻段，以優化終端接入性能。接入算法在資源分配、干擾管理和負載均衡等方面都有所提升，使得5g網絡能夠支持更多的終端設備和更高的數據速率。但并沒有智能化接入技術是以時延抖動為主要性能進行接入判斷。
技術實現思路
1、針對現有技術中的上述不足，本專利技術提供的一種基于強化學習的端系統接入時延抖動優化方法，解決了現有接入技術沒有以時延抖動為主要性能進行接入判斷以及5g移動端復雜多變的網絡場景難以應對的問題。
2、為了達到以上目的，本專利技術采用的技術方案為：一種基于強化學習的端系統接入時延抖動優化方法，包括以下步驟：
3、s1、利用隨機接入算法對5g接入設備接入網絡接入點，利用接入選擇算法，獲取基于接入選擇算法的強化學習模型；
4、s2、對基于接入選擇算法的強化學習模型進行訓練，將已訓練的強化學習模型向下傳輸至使用該接入節點進行網絡傳輸的所有5g終端設備；
5、s3、利用5g終端設備采集網絡接入點的網絡信息；
6、s4、將采集到的所有網絡信息進行量化并組合為網絡狀態矩陣，將網絡狀態矩陣輸入至已訓練的強化學習模型，輸出量化值，根據輸出的量化值，選擇出最優時延抖動性能對應的網絡接入點，并進行網絡切換；
7、s5、將5g終端設備接入網絡，獲取最優時延抖動性能對應的網絡接入點的網絡服務，完成端系統接入時延抖動優化。
8、本專利技術的有益效果為：本專利技術通過使用接入選擇算法、強化學習模型以及數據采集，實現了以時延抖動為主要性能的接入判斷并使5g移動端能夠有效地應對復雜多變的網絡場景。
9、進一步地，所述s1的具體步驟如下：
10、利用隨機接入算法，在5g接入設備中隨機生成帶有運營商接入節點標識的網絡接入點，根據運營商接入節點標識，利用5g終端設備連接對應運營商的5g網絡，并根據網絡接入點利用接入選擇算法，獲取基于接入選擇算法的強化學習模型。
11、再進一步地，所述s2包括以下步驟：
12、s201、獲取5g接入設備中各個接入節點基于接入選擇算法的強化學習模型以及訓練數據集，并使用馬爾可夫模型對基于接入選擇算法的強化學習模型以及訓練數據集進行初始化；
13、s202、利用接入節點采集5g終端上傳的網絡數據，并接入設備參數和設備性能，組合得到數據訓練樣本，基于數據訓練樣本，利用q學習訓練強化學習模型的參數；
14、s203、判斷時間是否達到訓練周期或是否有終端請求模型參數，若是，則執行s204，否則執行s202；
15、s204、利用已訓練的強化學習模型的參數，通過優化強化學習模型的目標函數，訓練基于接入選擇算法的強化學習模型；
16、s205、將已訓練的強化學習模型向下傳輸至使用該接入節點進行網絡傳輸的所有5g終端設備；
17、所述強化學習模型的目標函數的表達式如下所示：
18、
19、其中，l(θ)表示強化學習模型的目標函數，rt(θ)表示獎勵比值，ε表示優勢函數的估計因子，表示優勢函數的估計因子中一個正數，clip(·)表示對比語言-圖像預訓練，θ表示強化學習的模型參數，θold表示前一輪強化學習的模型參數，at表示執行動作，st表示狀態，πθ表示強化學習的模型參數的算法策略，πθold表示前一輪強化學習的模型參數的算法策略。
20、上述進一步方案的有益效果為：本專利技術利用馬爾可夫模型，對以往接入狀態和網絡性能加以學習和強化，并訓練網絡參數，提高了進行節點選擇的網絡時延抖動性能。
21、再進一步地，所述s3包括以下步驟：
22、s301、將網絡狀態信息分為終端節點網絡信息、接入節點狀態信息以及流狀態信息；
23、s302、利用5g終端設備采集終端節點網絡信息；
24、s303、利用5g終端設備采集接入節點狀態信息；
25、s304、利用5g終端設備采集流狀態信息。
26、上述進一步方案的有益效果為：本專利技術采集明確的網絡狀態信息，包括終端節點網絡信息、接入節點狀態信息以及流狀態信息，提高了網絡狀態信息組合成的網絡狀態矩陣的精確性，并使強化學習接入選擇模型擁有了更準確的實際數據，提高了本專利技術應對復雜變化的5g移動端網絡場景的能力。
本文檔來自技高網...【技術保護點】
1.一種基于強化學習的端系統接入時延抖動優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于強化學習的端系統接入時延抖動優化方法，其特征在于，所述S1的具體步驟如下：
3.根據權利要求1所述的基于強化學習的端系統接入時延抖動優化方法，其特征在于，所述S2包括以下步驟：
4.根據權利要求3所述的基于強化學習的端系統接入時延抖動優化方法，其特征在于，所述強化學習模型的目標函數的表達式如下所示：
5.根據權利要求1所述的基于強化學習的端系統接入時延抖動優化方法，其特征在于，所述S3包括以下步驟：
【技術特征摘要】
1.一種基于強化學習的端系統接入時延抖動優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于強化學習的端系統接入時延抖動優化方法，其特征在于，所述s1的具體步驟如下：
3.根據權利要求1所述的基于強化學習的端系統接入時延抖動優化方法，其特征...
【專利技術屬性】
技術研發人員：朱海龍，張國翊，黃昱，謝俊毅，胡家琪，張思拓，陳寶仁，
申請(專利權)人：中國南方電網有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。