【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，屬于通信。
技術(shù)介紹
1、低軌衛(wèi)星互聯(lián)網(wǎng)以其全天候、廣覆蓋、大容量的特點成為地面網(wǎng)絡(luò)的有益延伸和補充。隨著各種機器類通信用戶設(shè)備的爆炸式增長，其接入需求急劇增長。隨遇接入方法中每個用戶設(shè)備以隨機競爭方式接入信道，無需與系統(tǒng)或其他設(shè)備進(jìn)行協(xié)商，無需向接入點申請授權(quán)，不需要信令傳輸，做到隨到即發(fā)，無需等待，提高了用戶設(shè)備短數(shù)據(jù)包的傳輸效率。隨遇接入方法因其頻譜效率高、靈活性高、信令開銷低和接入時延低的特點，成為承載大規(guī)模機器型通信業(yè)務(wù)的低軌衛(wèi)星互聯(lián)網(wǎng)的重要接入方案。
2、目前，研究者通常將功率-時隙或碼本-時隙的非正交多址接入方案應(yīng)用于隨遇接入系統(tǒng)，使同一信道內(nèi)的多用戶傳輸成為可能。基于稀疏碼接入的隨遇接入方案利用非正交碼本和先進(jìn)的多用戶檢測算法，使通信系統(tǒng)能夠在過載條件下工作。而基于功率域的非正交隨機多址接入方案，利用信號的功率差異和連續(xù)干擾消除技術(shù)，使多個用戶設(shè)備共享相同的頻譜資源。然而，由于隨遇接入過程的非合作性質(zhì)，一些衛(wèi)星用戶設(shè)備可能選擇相同的資源傳輸數(shù)據(jù)包，導(dǎo)致碰撞沖突，系統(tǒng)吞吐量下降。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)解決的技術(shù)問題是：克服現(xiàn)有技術(shù)的不足，提供了一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，改善了時隙aloha類方法存在的過臨界負(fù)載點后的吞吐量斷崖式下跌問題，設(shè)計了基于擁塞控制的強化學(xué)習(xí)獎勵機制，使系統(tǒng)在過載后持續(xù)保持較高的吞吐量，提升了過載后系統(tǒng)的吞吐量。
2、本專利技術(shù)的技術(shù)解決方案是：
3、構(gòu)建基于單顆衛(wèi)星的多個用戶上行鏈路隨遇接入傳輸場景；
4、根據(jù)所述隨遇接入傳輸場景，建立碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入模型；
5、設(shè)計所述非正交多址隨遇接入模型的隨機接入策略空間，并對策略空間進(jìn)行解耦降維優(yōu)化；
6、依據(jù)優(yōu)化后的隨機接入策略空間，設(shè)計非正交多址隨遇接入模型的優(yōu)化函數(shù)，建立以系統(tǒng)吞吐量最大化為目標(biāo)的優(yōu)化問題；
7、求解所述優(yōu)化問題，得到每個用戶設(shè)備的最優(yōu)碼本、功率等級、時隙最佳接入方案，實現(xiàn)多用戶接入；
8、建立碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入數(shù)據(jù)包檢測模型，對接入的多用戶數(shù)據(jù)包進(jìn)行檢測和統(tǒng)計；
9、根據(jù)檢測和統(tǒng)計的結(jié)果，建立碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入方法評價指標(biāo)，進(jìn)行多用戶接入性能分析。
10、進(jìn)一步地，所述碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入模型為基于隨機預(yù)編碼和功率復(fù)用的多維度聯(lián)合優(yōu)化接入模型，多維度的資源包括時域、碼域、功率域。
11、進(jìn)一步地，所述隨機接入策略空間包括：用戶設(shè)備有l(wèi)個功率等級供選，功率集表示為p＝[p1,...,pl,...,pl]，其中pl＝γ(γ+1)l-l，表示第l個功率等級，γ＝2r-1表示目標(biāo)信干噪比，r為傳輸速率；碼本共有v個，稀疏碼本集表示為c＝[c1,...,cv,...,cv]，其中碼本cv的長度為m個時隙；一個幀包含n個子幀，第n個子幀表示為tn，1≤n≤n，每個用戶設(shè)備隨機選擇一種功率電平和碼本，隨機在每個子幀中進(jìn)行接入；最大過載系數(shù)為ρ＝vl/m，即最大可譯碼的衛(wèi)星用戶設(shè)備數(shù)量與子幀中時隙數(shù)量的比率，系統(tǒng)的歸一化吞吐量最大值為ρ；基于隨機接入模型的策略空間為{p,c,t}，策略空間維度大小為l×v×n；將策略空間解耦為子幀{t}和功率-碼本{p,c}兩個域，所有用戶先在子幀{t}中進(jìn)行隨機選擇，若無沖突在則進(jìn)入功率-碼本{p,c}中進(jìn)行隨機選擇，若存在沖突則重新進(jìn)行子幀選擇。
12、進(jìn)一步地，所述優(yōu)化問題的優(yōu)化目標(biāo)為吞吐量最大化，目標(biāo)函數(shù)為系統(tǒng)總吞吐量，即未發(fā)生子幀、碼本和功率碰撞的成功解碼用戶數(shù)與系統(tǒng)時域時隙數(shù)目的比值，約束條件分別為用戶數(shù)目、時間子幀數(shù)目、碼本數(shù)目、功率級數(shù)目。
13、進(jìn)一步地，所述求解所述優(yōu)化問題，包括：
14、構(gòu)建解耦分布式強化學(xué)習(xí)算法，將衛(wèi)星網(wǎng)絡(luò)中的每個設(shè)備接入過程建模為兩個解耦的馬爾可夫決策過程，每個設(shè)備根據(jù)接收來自衛(wèi)星的反饋信息分布式地學(xué)習(xí)接入時隙、功率級、碼本，并分別利用相應(yīng)的q值函數(shù)和獎勵函數(shù)更新其兩個q表，根據(jù)兩個q表選擇q值最高的子幀和碼本-功率對后，設(shè)備開始傳輸信息，此過程一直持續(xù)到收斂為止，直到每個設(shè)備都能為其傳輸找到最佳的子幀、碼本和功率級，最后按此上行隨機接入到衛(wèi)星。
15、進(jìn)一步地，所述隨遇接入數(shù)據(jù)包檢測模型根據(jù)消息傳遞聯(lián)合連續(xù)干擾消除算法建立，衛(wèi)星透明轉(zhuǎn)發(fā)物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)到地面信關(guān)站，實現(xiàn)針對碼域、功率域的多時隙多用戶聯(lián)合檢測算法。
16、進(jìn)一步地，在時域上行鏈路中，允許多個用戶設(shè)備通過使用不同的發(fā)射功率、碼本共享同一時頻資源；衛(wèi)星接收端采用消息傳遞聯(lián)合串行干擾消除方法進(jìn)行多用戶檢測；
17、先采用消息傳遞算法檢測器對yn中用戶的碼本進(jìn)行檢測，當(dāng)碼本無沖突時，碼域解碼成功并將其從接收信號中去除；反之，當(dāng)檢測到碼本沖突時，使用連續(xù)干擾消除方法對碰撞包的功率進(jìn)行檢測；當(dāng)目標(biāo)信干噪比大于預(yù)設(shè)閾值時，用戶設(shè)備數(shù)據(jù)包消息解碼成功，并從接收數(shù)據(jù)包中刪除；此過程將重復(fù)進(jìn)行，直到解出所有數(shù)據(jù)包為止
18、進(jìn)一步地，所述隨遇接入方法評價指標(biāo)包括多用戶接入的歸一化吞吐量、算法收斂時間以及過負(fù)載的歸一化吞吐量；
19、進(jìn)一步地，通過與使用碼本和時隙作為策略空間的方法，使用功率和時隙作為策略空間的方法，使用功率域和碼域作為策略空間、但未使用策略空間解耦的q學(xué)習(xí)方法，與使用功率域和碼域作為策略空間、但采用強化學(xué)習(xí)進(jìn)行動作選擇優(yōu)化方法進(jìn)行對比和性能分析；所述q學(xué)習(xí)方法為解耦分布式強化學(xué)習(xí)算法。
20、一種計算機可讀存儲介質(zhì)，所述的計算機可讀存儲介質(zhì)存儲有計算機程序，所述的計算機程序被處理器執(zhí)行時實現(xiàn)所述一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨機接入方法的步驟。
21、一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨機接入設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述的處理器執(zhí)行所述的計算機程序時實現(xiàn)所述一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨機接入方法的步驟。
22、本專利技術(shù)與現(xiàn)有技術(shù)相比的優(yōu)點在于：
23、(1)本專利技術(shù)有效解決了大規(guī)模用戶在突發(fā)接入場景下的接入成功率低問題，通過提出多維度聯(lián)合的scma-noma-sa隨遇接入?yún)f(xié)議，用戶通過隨機復(fù)用時隙、碼本、功率來提升接入維度并增大了競爭空間。
24、(2)本專利技術(shù)為了解決scma-noma-sa中的功率、碼本和時隙的碰撞沖突問題，提出基于強化學(xué)習(xí)的優(yōu)化方法，有效地解決了功率、碼本和時隙的碰撞問題，提升了接入效率。
25、(3)本專利技術(shù)克服了傳統(tǒng)強化學(xué)習(xí)算法在策略空間和動作集較大的情況下存在算法收斂慢問題，通過提出了基于解耦的強化學(xué)習(xí)算法來提升收斂速度，在用戶端一個q學(xué)習(xí)機制學(xué)習(xí)衛(wèi)星互聯(lián)網(wǎng)用戶的接入子幀，而另一個二維q學(xué)習(xí)機制則聯(lián)合學(xué)習(xí)用戶選擇的稀疏碼本和本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入模型為基于隨機預(yù)編碼和功率復(fù)用的多維度聯(lián)合優(yōu)化接入模型，多維度的資源包括時域、碼域、功率域。
3.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述隨機接入策略空間包括：用戶設(shè)備有L個功率等級供選，功率集表示為P＝[P1,...,Pl,...,PL]，其中Pl＝Γ(Γ+1)L-l，表示第l個功率等級，Γ＝2r-1表示目標(biāo)信干噪比，r為傳輸速率；碼本共有V個，稀疏碼本集表示為C＝[C1,...,Cv,...,CV]，其中碼本Cv的長度為M個時隙；一個幀包含N個子幀，第n個子幀表示為Tn，1≤n≤N，每個用戶設(shè)備隨機選擇一種功率電平和碼本，隨機在每個子幀中進(jìn)行接入；最大過載系數(shù)為ρ＝VL/M，即最大可譯碼的衛(wèi)星用戶設(shè)備數(shù)量與子幀中時隙數(shù)量的比率，系統(tǒng)的歸一化吞吐量最大值為ρ；基于隨機接入模型的策略空間為{P,C,T}，策略空間維度大小為L×V×N；將策
4.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述優(yōu)化問題的優(yōu)化目標(biāo)為吞吐量最大化，目標(biāo)函數(shù)為系統(tǒng)總吞吐量，即未發(fā)生子幀、碼本和功率碰撞的成功解碼用戶數(shù)與系統(tǒng)時域時隙數(shù)目的比值，約束條件分別為用戶數(shù)目、時間子幀數(shù)目、碼本數(shù)目、功率級數(shù)目。
5.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述求解所述優(yōu)化問題，包括：
6.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述隨遇接入數(shù)據(jù)包檢測模型根據(jù)消息傳遞聯(lián)合連續(xù)干擾消除算法建立，衛(wèi)星透明轉(zhuǎn)發(fā)物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)到地面信關(guān)站，實現(xiàn)針對碼域、功率域的多時隙多用戶聯(lián)合檢測算法。
7.根據(jù)權(quán)利要求6所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，在時域上行鏈路中，允許多個用戶設(shè)備通過使用不同的發(fā)射功率、碼本共享同一時頻資源；衛(wèi)星接收端采用消息傳遞聯(lián)合串行干擾消除方法進(jìn)行多用戶檢測；
8.根據(jù)權(quán)利要求5所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述隨遇接入方法評價指標(biāo)包括多用戶接入的歸一化吞吐量、算法收斂時間以及過負(fù)載的歸一化吞吐量；
9.一種計算機可讀存儲介質(zhì)，所述的計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述的計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1～權(quán)利要求8任一所述方法的步驟。
10.一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨機接入設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于：所述的處理器執(zhí)行所述的計算機程序時實現(xiàn)如權(quán)利要求1～權(quán)利要求8任一所述方法的步驟。
...【技術(shù)特征摘要】
1.一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述碼本-功率-時隙聯(lián)合域的非正交多址隨遇接入模型為基于隨機預(yù)編碼和功率復(fù)用的多維度聯(lián)合優(yōu)化接入模型，多維度的資源包括時域、碼域、功率域。
3.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述隨機接入策略空間包括：用戶設(shè)備有l(wèi)個功率等級供選，功率集表示為p＝[p1,...,pl,...,pl]，其中pl＝γ(γ+1)l-l，表示第l個功率等級，γ＝2r-1表示目標(biāo)信干噪比，r為傳輸速率；碼本共有v個，稀疏碼本集表示為c＝[c1,...,cv,...,cv]，其中碼本cv的長度為m個時隙；一個幀包含n個子幀，第n個子幀表示為tn，1≤n≤n，每個用戶設(shè)備隨機選擇一種功率電平和碼本，隨機在每個子幀中進(jìn)行接入；最大過載系數(shù)為ρ＝vl/m，即最大可譯碼的衛(wèi)星用戶設(shè)備數(shù)量與子幀中時隙數(shù)量的比率，系統(tǒng)的歸一化吞吐量最大值為ρ；基于隨機接入模型的策略空間為{p,c,t}，策略空間維度大小為l×v×n；將策略空間解耦為子幀{t}和功率-碼本{p,c}兩個域，所有用戶先在子幀{t}中進(jìn)行隨機選擇，若無沖突在則進(jìn)入功率-碼本{p,c}中進(jìn)行隨機選擇，若存在沖突則重新進(jìn)行子幀選擇。
4.根據(jù)權(quán)利要求1所述的一種基于解耦強化學(xué)習(xí)的衛(wèi)星隨遇接入方法，其特征在于，所述優(yōu)化問題的優(yōu)化目標(biāo)為吞吐量最大化，目標(biāo)函數(shù)為系統(tǒng)總吞...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李聰，王顯煜，劉琨，趙揚，王平，靳凡，何雯，穆桐，趙家敏，
申請(專利權(quán))人：西安空間無線電技術(shù)研究所，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。