【技術(shù)實現(xiàn)步驟摘要】
本申請涉及衛(wèi)星互聯(lián)網(wǎng)與流媒體，尤其涉及一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法及相關(guān)設(shè)備。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和用戶需求的不斷增加，視頻點播(video?ondemand，vod)已經(jīng)成為互聯(lián)網(wǎng)服務(wù)的重要組成部分。傳統(tǒng)的地面網(wǎng)絡(luò)無法滿足全球范圍內(nèi)特別是偏遠和農(nóng)村地區(qū)的覆蓋需求，這促使人們探索新的互聯(lián)網(wǎng)接入方式。低地球軌道(low?earth?orbit，leo)衛(wèi)星互聯(lián)網(wǎng)因其覆蓋范圍廣、延遲低等特點，成為了未來互聯(lián)網(wǎng)接入的重要解決方案之一。低地球軌道衛(wèi)星系統(tǒng)由多個衛(wèi)星組成，衛(wèi)星繞地球運行的軌道高度較低(通常在500到2000公里之間)，因此其信號傳播延遲較低，適合高帶寬、低延遲的互聯(lián)網(wǎng)應(yīng)用。然而，leo衛(wèi)星系統(tǒng)也面臨著諸多挑戰(zhàn)，如頻繁的衛(wèi)星切換、多路徑干擾以及有限的頻譜資源等。
2、而針對視頻點播服務(wù)的需求，其需要穩(wěn)定的帶寬和低延遲，以保證高質(zhì)量的視頻傳輸體驗。在leo衛(wèi)星互聯(lián)網(wǎng)環(huán)境下，視頻點播服務(wù)的速率控制變得尤為關(guān)鍵，因為網(wǎng)絡(luò)狀況可能因衛(wèi)星移動、天氣變化等因素而波動。因此，需要一種能夠適應(yīng)網(wǎng)絡(luò)動態(tài)變化的速率控制方案，以確保視頻點播服務(wù)的質(zhì)量。
技術(shù)實現(xiàn)思路
1、有鑒于此，本申請的目的在于提出一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法及相關(guān)設(shè)備。
2、基于上述目的，本申請?zhí)峁┝艘环N立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，包括：
3、構(gòu)建leo衛(wèi)星互聯(lián)網(wǎng)點播視頻傳輸速率控制的優(yōu)化目標；所述優(yōu)化目標為多維度的全局優(yōu)化目標，包括
4、將所述優(yōu)化目標分解為分布式子優(yōu)化目標；
5、獲取所有智能體的狀態(tài)信息和合作信息；其中，每個智能體的狀態(tài)信息包括信道系數(shù)、其他目標信道干擾以及對應(yīng)的用戶體驗質(zhì)量信息；所述合作信息包括當(dāng)前時刻除自身之外的所有用戶的平均用戶體驗質(zhì)量、最大用戶體驗質(zhì)量差異，以及其他智能體的總功耗、平均功耗和最大功耗；
6、輸入智能體的狀態(tài)信息和合作信息至多個智能體交互的ddpg模型中，得到衛(wèi)星為每個用戶做出的速率決策集。
7、在其中一些實施例中，所述優(yōu)化目標為在每個時刻最大化第j個視頻塊的效用uj；其中，α1為超參數(shù)；α2為超參數(shù)；α3為超參數(shù)；為t時刻針對真實狀態(tài)的速率決策，qoei,j為用戶i的第j個視頻塊的用戶體驗質(zhì)量；其中，μ1為常數(shù)；μ2為常數(shù)；μ3為常數(shù)；為用戶i的第j個視頻塊的視頻質(zhì)量；為重新緩沖事件對用戶質(zhì)量體驗的影響；為播放過程中視頻質(zhì)量的變化的影響；pi,j為用戶i下載視頻塊j所消耗的能量；qoei′,j為用戶i’的第j個視頻塊的用戶體驗質(zhì)量。
8、在其中一些實施例中，所述分布式子優(yōu)化目標包括其中，ui,j為用戶i的第j個視頻塊的效用；bufferi,j為用戶i在第j個視頻塊時的緩沖區(qū)長度；bufferi,j-1為用戶i在第j-1個視頻塊時的緩沖區(qū)長度。
9、在其中一些實施例中，所述方法還包括通過以下方法確定多個智能體交互的ddpg模型：
10、構(gòu)建速率決策過程模型，以確定所述多個智能體交互的ddpg模型的輸入，聯(lián)合策略和輸出；
11、確定所述多個智能體交互的ddpg模型的累積價值函數(shù)，動作價值函數(shù)，在訓(xùn)練過程中的策略網(wǎng)絡(luò)的參數(shù)更新方法，在訓(xùn)練過程中的評價網(wǎng)絡(luò)的參數(shù)更新方法以及目標網(wǎng)絡(luò)的輸出；
12、確定全局網(wǎng)絡(luò)；
13、響應(yīng)于確定智能體完成訓(xùn)練視頻片段的訓(xùn)練，進行集中更新和分布式傳播。
14、在其中一些實施例中，所述速率決策過程模型包括：
15、環(huán)境與狀態(tài)，包括s≡{sq,sp,sr,sb,sh}，其中，s為衛(wèi)星網(wǎng)絡(luò)中所有智能體在速率決策過程中的所有狀態(tài)信息的集合；sq為在給定時間觀看視頻點播的n個客戶端的用戶體驗質(zhì)量值,sq≡{q1,…,qn}；sp為衛(wèi)星為n個用戶分配的功率值，sp≡{p1,…,pn}；sr為n個客戶端發(fā)送的碼率級別請求；sb為緩沖區(qū)狀態(tài)通知；而sh為n個客戶端的信道狀態(tài)參數(shù)；環(huán)境具有真實狀態(tài)s,s∈s；
16、動作，包括每個智能體的動作ua；ua∈u，u為衛(wèi)星為n個客戶端做出的速率決策集r；在每個時間步驟j，每個智能體的決策動作將參考其他智能體的動作，形成多個智能體的聯(lián)合動作u；
17、轉(zhuǎn)移概率，包括狀態(tài)轉(zhuǎn)移概率函數(shù)p，滿足p(s'│s,u):s×u×s→[0,1]；s為當(dāng)前狀態(tài)，s'為下一狀態(tài)；
18、獎勵，包括所有智能體共享的全局獎勵r，滿足r(s,u):s×u→r；全局獎勵包括給定時間所有用戶的平均用戶質(zhì)量體驗值、平均能耗以及用戶質(zhì)量體驗公平性考慮；所述全局獎勵包括所述優(yōu)化目標；
19、觀察，包括每個時間步驟，每個智能體的觀察值z，z∈z，z為所有智能體觀察值的集合；每個智能體的動作觀察歷史τa∈t≡(z×u)*；每個智能體的個人獎勵包括所述分布式子優(yōu)化目標。
20、在其中一些實施例中，所述累積價值函數(shù)包括：其中，為策略π下智能體a的累積價值函數(shù)，za為每個智能體a的觀察值，j為視頻塊的索引，γj為視頻塊j的折扣因子；e為所有智能體觀察值的集合，τa為初始狀態(tài)；為策略網(wǎng)絡(luò)的參數(shù)；
21、所述動作價值函數(shù)包括：其中，為智能體a在策略π下的動作價值函數(shù)，為智能體a對視頻塊j的觀察值，為智能體a對視頻塊j的動作；ra為衛(wèi)星為智能體a對應(yīng)的客戶端做出的速率決策；
22、所述在訓(xùn)練過程中的策略網(wǎng)絡(luò)的參數(shù)更新方法包括：使用梯度下降更新策略網(wǎng)絡(luò)的參數(shù)其中，為策略網(wǎng)絡(luò)的參數(shù)；為策略π對應(yīng)的策略網(wǎng)絡(luò)的參數(shù)；
23、所述在訓(xùn)練過程中的評價網(wǎng)絡(luò)的參數(shù)更新方法包括：使用基于時間差分算法的梯度下降更新評價網(wǎng)絡(luò)的參數(shù)
24、所述目標網(wǎng)絡(luò)的輸出包括：其中，yj為目標網(wǎng)絡(luò)的輸出；為智能體a對視頻塊j的觀察值，為智能體a對視頻塊j的動作；為智能體a對視頻塊j+1的觀察值，為智能體a對視頻塊j+1的動作。
25、在其中一些實施例中，所述集中更新包括：全局網(wǎng)絡(luò)根據(jù)訓(xùn)練視頻片段參數(shù)進行更新；更新包括：θg′←φ(ep)·θa+(1-φ(ep))·θg；其中，θg'為更新全局網(wǎng)絡(luò)參數(shù)集；θg為全局網(wǎng)絡(luò)參數(shù)集；ep為當(dāng)前正在執(zhí)行的片段；φ(ep)為episode參數(shù)的影響；k為決定φ(·)函數(shù)形狀的超參數(shù)；ep0為決定中心位置的超參數(shù)；
26、所述分布式傳播包括：θa′＝η(j,ep)·θg′+(1-η(j,ep))·θa；其中，θa′為更新后的智能體a的網(wǎng)絡(luò)參數(shù)集；θa為智能體a的網(wǎng)絡(luò)參數(shù)集；其中η(j,ep)為step和episode參數(shù)的綜合影響；clip函數(shù)為截斷函數(shù)，值限制為0～1；l為下限clip函數(shù)變量的上限，h為上限clip函數(shù)變量的下限。
27、本申請實施例還提供一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制裝置，包括：
28、優(yōu)化目標構(gòu)建模塊，被配置為構(gòu)建leo衛(wèi)星互聯(lián)網(wǎng)點播視本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述優(yōu)化目標為在每個時刻最大化第j個視頻塊的效用Uj；其中，α1為超參數(shù)；α2為超參數(shù)；α3為超參數(shù)；為t時刻針對真實狀態(tài)的速率決策，QoEi,j為用戶i的第j個視頻塊的用戶體驗質(zhì)量；其中，μ1為常數(shù)；μ2為常數(shù)；μ3為常數(shù)；為用戶i的第j個視頻塊的視頻質(zhì)量；為重新緩沖事件對用戶質(zhì)量體驗的影響；為播放過程中視頻質(zhì)量的變化的影響；Pi,j為用戶i下載視頻塊j所消耗的能量；QoEi′,j為用戶i’的第j個視頻塊的用戶體驗質(zhì)量。
3.根據(jù)權(quán)利要求2所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述分布式子優(yōu)化目標包括其中，Ui,j為用戶i的第j個視頻塊的效用；bufferi,j為用戶i在第j個視頻塊時的緩沖區(qū)長度；bufferi,j-1為用戶i在第j-1個視頻塊時的緩沖區(qū)長度。
4.根據(jù)權(quán)利要求1所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述方法還包括通過以下方法確定多個智能體交互
5.根據(jù)權(quán)利要求4所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述速率決策過程模型包括：
6.根據(jù)權(quán)利要求4所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述累積價值函數(shù)包括：其中，為策略π下智能體a的累積價值函數(shù)，za為每個智能體a的觀察值，j為視頻塊的索引，γj為視頻塊j的折扣因子；E為所有智能體觀察值的集合，τa為初始狀態(tài)；為策略網(wǎng)絡(luò)的參數(shù)；
7.根據(jù)權(quán)利要求4所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述集中更新包括：全局網(wǎng)絡(luò)根據(jù)訓(xùn)練視頻片段參數(shù)進行更新；更新包括：Θg′←φ(ep)·Θa+(1-φ(ep))·Θg；其中，Θg'為更新全局網(wǎng)絡(luò)參數(shù)集；Θg為全局網(wǎng)絡(luò)參數(shù)集；ep為當(dāng)前正在執(zhí)行的片段；φ(ep)為episode參數(shù)的影響；k為決定φ(·)函數(shù)形狀的超參數(shù)；ep0為決定中心位置的超參數(shù)；
8.一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制裝置，其特征在于，包括：
9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7任意一項所述的方法。
10.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令用于使計算機執(zhí)行權(quán)利要求1至7任一所述方法。
...【技術(shù)特征摘要】
1.一種立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述優(yōu)化目標為在每個時刻最大化第j個視頻塊的效用uj；其中，α1為超參數(shù)；α2為超參數(shù)；α3為超參數(shù)；為t時刻針對真實狀態(tài)的速率決策，qoei,j為用戶i的第j個視頻塊的用戶體驗質(zhì)量；其中，μ1為常數(shù)；μ2為常數(shù)；μ3為常數(shù)；為用戶i的第j個視頻塊的視頻質(zhì)量；為重新緩沖事件對用戶質(zhì)量體驗的影響；為播放過程中視頻質(zhì)量的變化的影響；pi,j為用戶i下載視頻塊j所消耗的能量；qoei′,j為用戶i’的第j個視頻塊的用戶體驗質(zhì)量。
3.根據(jù)權(quán)利要求2所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述分布式子優(yōu)化目標包括其中，ui,j為用戶i的第j個視頻塊的效用；bufferi,j為用戶i在第j個視頻塊時的緩沖區(qū)長度；bufferi,j-1為用戶i在第j-1個視頻塊時的緩沖區(qū)長度。
4.根據(jù)權(quán)利要求1所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，所述方法還包括通過以下方法確定多個智能體交互的ddpg模型：
5.根據(jù)權(quán)利要求4所述的立體化異構(gòu)網(wǎng)絡(luò)下的視頻傳輸速率控制方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：肖寒，許長橋，李子桐，方楚星，王目，楊樹杰，程陽，姜洪燁，
申請(專利權(quán))人：北京郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。