【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及網(wǎng)絡(luò)拓?fù)洌绕涫?a title="數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法原文來(lái)自X技術(shù)">數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法。
技術(shù)介紹
1、隨著5g通信技術(shù)的發(fā)展與移動(dòng)設(shè)備的普及，網(wǎng)絡(luò)流量呈現(xiàn)出爆發(fā)式增長(zhǎng)。同時(shí)，各類(lèi)新興智能應(yīng)用不斷涌現(xiàn)，如虛擬/增強(qiáng)現(xiàn)實(shí)(virtual?reality/augmentedreality，vr/ar)、目標(biāo)檢測(cè)和自動(dòng)駕駛等，其通常具有計(jì)算密集與延遲敏感特性。云計(jì)算通過(guò)在遠(yuǎn)程數(shù)據(jù)中心部署服務(wù)器集群以應(yīng)對(duì)用戶(hù)不斷增長(zhǎng)的服務(wù)需求，但遠(yuǎn)距離通信與智能應(yīng)用的實(shí)時(shí)性需求存在矛盾。為了緩解該問(wèn)題，歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)(european?telecommunicationsstandards?institute，etsi)引入了一種新型的分布式計(jì)算范式：移動(dòng)邊緣計(jì)算(mobileedge?computing，mec)。通過(guò)在網(wǎng)絡(luò)邊緣部署計(jì)算資源，用戶(hù)可將其智能應(yīng)用的任務(wù)卸載至mec服務(wù)器執(zhí)行，以避免與遠(yuǎn)程云交互所產(chǎn)生的過(guò)度通信延遲。此外，任務(wù)的處理需要依賴(lài)相應(yīng)的輸入數(shù)據(jù)與特定的服務(wù)程序，因此有效利用緩存技術(shù)對(duì)服務(wù)進(jìn)行提前緩存可進(jìn)一步提升服務(wù)質(zhì)量(quality-of-service，qos)。
2、邊緣緩存技術(shù)主要可分為兩類(lèi)：內(nèi)容緩存與服務(wù)緩存。具體而言，內(nèi)容緩存將任務(wù)的輸出結(jié)果緩存在mec服務(wù)器或用戶(hù)設(shè)備中，以節(jié)省任務(wù)的處理延遲；服務(wù)緩存將任務(wù)處理所需的服務(wù)程序緩存在mec服務(wù)器或用戶(hù)設(shè)備中，以節(jié)省任務(wù)的傳輸延遲。通常，不同任務(wù)的輸出結(jié)果存在較大差異，導(dǎo)致內(nèi)容緩存命中率低下。相比之下，預(yù)先緩存的服務(wù)程序可被重用，如人臉識(shí)別。但是，mec服務(wù)器存儲(chǔ)容量
3、現(xiàn)有解決方法主要采用控制理論或優(yōu)化理論解決服務(wù)緩存與計(jì)算卸載問(wèn)題。控制理論引入數(shù)學(xué)模型或動(dòng)態(tài)方程，通常需要固定用戶(hù)需求或?qū)ec系統(tǒng)靜態(tài)化，忽略了系統(tǒng)的復(fù)雜性與任務(wù)的動(dòng)態(tài)性，可能導(dǎo)致其策略無(wú)法適用于現(xiàn)實(shí)場(chǎng)景。優(yōu)化理論通過(guò)多輪迭代以逼近可行解，可能會(huì)導(dǎo)致較高的時(shí)間復(fù)雜度，在面對(duì)大規(guī)模服務(wù)緩存與計(jì)算卸載問(wèn)題時(shí)通常難以高效做出最優(yōu)決策。作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新興分支，深度強(qiáng)化學(xué)習(xí)(deepreinforcement?learning，drl)已被逐步應(yīng)用于邊緣場(chǎng)景下的服務(wù)緩存與計(jì)算卸載問(wèn)題。基于值的drl方法在面對(duì)較小動(dòng)作空間時(shí)能夠表現(xiàn)出良好的性能，但在面對(duì)大規(guī)模動(dòng)作空間時(shí)，通常會(huì)因?yàn)閝值過(guò)高估計(jì)而導(dǎo)致性能下降。基于策略的drl算法對(duì)超參數(shù)選擇較為敏感，可能無(wú)法有效適用于普適網(wǎng)絡(luò)。同時(shí)，該類(lèi)drl算法通常采用經(jīng)驗(yàn)回放進(jìn)行樣本重用，這可能會(huì)導(dǎo)致過(guò)度的內(nèi)存消耗以及舊樣本無(wú)法適應(yīng)動(dòng)態(tài)多變的環(huán)境。另外，一些研究嘗試同時(shí)優(yōu)化緩存、卸載與資源分配問(wèn)題，但巨大的動(dòng)作空間會(huì)導(dǎo)致策略不穩(wěn)定且易陷入局部最優(yōu)，從而影響系統(tǒng)性能和資源利用效率。
4、值得注意的是，drl智能體與mec環(huán)境進(jìn)行交互決策時(shí)，需要和mec服務(wù)器與用戶(hù)設(shè)備保持通信以獲取實(shí)時(shí)系統(tǒng)狀態(tài)信息和收集訓(xùn)練樣本，這在真實(shí)環(huán)境中可能會(huì)導(dǎo)致過(guò)度的通信成本和較低的訓(xùn)練效率。數(shù)字孿生(digital?twin，dt)的出現(xiàn)為該解決問(wèn)題提供了一種新的視角，其實(shí)現(xiàn)物理世界與數(shù)字空間之間的連接，能夠?qū)φ鎸?shí)mec環(huán)境進(jìn)行模擬、預(yù)測(cè)和分析。dt與mec的結(jié)合形成了一種新型計(jì)算范式，使得drl智能體能夠在dt環(huán)境中進(jìn)行模型訓(xùn)練，探索不同動(dòng)作策略以學(xué)習(xí)最佳決策模型，進(jìn)而將該模型反饋至真實(shí)mec環(huán)境。若未引入dt，drl智能體的訓(xùn)練會(huì)面臨在物理mec網(wǎng)絡(luò)中數(shù)據(jù)采集的時(shí)效性問(wèn)題。為此，邊緣節(jié)點(diǎn)通常只能與其覆蓋范圍內(nèi)的用戶(hù)設(shè)備進(jìn)行持續(xù)通信，以滿(mǎn)足drl智能體的訓(xùn)練需求。相比之下，dt與mec的結(jié)合不僅提升了drl智能體的訓(xùn)練效率，也降低了模型訓(xùn)練成本和系統(tǒng)開(kāi)銷(xiāo)。
5、基于上述分析，為了解決上述重要挑戰(zhàn)，本專(zhuān)利技術(shù)構(gòu)建了一種新型的數(shù)字孿生云邊網(wǎng)絡(luò)(dt?cloud-edge?networks，dtcen)模型，并提出一種新穎的基于凸優(yōu)化使能深度強(qiáng)化學(xué)習(xí)的服務(wù)緩存與計(jì)算卸載聯(lián)合優(yōu)化(joint?optimization?of?service?caching?andcomputation?offloading?with?convex-optimization-enabled?deep?reinforcementlearning，jco-cr)方法。大量仿真實(shí)驗(yàn)驗(yàn)證了所提出jco-cr方法的可行性和有效性。實(shí)驗(yàn)結(jié)果表明，與其他6種基準(zhǔn)方法對(duì)比，jco-cr方法能夠有效降低服務(wù)延遲并在不同場(chǎng)景下均展現(xiàn)出更加優(yōu)越的性能。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)提出數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，能夠有效降低服務(wù)延遲，能在不同場(chǎng)景下均展現(xiàn)出更加優(yōu)越的性能。
2、本專(zhuān)利技術(shù)采用以下技術(shù)方案。
3、數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，所述方法包括虛擬的數(shù)字孿生云邊網(wǎng)絡(luò)(dt?cloud-edge?networks，dtcen)模型dtcen，還包括基于凸優(yōu)化使能深度強(qiáng)化學(xué)習(xí)的服務(wù)緩存與計(jì)算卸載聯(lián)合優(yōu)化(joint?optimization?of?service?caching?andcomputation?offloading?with?convex-optimization-enabled?deep?reinforcementlearning，jco-cr)方法jco-cr，dtcen包含一個(gè)系統(tǒng)控制器syc(system?controller，syc)、一個(gè)云計(jì)算中心cc(cloudcenter，cc)、i個(gè)基站bss(base?stations，bss)和j臺(tái)用戶(hù)設(shè)備uds(user?devices，uds)；bs集合記為b＝{b1,b2,…,bi,…,bi}，ud集合記為u＝{u1,u2,…uj,…uj}；每個(gè)bs配備一臺(tái)用于提供存儲(chǔ)和計(jì)算資源的mec服務(wù)器，其中bi的存儲(chǔ)和計(jì)算資源分別記為ci和fi；uds隨機(jī)分布在各bs的通信覆蓋范圍內(nèi)并將與其最近鄰的bs作為本地bs；bi通信覆蓋范圍內(nèi)的uds數(shù)量記為ni，其中服務(wù)類(lèi)型共有k種，記為s＝{s1,s2,…,sk,…,sk}；syc負(fù)責(zé)收集系統(tǒng)狀態(tài)信息并傳輸給drl智能體，由drl智能體做出服務(wù)緩存與計(jì)算卸載決策。
4、在與dtcen對(duì)應(yīng)的物理云邊網(wǎng)絡(luò)中，cc和bss收集系統(tǒng)運(yùn)行狀態(tài)信息并構(gòu)建dtcen模型，以實(shí)現(xiàn)物理云邊網(wǎng)絡(luò)與虛擬孿生網(wǎng)絡(luò)之間的映射，并通過(guò)持續(xù)監(jiān)控物理網(wǎng)絡(luò)狀態(tài)以保證孿生模型與其的一致性；
5、所述drl智能體通過(guò)與dtcen環(huán)境進(jìn)行交互學(xué)習(xí)，持續(xù)優(yōu)化服務(wù)緩存和計(jì)算卸載策略，進(jìn)而將學(xué)習(xí)到的模型反饋到物理云邊網(wǎng)絡(luò)以提高訓(xùn)練效率；
6、當(dāng)需對(duì)捕捉系統(tǒng)動(dòng)態(tài)性進(jìn)行優(yōu)化時(shí)，將系統(tǒng)運(yùn)行時(shí)間離散化為t個(gè)等長(zhǎng)時(shí)隙，記為t＝{1,2,…,t,…,t}；uj在每個(gè)時(shí)隙生成一個(gè)任務(wù)請(qǐng)求，定義為本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述方法包括虛擬的數(shù)字孿生云邊網(wǎng)絡(luò)模型DTCEN，還包括基于凸優(yōu)化使能深度強(qiáng)化學(xué)習(xí)的服務(wù)緩存與計(jì)算卸載聯(lián)合優(yōu)化方法JCO-CR，DTCEN包含一個(gè)系統(tǒng)控制器SyC、一個(gè)云計(jì)算中心CC、I個(gè)基站BSs和J臺(tái)用戶(hù)設(shè)備UDs；BS集合記為B＝{b1,b2,…,bi,…,bI}，UD集合記為U＝{u1,u2,…uj,…uJ}；每個(gè)BS配備一臺(tái)用于提供存儲(chǔ)和計(jì)算資源的MEC服務(wù)器，其中bi的存儲(chǔ)和計(jì)算資源分別記為Ci和Fi；UDs隨機(jī)分布在各BS的通信覆蓋范圍內(nèi)并將與其最近鄰的BS作為本地BS；bi通信覆蓋范圍內(nèi)的UDs數(shù)量記為ni，其中服務(wù)類(lèi)型共有K種，記為S＝{s1,s2,…,sk,…,sK}；SyC負(fù)責(zé)收集系統(tǒng)狀態(tài)信息并傳輸給DRL智能體，由DRL智能體做出服務(wù)緩存與計(jì)算卸載決策。
2.根據(jù)權(quán)利要求1所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：在與DTCEN對(duì)應(yīng)的物理云邊網(wǎng)絡(luò)中，CC和BSs收集系統(tǒng)運(yùn)行狀態(tài)信息并構(gòu)建DTCEN模型，以實(shí)現(xiàn)物理云邊網(wǎng)絡(luò)與虛擬孿生網(wǎng)絡(luò)之間的映射，并通過(guò)持續(xù)監(jiān)控物
3.根據(jù)權(quán)利要求2所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：若UDs與CC之間為長(zhǎng)距離通信，且若將用戶(hù)的任務(wù)都傳輸至CC執(zhí)行有可能導(dǎo)致核心網(wǎng)絡(luò)的嚴(yán)重?fù)砣约斑^(guò)度的服務(wù)延遲時(shí)，則通過(guò)優(yōu)化服務(wù)緩存和計(jì)算卸載策略以最小化長(zhǎng)期服務(wù)延遲，具體方法為：
4.根據(jù)權(quán)利要求3所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述方法通過(guò)探索最優(yōu)的服務(wù)緩存、計(jì)算卸載與資源分配策略，以最小化長(zhǎng)期服務(wù)延遲，形式化為優(yōu)化問(wèn)題后以公式表述為；
5.根據(jù)權(quán)利要求4所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：在求解問(wèn)題P1時(shí)，系統(tǒng)首先通過(guò)改進(jìn)的DRL方法在DTCEN中進(jìn)行模型訓(xùn)練與決策；隨后在每個(gè)時(shí)隙t中，將服務(wù)緩存與計(jì)算卸載決策反饋至物理云邊網(wǎng)絡(luò)，并將任務(wù)卸載至目標(biāo)節(jié)點(diǎn)；當(dāng)確定各個(gè)節(jié)點(diǎn)所需處理的任務(wù)集合后，再進(jìn)一步?jīng)Q定每個(gè)節(jié)點(diǎn)的資源分配方案，服務(wù)緩存、計(jì)算卸載與資源分配屬于P1中兩個(gè)不同維度的問(wèn)題，以串行求解的方式求解，通過(guò)解耦P1，將其拆分為子問(wèn)題P2、子問(wèn)題P3以進(jìn)行分別求解。
6.根據(jù)權(quán)利要求5所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述子問(wèn)題P2具體為：以最小化長(zhǎng)期服務(wù)延遲為目標(biāo)，聯(lián)合優(yōu)化服務(wù)緩存與計(jì)算卸載策略，其表示為：
7.根據(jù)權(quán)利要求6所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述優(yōu)化方法針對(duì)子問(wèn)題P2，以改進(jìn)的DRL方法在DTCEN中進(jìn)行模型訓(xùn)練，以學(xué)習(xí)最佳的服務(wù)緩存與計(jì)算卸載策略，再將決策反饋部署到物理云邊網(wǎng)絡(luò)中，即通過(guò)引入DTCEN來(lái)提高DRL智能體的探索和學(xué)習(xí)效率，具體為：
8.根據(jù)權(quán)利要求7所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述優(yōu)化方法中，通過(guò)近端策略?xún)?yōu)化方法PPO訓(xùn)練Actor和Critic網(wǎng)絡(luò)，以在動(dòng)態(tài)變化的DTCEN中做出最優(yōu)的服務(wù)緩存和計(jì)算卸載決策；在PPO中，Actor網(wǎng)絡(luò)在給定狀態(tài)下輸出動(dòng)作，通過(guò)最大化預(yù)期總回報(bào)來(lái)更新策略網(wǎng)絡(luò)參數(shù)；Critic網(wǎng)絡(luò)評(píng)估策略的價(jià)值，通過(guò)比較實(shí)際和預(yù)測(cè)回報(bào)之間的差值來(lái)更新評(píng)估網(wǎng)絡(luò)參數(shù)；
9.根據(jù)權(quán)利要求8所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：在DRL智能體做出服務(wù)緩存與計(jì)算卸載決策后，DTCEN中的所有任務(wù)已被分配至各節(jié)點(diǎn)上等待執(zhí)行；各節(jié)點(diǎn)對(duì)其計(jì)算資源進(jìn)行合理分配以保障任務(wù)順利執(zhí)行；即：針對(duì)優(yōu)化問(wèn)題P3，首先證明P3為一個(gè)凸優(yōu)化問(wèn)題；接著基于凸優(yōu)化的資源分配方法，以實(shí)現(xiàn)在給定緩存與卸載決策下對(duì)DTCEN中任務(wù)請(qǐng)求的最優(yōu)資源分配；
10.根據(jù)權(quán)利要求9所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述方法的使用過(guò)程包括以下步驟；
...【技術(shù)特征摘要】
1.數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述方法包括虛擬的數(shù)字孿生云邊網(wǎng)絡(luò)模型dtcen，還包括基于凸優(yōu)化使能深度強(qiáng)化學(xué)習(xí)的服務(wù)緩存與計(jì)算卸載聯(lián)合優(yōu)化方法jco-cr，dtcen包含一個(gè)系統(tǒng)控制器syc、一個(gè)云計(jì)算中心cc、i個(gè)基站bss和j臺(tái)用戶(hù)設(shè)備uds；bs集合記為b＝{b1,b2,…,bi,…,bi}，ud集合記為u＝{u1,u2,…uj,…uj}；每個(gè)bs配備一臺(tái)用于提供存儲(chǔ)和計(jì)算資源的mec服務(wù)器，其中bi的存儲(chǔ)和計(jì)算資源分別記為ci和fi；uds隨機(jī)分布在各bs的通信覆蓋范圍內(nèi)并將與其最近鄰的bs作為本地bs；bi通信覆蓋范圍內(nèi)的uds數(shù)量記為ni，其中服務(wù)類(lèi)型共有k種，記為s＝{s1,s2,…,sk,…,sk}；syc負(fù)責(zé)收集系統(tǒng)狀態(tài)信息并傳輸給drl智能體，由drl智能體做出服務(wù)緩存與計(jì)算卸載決策。
2.根據(jù)權(quán)利要求1所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：在與dtcen對(duì)應(yīng)的物理云邊網(wǎng)絡(luò)中，cc和bss收集系統(tǒng)運(yùn)行狀態(tài)信息并構(gòu)建dtcen模型，以實(shí)現(xiàn)物理云邊網(wǎng)絡(luò)與虛擬孿生網(wǎng)絡(luò)之間的映射，并通過(guò)持續(xù)監(jiān)控物理網(wǎng)絡(luò)狀態(tài)以保證孿生模型與其的一致性；
3.根據(jù)權(quán)利要求2所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：若uds與cc之間為長(zhǎng)距離通信，且若將用戶(hù)的任務(wù)都傳輸至cc執(zhí)行有可能導(dǎo)致核心網(wǎng)絡(luò)的嚴(yán)重?fù)砣约斑^(guò)度的服務(wù)延遲時(shí)，則通過(guò)優(yōu)化服務(wù)緩存和計(jì)算卸載策略以最小化長(zhǎng)期服務(wù)延遲，具體方法為：
4.根據(jù)權(quán)利要求3所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：所述方法通過(guò)探索最優(yōu)的服務(wù)緩存、計(jì)算卸載與資源分配策略，以最小化長(zhǎng)期服務(wù)延遲，形式化為優(yōu)化問(wèn)題后以公式表述為；
5.根據(jù)權(quán)利要求4所述的數(shù)字孿生云邊網(wǎng)絡(luò)下服務(wù)緩存與計(jì)算卸載優(yōu)化方法，其特征在于：在求解問(wèn)題p1時(shí)，系統(tǒng)首先通過(guò)改進(jìn)的drl方法在dtcen中進(jìn)行模型訓(xùn)練與決策；隨后在每個(gè)時(shí)隙...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：陳哲毅，鄭家瑜，張俊杰，吳舒霞，麥著學(xué)，
申請(qǐng)(專(zhuān)利權(quán))人：福州大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。