【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)屬于無(wú)人機(jī)領(lǐng)域，具體涉及基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法及系統(tǒng)。
技術(shù)介紹
1、隨著5g技術(shù)的發(fā)展，運(yùn)行在用戶(hù)設(shè)備上的計(jì)算密集型應(yīng)用逐漸增長(zhǎng)，這些應(yīng)用程序通常需要大量的計(jì)算資源，并產(chǎn)生高能耗。然而，當(dāng)前的用戶(hù)設(shè)備通常具有有限的計(jì)算資源和有限的電池容量。移動(dòng)云計(jì)算(mobile?cloud?computing，mcc)擁有豐富的資源以及龐大的計(jì)算能力，在以往用戶(hù)通常將某些計(jì)算密集型任務(wù)傳輸給云端進(jìn)行處理。然而，云服務(wù)器往往在空間上與用戶(hù)相距較遠(yuǎn)，這可能會(huì)產(chǎn)生較高的傳輸延遲，對(duì)用戶(hù)的服務(wù)體驗(yàn)(quality?of?service,qos)和服務(wù)質(zhì)量產(chǎn)生不利影響。對(duì)于實(shí)時(shí)性要求較高的任務(wù)，如輔助自動(dòng)駕駛、應(yīng)急救災(zāi)、戰(zhàn)場(chǎng)通信與偵察以及人臉識(shí)別等，單純的mcc已經(jīng)難以應(yīng)對(duì)這種新的挑戰(zhàn)。
2、隨著移動(dòng)邊緣計(jì)算(mobile?edge?computing，mec)這一新范式的出現(xiàn)，上述問(wèn)題得到了解決。mec不僅彌補(bǔ)了用戶(hù)終端計(jì)算能力不足的問(wèn)題，與云計(jì)算相比還擁有較低的延遲以滿(mǎn)足時(shí)延敏感型任務(wù)的計(jì)算需求。mec在靠近用戶(hù)端部署大量的邊緣服務(wù)器，將任務(wù)下沉到網(wǎng)絡(luò)邊緣側(cè)的邊緣服務(wù)器進(jìn)行處理。與mcc相比，mec服務(wù)器距離用戶(hù)更近使得傳輸?shù)某杀窘档停鋸?qiáng)大的計(jì)算能力能滿(mǎn)足大多數(shù)應(yīng)用場(chǎng)景。然而，早期對(duì)mec的研究主要集中在提高mec系統(tǒng)的性能，其中計(jì)算服務(wù)由固定位置的基站提供，但固定基礎(chǔ)設(shè)施提供的mec服務(wù)在通信設(shè)施分布稀疏或突發(fā)自然災(zāi)害的情況下無(wú)法有效工作。
3、為了解決上述問(wèn)題，本專(zhuān)利技術(shù)提出多個(gè)無(wú)
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的不足，本專(zhuān)利技術(shù)提出了基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法及系統(tǒng)，將多智能體雙延遲深度確定性策略梯度算法(multi-agent?twin?delayeddeep?deterministic?policy?gradient?algorithm，matd3)引入到多無(wú)人機(jī)輔助mec的任務(wù)卸載問(wèn)題中，并使用優(yōu)先經(jīng)驗(yàn)回放機(jī)制和重要性采樣，通過(guò)計(jì)算出每個(gè)樣本的優(yōu)先級(jí)從而對(duì)算法進(jìn)行改進(jìn)；另外，在訓(xùn)練之前使用遺傳算法找出matd3算法的最優(yōu)超參數(shù)組合。本專(zhuān)利技術(shù)解決了ddpg算法可能出現(xiàn)的q值高估問(wèn)題，提高了強(qiáng)化學(xué)習(xí)算法的魯棒性和適應(yīng)性，同時(shí)降低了強(qiáng)化學(xué)習(xí)算法對(duì)環(huán)境和參數(shù)的敏感度，加快了收斂速度，減少了無(wú)人機(jī)輔助移動(dòng)邊緣計(jì)算系統(tǒng)產(chǎn)生的總時(shí)延和總能耗。
2、為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供了如下方案：
3、基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，包括以下步驟：
4、s1：建立多無(wú)人機(jī)協(xié)同任務(wù)卸載的系統(tǒng)模型；
5、s2：根據(jù)所述系統(tǒng)模型建立通信模型、時(shí)延模型和能耗模型；
6、s3：基于所述通信模型、所述時(shí)延模型和所述能耗模型，采用per-matd3算法聯(lián)合設(shè)計(jì)用戶(hù)調(diào)度、任務(wù)卸載比例以及無(wú)人機(jī)的飛行角度和速度，最小化系統(tǒng)總成本，實(shí)現(xiàn)多無(wú)人機(jī)協(xié)同任務(wù)卸載。
7、優(yōu)選的，所述s1中，所述系統(tǒng)模型包括：m個(gè)用戶(hù)設(shè)備{1,2,...,m}和n架無(wú)人機(jī){1,2,...,n}，整個(gè)系統(tǒng)模型在離散時(shí)間內(nèi)以相等的時(shí)隙運(yùn)行；用戶(hù)設(shè)備m在每個(gè)時(shí)隙均會(huì)產(chǎn)生一個(gè)計(jì)算密集型任務(wù)，每個(gè)任務(wù)可以用一個(gè)三元組來(lái)表示wm(t)＝(dm(t),cm(t),tm(t))，其中dm(t)表示用戶(hù)設(shè)備m在時(shí)隙t產(chǎn)生的任務(wù)數(shù)據(jù)量的大小，以bit為單位；cm(t)表示該任務(wù)每bit數(shù)據(jù)量所需的計(jì)算資源量，以cpu的計(jì)算周期數(shù)為單位，tm(t)表示該任務(wù)的最大容忍時(shí)延。
8、優(yōu)選的，所述s2中，建立通信模型的方法包括：
9、將整個(gè)通信周期劃分為t個(gè)長(zhǎng)度相等的時(shí)隙，每架無(wú)人機(jī)在時(shí)隙t為覆蓋范圍內(nèi)的某一用戶(hù)設(shè)備提供服務(wù)，其中，t∈{1,2,...,t}；
10、用戶(hù)設(shè)備將一部分計(jì)算任務(wù)卸載給無(wú)人機(jī)后，剩余的計(jì)算任務(wù)在本地執(zhí)行；
11、用戶(hù)設(shè)備m在時(shí)隙t的坐標(biāo)位置為其中，和是用戶(hù)設(shè)備m在時(shí)隙t的x和y坐標(biāo)；
12、假設(shè)每架無(wú)人機(jī)在整個(gè)通信周期內(nèi)始終保持在固定高度h飛行，無(wú)人機(jī)n在時(shí)隙t的初始坐標(biāo)位置為結(jié)束坐標(biāo)位置為其中，和是無(wú)人機(jī)n在時(shí)隙t的x和y坐標(biāo)，和是無(wú)人機(jī)n在時(shí)隙t+1的x和y坐標(biāo)；
13、無(wú)人機(jī)為地面用戶(hù)提供計(jì)算服務(wù)必須滿(mǎn)足覆蓋范圍的約束：
14、
15、其中，dm,n(t)為用戶(hù)設(shè)備與無(wú)人機(jī)之間的水平距離，rmax為無(wú)人機(jī)的最大覆蓋半徑，它由無(wú)人機(jī)的飛行高度h和接收天線的最大接收角度θ決定，即rmax＝h?tanθ；
16、用戶(hù)設(shè)備m與無(wú)人機(jī)n之間視距鏈路的信道增益為：
17、
18、其中，g0為參考距離為1m時(shí)的信道增益，dm,n為用戶(hù)設(shè)備m與無(wú)人機(jī)n之間的歐氏距離；
19、用戶(hù)設(shè)備m與無(wú)人機(jī)n之間的無(wú)線傳輸速率為：
20、
21、其中，b為通信帶寬，pup為上行鏈路中用戶(hù)設(shè)備的發(fā)射功率，σ2為噪聲功率，pnlos為傳輸損耗，fm,n(t)表示用戶(hù)設(shè)備m與無(wú)人機(jī)n之間在時(shí)隙t是否存在障礙物，fm,n(t)＝1表示存在，fm,n(t)＝0表示不存在。
22、優(yōu)選的，所述s2中，建立時(shí)延模型的方法包括：
23、對(duì)每個(gè)時(shí)隙的用戶(hù)設(shè)備產(chǎn)生的任務(wù)采用部分卸載策略，用戶(hù)設(shè)備m將部分任務(wù)傳輸給無(wú)人機(jī)n所需的傳輸時(shí)延為：
24、
25、其中，om,n(t)∈[0,1]，表示卸載到無(wú)人機(jī)上的任務(wù)比例，dm(t)表示用戶(hù)設(shè)備m在時(shí)隙t產(chǎn)生的任務(wù)數(shù)據(jù)量的大小，以bit為單位；
26、該卸載部分在無(wú)人機(jī)mec服務(wù)器上的執(zhí)行時(shí)延為：
27、
28、其中，表示無(wú)人機(jī)n攜帶的mec服務(wù)器的cpu計(jì)算頻率，cm(t)表示該任務(wù)每bit數(shù)據(jù)量所需的計(jì)算資源量，以cpu的計(jì)算周期數(shù)為單位；
29、用戶(hù)設(shè)備m在時(shí)隙t上的本地執(zhí)行時(shí)延為：
30、
31、其中，表示用戶(hù)設(shè)備m的cpu計(jì)算頻率，1-om,n(t)表示在用戶(hù)本地執(zhí)行的剩余任務(wù)比例；...
【技術(shù)保護(hù)點(diǎn)】
1.基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S1中，所述系統(tǒng)模型包括：M個(gè)用戶(hù)設(shè)備{1,2,...,M}和N架無(wú)人機(jī){1,2,...,N}，整個(gè)系統(tǒng)模型在離散時(shí)間內(nèi)以相等的時(shí)隙運(yùn)行；用戶(hù)設(shè)備m在每個(gè)時(shí)隙均會(huì)產(chǎn)生一個(gè)計(jì)算密集型任務(wù)，每個(gè)任務(wù)可以用一個(gè)三元組來(lái)表示W(wǎng)m(t)＝(Dm(t),Cm(t),Tm(t))，其中Dm(t)表示用戶(hù)設(shè)備m在時(shí)隙t產(chǎn)生的任務(wù)數(shù)據(jù)量的大小，以bit為單位；Cm(t)表示該任務(wù)每bit數(shù)據(jù)量所需的計(jì)算資源量，以CPU的計(jì)算周期數(shù)為單位，Tm(t)表示該任務(wù)的最大容忍時(shí)延。
3.根據(jù)權(quán)利要求2所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S2中，建立通信模型的方法包括：
4.根據(jù)權(quán)利要求3所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S2中，建立時(shí)延模型的方法包括：
5.根據(jù)權(quán)利要求4所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)
6.根據(jù)權(quán)利要求5所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S3中，基于所述通信模型、所述時(shí)延模型和所述能耗模型，采用PER-MATD3算法聯(lián)合設(shè)計(jì)用戶(hù)調(diào)度、任務(wù)卸載比例以及無(wú)人機(jī)的飛行角度和速度，最小化系統(tǒng)總成本的方法包括：
7.根據(jù)權(quán)利要求6所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S31中，四元組<S,A,R,C>表示為：
8.根據(jù)權(quán)利要求7所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S32中，基于四元組<S,A,R,C>表示，使用遺傳算法尋找MATD3算法超參數(shù)的最優(yōu)組合的方法包括：
9.根據(jù)權(quán)利要求8所述的基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述S33中，對(duì)基于遺傳算法調(diào)參優(yōu)化的PER-MATD3算法進(jìn)行訓(xùn)練，最小化系統(tǒng)總成本，實(shí)現(xiàn)多無(wú)人機(jī)協(xié)同任務(wù)卸載的方法包括：
10.基于改進(jìn)MATD3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載系統(tǒng)，其特征在于，包括：系統(tǒng)模型構(gòu)建模塊、功能模型構(gòu)建模塊、聯(lián)合設(shè)計(jì)模塊；
...【技術(shù)特征摘要】
1.基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述s1中，所述系統(tǒng)模型包括：m個(gè)用戶(hù)設(shè)備{1,2,...,m}和n架無(wú)人機(jī){1,2,...,n}，整個(gè)系統(tǒng)模型在離散時(shí)間內(nèi)以相等的時(shí)隙運(yùn)行；用戶(hù)設(shè)備m在每個(gè)時(shí)隙均會(huì)產(chǎn)生一個(gè)計(jì)算密集型任務(wù)，每個(gè)任務(wù)可以用一個(gè)三元組來(lái)表示wm(t)＝(dm(t),cm(t),tm(t))，其中dm(t)表示用戶(hù)設(shè)備m在時(shí)隙t產(chǎn)生的任務(wù)數(shù)據(jù)量的大小，以bit為單位；cm(t)表示該任務(wù)每bit數(shù)據(jù)量所需的計(jì)算資源量，以cpu的計(jì)算周期數(shù)為單位，tm(t)表示該任務(wù)的最大容忍時(shí)延。
3.根據(jù)權(quán)利要求2所述的基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述s2中，建立通信模型的方法包括：
4.根據(jù)權(quán)利要求3所述的基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述s2中，建立時(shí)延模型的方法包括：
5.根據(jù)權(quán)利要求4所述的基于改進(jìn)matd3算法的多無(wú)人機(jī)協(xié)同任務(wù)卸載方法，其特征在于，所述s2中，建...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：張劍飛，王震，馬卉宇，杜曉昕，
申請(qǐng)(專(zhuān)利權(quán))人：齊齊哈爾大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。