【技術實現步驟摘要】
本專利技術屬于邊緣計算，具體涉及一種基于多智能體深度強化學習的移動邊緣計算任務卸載方法。
技術介紹
1、移動邊緣計算(mobile?edge?computing，mec)作為一種新興的計算范式，旨在通過將計算和存儲資源分布到靠近數據源和用戶終端的邊緣節點，從而減輕核心網絡的負擔，提高計算效率和響應速度。隨著互聯網、物聯網的快速發展，智能移動設備的數量出現爆炸式增長的趨勢，使得數據存儲和計算資源的需求急劇增長，傳統的云計算模式在處理延遲敏感和計算密集型任務時顯得力不從心。
2、多智能體系統(multi-agent?systems，mas)由于其在復雜環境中協同解決問題的能力，近年來在諸多領域得到了廣泛應用。在移動邊緣計算環境中，不同邊緣節點和用戶設備可以被視為獨立的智能體，它們通過相互協作和競爭，共同完成任務卸載和資源分配。基于多智能體深度強化學習(multi-agent?deepreinforcement?learning，madrl)的方法，能夠通過智能體之間的交互學習和策略共享，實現對動態環境的適應和全局優化。因此，基于madrl的移動邊緣計算任務卸載方法，旨在通過訓練多個智能體在協作與競爭中學習最優卸載策略，以最小化任務處理延遲和能耗，提升整體系統性能。
3、深度強化學習(deep?reinforcement?learning，drl)通過結合深度學習和強化學習的優勢，展示了其在處理高維度狀態空間和復雜策略優化問題中的卓越能力，能夠在沒有明確模型和任何先驗知識的情況下，通過智能體之間的交互學習和策略
技術實現思路
1、為了解決現有技術中存在的上述技術問題，本專利技術提出了一種基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其具體技術方案如下：
2、一種基于多智能體深度強化學習的移動邊緣計算任務卸載方法，包括：
3、步驟s1，搭建mec系統網絡，包括：一個云服務器、多個配備mec服務器即邊緣服務器的基站以及多個用戶即智能體設備；
4、步驟s2，建立mec系統中任務處理的計算模型：若用戶選擇在本地執行任務，則本地計算成本包括任務的本地計算時延和本地計算能耗；若用戶將任務卸載到邊緣服務器或云服務器，則計算成本包括任務傳輸時延、計算時延及計算能耗；
5、步驟s3，統計各用戶在不同卸載決策下執行任務的總計算成本，以最小化mec系統中所有用戶的長期平均計算成本為目標，構建出任務卸載策略的優化函數；
6、步驟s4，每個用戶根據當前環境狀態，通過訓練基于多智能體深度確定性策略梯度算法和自注意力機制的模型來尋求最優的任務卸載決策。
7、進一步的，在步驟s1中，基站表示為bsi(i∈1,2,…m)，邊緣服務器為esi，用戶設備為muj(j∈1,2,...n)，所述基站與邊緣服務器之間通過物理鏈路連接，用戶設備與基站之間通過無線鏈路連接，邊緣服務器為用戶設備提供計算服務；
8、mec系統網絡采用離散時間模型，將mec系統時間離散化為tmax個時隙，使用集合t＝{t|t∈1,2,...,tmax}來表示，假設mec系統包含了z類不同的任務，使用集合l＝{lz|z∈1,2,...,z}來表示任務集，用戶產生的任務表示為lj＝{dj,bj,zj,rj}，其中dj表示在一個時隙產生的任務的數據大小，bj表示為最大容忍時延，zj表示任務類型，rj表示任務結果大小。
9、進一步的，在步驟s2中，使用變量ωj來表示用戶設備muj的卸載決策，若ωj＝0表示用戶選擇任務在本地執行，若ωj＝1表示用戶選擇卸載任務到邊緣服務器執行，若ωj＝-1表示用戶選擇卸載任務到云服務器執行。
10、進一步的，用戶選擇在本地執行任務時，具體為：任務lj在用戶本地執行，計算成本僅由執行時延和執行能耗構成，執行時延表示為：其中為用戶設備muj的cpu頻率，cpu頻率以每秒周期數為單位，η為執行一比特任務所需的cpu周期數；執行能耗表示為：其中κ表示每個cpu周期的有效電容系數；因此，本地計算成本開銷為：其中α∈[0,1]為時延成本與能耗成本的權重系數。
11、進一步的，用戶將任務卸載到邊緣服務器或云服務器執行時，具體為：根據香農定理，用戶設備muj到邊緣服務器esi可達到的傳輸速率為：用戶設備muj到云服務器cloud可達到的傳輸速率為：其中σ2是加性高斯白噪聲功率，w是帶寬，poff是卸載功率，用戶設備muj到邊緣服務器esi的信道系數為hj,i，到云服務器的信道系數為hj,cloud；
12、任務lj卸載到邊緣服務器或云服務器執行，計算成本包括傳輸成本和執行成本，傳輸成本包括傳輸延遲和能耗，執行成本包括執行延遲和能耗；用戶設備muj將任務卸載到邊緣服務器的總時延為：其中為邊緣服務器esi分配給用戶設備muj的cpu頻率，頻率以每秒周期數為單位，總能耗為：其中，pwait為用戶設備muj等待返回任務結果的空閑時的等待功率；用戶設備muj將任務卸載到邊緣服務器的卸載總成本開銷為：用戶設備muj將任務卸載到云服務器的總時延為：其中為云服務器cloud分配給用戶設備muj的cpu頻率，總能耗為：其中，pwait為用戶設備muj等待返回任務結果的空閑時的等待功率，用戶設備muj將任務卸載到云服務器cloud的卸載總成本開銷為：
13、進一步的，步驟s3中所構建的優化函數，具體為：
14、
15、其中c1限制用戶的決策為任務卸載到云服務器、用戶本地、邊緣服務器的其中之一；c2限制用戶決策的處理任務時間不超過任務的最大容忍時延；c3限制所有卸載到邊緣服務器的用戶分配到的計算資源之和不超過邊緣服務器擁有的計算資源，并且用戶分配到的計算資源為非零正數，fedge表示邊緣服務器擁有的總計算資源。
16、進一步的，所述智能體的狀態空間、動作空間以及獎勵函數，具體定義為：
17、智能體j在時隙t時的狀態表示為：其中為上一時隙智能體j獲得系統分配的計算資源大小，為上一時隙系統總成本開銷大小，dt,j為智能體j在當前時隙產生的任務大小，bt,j為智能體j當前時隙任務的最大容忍時延，t時隙整個系統的狀態空間表示為st＝{st,j|j∈[1,n]}；
18、智能體j在時隙t時的動作表示為：at,j＝{ωj,-1,ωj,0,ωj,1,...,ωj,m}，ωj,-1表示動作為卸載到云服務器，ωj,0表示在本地計算，ωj,1,...,ωj,m表示選擇卸載到某個邊緣服務器，t時隙整個系統的動作空間表示為at＝{at,j|j∈[1,n]}；
19、本文檔來自技高網...
【技術保護點】
1.一種基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，包括：
2.根據權利要求1所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，在步驟S1中，基站表示為BSi(i∈1,2,…M)，邊緣服務器為ESi，用戶設備為MUj(j∈1,2,…N)，所述基站與邊緣服務器之間通過物理鏈路連接，用戶設備與基站之間通過無線鏈路連接，邊緣服務器為用戶設備提供計算服務；
3.根據權利要求2所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，在步驟S2中，使用變量ωj來表示用戶設備MUj的卸載決策，若ωj＝0表示用戶選擇任務在本地執行，若ωj＝1表示用戶選擇卸載任務到邊緣服務器執行，若ωj＝-1表示用戶選擇卸載任務到云服務器執行。
4.根據權利要求3所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，用戶選擇在本地執行任務時，具體為：任務Lj在用戶本地執行，計算成本僅由執行時延和執行能耗構成，執行時延表示為：其中為用戶設備MUj的CPU頻率，CPU頻率以每秒周期數為單位，η為執行一比特任務所需
5.根據權利要求4所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，用戶將任務卸載到邊緣服務器或云服務器執行時，具體為：根據香農定理，用戶設備MUj到邊緣服務器ESi可達到的傳輸速率為：用戶設備MUj到云服務器Cloud可達到的傳輸速率為：其中σ2是加性高斯白噪聲功率，W是帶寬，poff是卸載功率，用戶設備MUj到邊緣服務器ESi的信道系數為hj,i，到云服務器的信道系數為hj,Cloud；
6.根據權利要求5所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，步驟S3中所構建的優化函數，具體為：
7.根據權利要求3所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，所述智能體的狀態空間、動作空間以及獎勵函數，具體定義為：
8.根據權利要求7所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，所述的基于多智能體深度確定性策略梯度算法和自注意力機制的模型設有經驗回放緩沖區，模型中每個智能體的網絡結構包括：1個當前Actor網絡μ、1個目標Actor網絡μ′、1個當前Critic網絡Q、1個目標Critic網絡Q′，定義智能體j的4個網絡參數分別為
9.根據權利要求8所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，所述智能體的網絡進行參數更新，具體包括：
...【技術特征摘要】
1.一種基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，包括：
2.根據權利要求1所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，在步驟s1中，基站表示為bsi(i∈1,2,…m)，邊緣服務器為esi，用戶設備為muj(j∈1,2,…n)，所述基站與邊緣服務器之間通過物理鏈路連接，用戶設備與基站之間通過無線鏈路連接，邊緣服務器為用戶設備提供計算服務；
3.根據權利要求2所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，在步驟s2中，使用變量ωj來表示用戶設備muj的卸載決策，若ωj＝0表示用戶選擇任務在本地執行，若ωj＝1表示用戶選擇卸載任務到邊緣服務器執行，若ωj＝-1表示用戶選擇卸載任務到云服務器執行。
4.根據權利要求3所述的基于多智能體深度強化學習的移動邊緣計算任務卸載方法，其特征在于，用戶選擇在本地執行任務時，具體為：任務lj在用戶本地執行，計算成本僅由執行時延和執行能耗構成，執行時延表示為：其中為用戶設備muj的cpu頻率，cpu頻率以每秒周期數為單位，η為執行一比特任務所需的cpu周期數；執行能耗表示為：其中κ表示每個cpu周期的有效電容系數；因此，本地計算成本開銷為：其中α∈[0,1]為時延成本與能耗成本的權重系數。
5.根據權利要求4所述的基于...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。