【技術實現步驟摘要】
本專利技術屬于邊緣計算，更具體地，涉及一種基于深度強化學習的無人機輔助邊緣計算任務卸載方法和系統。
技術介紹
1、隨著物聯網技術的快速發展，移動設備的數量持續激增，并推動著新型移動應用的快速發展，如自動導航、在線式交互游戲、ar/vr虛擬技術等。移動邊緣計算的提出為解決移動設備有限的計算能力和電池容量提供了經濟高效的解決方案。然而，如何在通信基礎設施覆蓋范圍有限的地區提供可靠的計算服務，仍是一個具有挑戰性的問題。無人機具有高度靈活性和機動性等特點，已經成為輔助無線通信的重要手段。搭載小型服務器的無人機可以作為空中計算平臺，為移動設備提供靈活和彈性的計算服務，具有部署高效便捷、覆蓋范圍廣闊等優點。無人機輔助的移動邊緣計算技術已經成為了5g網絡的關鍵技術之一，受到學術界和產業界廣泛關注。
2、目前，在邊緣計算過程中，優化邊緣計算任務已成為一個非常重要的研究課題。為了降低用戶端的功耗和處理時間，現有普遍采用的優化方法是將用戶設備終端的計算任務卸載到邊緣服務器。
3、然而，當前無人機輔助邊緣計算任務卸載方法均存在一些不可忽略的缺陷：第一，當前無人機輔助邊緣計算任務卸載方法多為二進制卸載，即計算任務要么全部本地計算，要么將任務全部卸載到無人機服務器端，這種方式可能導致用戶設備本地計算資源和無人機遠端計算資源的浪費；第二，當前多數無人機輔助邊緣計算任務卸載方法都假設無人機從固定起點出發前往固定終點且沒有考慮無人機在垂直方向的移動能力。從而一方面忽略無人機的靈活部署能力會導致脫離實際，比如突發情況下在任意地點部署無人機
技術實現思路
1、針對現有技術的以上缺陷或改進需求，本專利技術提供了一種基于深度強化學習的無人機輔助邊緣計算任務卸載方法和系統，其目的在于，解決現有無人機輔助邊緣計算任務卸載方法由于采用二進制卸載，導致用戶設備本地計算資源和無人機遠端計算資源的浪費的技術問題，以及現有無人機輔助邊緣計算任務卸載方法忽略無人機靈活部署能力與垂直方向的移動能力，導致脫離實際，無法針對隨機起始點做出最優路徑規劃的問題，以及現有無人機輔助邊緣計算任務卸載方法忽略實際中用戶設備進行隨機移動的可能性，導致邊緣計算系統無法根據實時變化的系統環境進行在線卸載決策，進而整體工作效率低下的問題，以及現有無人機輔助邊緣計算任務卸載方法難以解決聯合在線決策、部分卸載和路徑優化三大要素組成的高度復雜非凸優化問題，導致邊緣計算系統無法完成持續性最優卸載過程的技術問題。
2、為實現上述目的，按照本專利技術的一個方面，提供了一種基于深度強化學習的無人機輔助邊緣計算任務卸載方法，包括以下步驟：
3、(1)設置時隙序號t＝1；
4、(2)判斷t是否大于邊緣計算系統中時隙的總數t，如果是則進入步驟(8)，否則進入步驟(3)；
5、(3)搭載服務器的無人機從邊緣計算系統中的第n個終端用戶獲取該第n個終端用戶在第t個時隙的待處理任務的參數wn(t)和坐標參數cn(t)，從自身獲取無人機在第t-1個時隙的坐標參數cu(t-1)，并根據待處理任務的參數wn(t)和坐標參數cn(t)獲取第n個終端用戶在第t個時隙的全本地處理時延全本地處理能耗其中n表示存在待處理任務的終端用戶在邊緣計算系統中的序號，且有n∈[1,邊緣計算系統中存在待處理任務的終端用戶的總數n]。
6、(4)搭載服務器的無人機根據步驟(3)得到的每個終端用戶在第t個時隙的待處理任務的參數wn(t)和坐標參數cn(t)、以及無人機在第t-1個時隙的坐標參數cu(t-1)，獲取每個終端用戶在第t個時隙的歸一化后的待處理任務的參數wn′(t)和歸一化后的坐標參數cn′(t)，以及無人機在第t-1個時隙的歸一化后的坐標參數cu′(t-1)。
7、(5)搭載服務器的無人機將步驟(4)得到的每個終端用戶在第t個時隙的歸一化后的待處理任務的參數wn′(t)和歸一化后的坐標參數cn′(t)、以及無人機在第t-1個時隙的歸一化后的坐標參數cu′(t-1)輸入預先訓練好的深度強化學習模型w，以得到無人機在第t個時隙的最優水平移動角度ω(t)、最優水平移動距離δdu(t)、最優垂直移動距離δzu(t)以及每個終端用戶的最優任務卸載量
8、(6)搭載服務器的無人機根據步驟(5)得到的無人機在第t個時隙的最優水平移動角度ω(t)、最優水平移動距離δdu(t)、最優垂直移動距離δzu(t)以及每個終端用戶的最優任務卸載量獲取第n個終端用戶在第t個時隙的本地處理時延任務上行時延本地處理能耗以及任務上行能耗以及搭載服務器的無人機的遠端處理時延和遠端處理能耗
9、(7)搭載服務器的無人機根據步驟(6)得到的每個終端用戶在第t個時隙的本地處理時延任務上行時延本地處理能耗任務上行能耗以及搭載服務器的無人機的遠端處理時延遠端處理能耗獲取邊緣計算系統在第t個時隙的任務響應時延t(t)和任務能量消耗e(t)(截止此時，邊緣計算系統完成第t個時隙的卸載過程)，設置t＝t+1，并返回步驟(2)；
10、(8)搭載服務器的無人機根據步驟(3)得到的每個終端用戶在第t個時隙的全本地處理時延全本地處理能耗以及步驟(7)得到的邊緣計算系統在每個時隙的任務響應時延t(t)和任務能量消耗e(t)，獲取邊緣計算系統的系統效用u。
11、(9)搭載服務器的無人機將步驟(8)得到的邊緣計算系統的系統效用u作為服務結果反饋至每個終端用戶，過程結束。
12、優選地，第n個終端用戶在第t個時隙的待處理任務的參數wn(t)包括待處理任務的任務大小dn(t)，以及處理待處理任務中1bit任務所需要的cpu周期數cn(t)；第n個終端用戶在第t個時隙的坐標參數cn(t)包括x軸坐標xn(t)、y軸坐標yn(t)、以及z軸坐標zn(t)。
13、第n個終端用戶在第t個時隙的全本地處理時延是根據以下公式進行計算：
14、
15、其中fn為第n個終端用戶使用的本地cpu芯片的頻率。
16、第n個終端用戶在第t個時隙的全本地處理能耗是根據以下公式進行計算：
17、
18、其中κ為第n個終端用戶使用的本地cpu芯片的有效開關電容的電容值。
本文檔來自技高網...【技術保護點】
1.一種基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
3.根據權利要求1或2所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，步驟(4)包括以下子步驟：
4.根據權利要求1至3中任意一項所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
5.根據權利要求4所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，步驟(6)包括以下子步驟：
6.根據權利要求5所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
7.根據權利要求6所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
8.根據權利要求7所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，步驟(8)包括以下子步驟：
9.根據權利要求8所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，深度強化學習模
10.一種基于深度強化學習的無人機輔助邊緣計算任務卸載系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
3.根據權利要求1或2所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，步驟(4)包括以下子步驟：
4.根據權利要求1至3中任意一項所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，
5.根據權利要求4所述的基于深度強化學習的無人機輔助邊緣計算任務卸載方法，其特征在于，步驟(6)包括以下子步驟：
6.根據權利要求...
【專利技術屬性】
技術研發人員：童釗，章仕彥，梅晶，汪燦，張遠洋，鄧加欣，曾璀彬，張躍甲，
申請(專利權)人：湖南師范大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。