【技術實現步驟摘要】
本專利技術屬于通信，具體涉及一種基于蟻群算法激勵的智能多無人機數據采集方法。
技術介紹
1、隨著無人機集群技術的不斷發展，利用無人機群執行地面傳感器數據采集將在信息通信領域得到廣泛應用。特別是對大規模非均勻分布地面傳感器進行數據采集時，由多無人機組成的低空無人機集群能夠顯著提高傳感器數據的采集效率。然而，在實際應用中，面向傳感器數據新鮮度約束的無人機群巡航采集策略可能造成無人機群能量效率低下，系統持續工作時間受限的問題。其中，數據新鮮度表示數據從產生到采集的平均時延，代表系統數據的有效性和可靠性。
2、針對上述問題，本專利技術提出一種基于蟻群算法激勵的智能多無人機數據采集方法。該方法采用雙延時深度確定性策略梯度算法[1]思想建立無人機群巡航采集優化模型，根據地面傳感器位置分布，動態規劃無人機群的巡航軌跡，根據每架無人機關聯的傳感器數據新鮮度狀態，利用蟻群算法思想構建數據采集激勵函數，最大化無人機的數據采集效率，從而有效降低無人機群巡航過程中的系統能耗。
3、[1]f.scott,v.h.herke,m.david.addressing?function?approximation?errorin?actor-critic?methods[c].proceedings?of?the?35th?international?conferenceon?machine?learning,stockholm,sweden,2018:2587-2601.
技術實現思路
1
2、一種基于蟻群算法激勵的智能多無人機數據采集方法，其包括以下步驟：
3、101、采用雙延時深度確定性策略梯度算法構建深度強化學習模型，包括無人機群動作策略發生器、無人機群狀態-動作值發生器、無人機群數據采集決策發生器、經驗樣本存儲區、隨機樣本集，無人機群表示為集合n＝{n}，其中，n為無人機，將無人機群的巡航采集時間劃分為k個長度為τ的等長時隙，且任意時隙k內系統狀態不變；
4、102、建立系統狀態向量[sk,ak,rk,sk+1]，其中，sk為k時隙的無人機群狀態向量、ak為k時隙的無人機群動作向量、rk為k時隙的系統獎勵、sk+1為k+1時隙的無人機群狀態向量，初始化已采集傳感器集合其中，i表示系統中所有傳感器的集合，初始化k＝0；
5、103、如果k＜k，令k＝k+1，無人機群數據采集決策發生器根據狀態向量sk，更新已采集傳感器集合i′，跳轉到步驟104，否則，跳轉到步驟107；
6、104、通過無人機群動作策略發生器獲得sk狀態下無人機群動作向量ak，利用蟻群算法思想構建激勵函數，并根據k時隙每架無人機n的能耗獲得系統獎勵rk，根據sk與ak計算獲得k+1時隙無人機群狀態向量sk+1，將系統狀態向量[sk,ak,rk,sk+1]加入經驗樣本存儲區；
7、105、從經驗樣本存儲區隨機抽樣獲得樣本集，并將樣本集分別導入無人機群動作策略發生器與無人機群狀態-動作值發生器進行訓練；
8、106、如果|i′|＜|i|，跳轉到步驟107，否則，跳轉到步驟103；
9、107、采集工作結束。
10、進一步的，所述步驟102中建立系統狀態向量[sk,ak,rk,sk+1]，其中，k時隙的無人機群狀態向量sk、無人機群動作向量ak、系統獎勵rk、無人機群在sk狀態下執行ak動作后，進入k+1時隙的無人機群狀態向量sk+1，分別如公式(1)、(2)、(3)、(4)所示：
11、
12、
13、公式(1)中，表示無人機n在k時隙的坐標向量，表示k時隙傳感器i是否在無人機n覆蓋范圍內，如果在無人機n的覆蓋范圍內則否則表示k時隙無人機n的蟻群信息素，i表示系統中所有傳感器的集合，n表示系統中所有無人機集合；公式(2)中，表示k時隙無人機n的水平飛行角度，表示k時隙無人機n的垂直飛行角度，表示k時隙無人機n的飛行速度；公式(3)中，表示k時隙無人機n的能耗。
14、進一步的，所述步驟103中通過無人機群數據采集決策發生器更新已采集傳感器集合i′的方法如下：
15、1)初始化臨時無人機集合n′＝n，k時隙任意無人機n覆蓋范圍內的傳感器臨時集合和數據采集時間
16、2)取出集合n′中的第一個無人機n，根據狀態向量sk，獲得當前無人機n覆蓋范圍內的所有傳感器并將其加入集合并根據中每個傳感器i到無人機n的歐氏距離，對中元素升序排列；
17、3)如果取出集合中第一個傳感器i，將傳感器i加入到已采集傳感器集合i′，令其中，δt為數據采集時長，跳轉到步驟4)，否則，跳轉到步驟6)；
18、4)根據傳感器i中的數據量、數據生成時間和數據接收時間，計算傳感器i的數據新鮮度fi，數據新鮮度表示數據從產生到采集的平均時延，如果fi＜fimax，其中，fimax為傳感器i的數據新鮮度閾值，跳轉到步驟5)，否則，跳轉到步驟7)；
19、5)如果其中，τ為時隙長度，跳轉到步驟3)，否則跳轉到步驟6)；
20、6)如果跳轉到步驟2)，否則，跳轉到步驟7)；
21、7)步驟結束。
22、進一步的，所述步驟104中獲得k時隙系統獎勵rk和k+1時隙無人機群狀態向量sk+1的方法如下：
23、8)初始化臨時無人機集合n′＝n，系統獎勵rk＝0，二進制變量γ＝0；
24、9)取出集合n′中的第一個無人機n，更新k+1時隙無人機群狀態向量sk+1中無人機n的蟻群信息素
25、10)根據無人機群動作向量ak中無人機n的動作向量，更新k+1時隙無人機群狀態向量sk+1中無人機n的坐標向量和二進制變量
26、11)如果跳轉到步驟9)，否則，跳轉到步驟12)；
27、12)根據k+1時隙的無人機群狀態向量sk+1，判斷無人機群是否超出數據采集區域邊界，如果超出，跳轉到步驟13)，否則，跳轉到步驟14)；
28、13)令k+1時隙的無人機群狀態向量sk+1＝sk，二進制變量γ＝1；
29、14)根據無人機群的能耗和k+1時隙的無人機群狀態向量sk+1，計算獲得系統獎勵rk，令其中，p為無人機群超出數據采集區域邊界的懲罰值；
30、15)返回k時隙系統獎勵rk和k+1時隙的無人機群狀態向量sk+1；
31、16)步驟結束。
32、進一步的，所述步驟104中獲得k時隙每架無人機n的能耗的方法，如公式(5)所示：
33、
34、公式(5)中，和表示與無人機n重量、機翼面積、空氣密度相關的權重因子，τ表示時隙長度，表示k時隙無人機n的速度。
35、進一步的，所述步驟4)中，計算單個傳感器新鮮度的方法，如本文檔來自技高網...
【技術保護點】
1.一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟102中建立系統狀態向量[sk,ak,rk,sk+1]，其中，k時隙的無人機群狀態向量sk、無人機群動作向量ak、系統獎勵rk、無人機群在sk狀態下執行ak動作后，進入k+1時隙的無人機群狀態向量sk+1，分別如公式(1)、(2)、(3)、(4)所示：
3.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟103中通過無人機群數據采集決策發生器更新已采集傳感器集合I′的方法如下：
4.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟104中獲得k時隙系統獎勵rk和k+1時隙無人機群狀態向量sk+1的方法如下：
5.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟104中獲得k時隙每架無人機n的能耗的方法，如公式(5)所示：
6.根據權利
7.根據權利要求4所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟9)中更新k+1時隙的狀態向量sk+1中無人機n的蟻群信息素的方法，如公式(7)所示：
8.根據權利要求4所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟10)中獲得無人機群在k+1時隙的無人機n坐標向量的方法，如公式(8)所示：
...【技術特征摘要】
1.一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟102中建立系統狀態向量[sk,ak,rk,sk+1]，其中，k時隙的無人機群狀態向量sk、無人機群動作向量ak、系統獎勵rk、無人機群在sk狀態下執行ak動作后，進入k+1時隙的無人機群狀態向量sk+1，分別如公式(1)、(2)、(3)、(4)所示：
3.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟103中通過無人機群數據采集決策發生器更新已采集傳感器集合i′的方法如下：
4.根據權利要求1所述的一種基于蟻群算法激勵的智能多無人機數據采集方法，其特征在于，所述步驟104中獲得k時隙系統獎勵rk...
【專利技術屬性】
技術研發人員：鮑寧海，陳興志，許小康，李明雨，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。