【技術實現步驟摘要】
本專利技術涉及多無人機自主協同決策與控制，具體是一種基于雙延遲深度確定性策略梯度(twin?delayed?deep?deterministic?policy?gradient?algorithm，td3)的無人機集群避障策略生成方法。
技術介紹
1、隨著無人機技術的快速發展，無人機集群作為一種協同智能系統，展現出了巨大的應用潛力。通過多個無人機的協調運作，可以實現更高效的空中覆蓋、復雜任務執行以及多目標管理。例如，在大型活動的安保監控中，無人機集群能夠實時監測廣闊區域，及時發現異常情況；在災難救援中，無人機集群可以快速搜尋幸存者，提高救援效率；在環境監測中，可以對空氣質量、森林火災等進行實時監控。然而，在無人機集群系統中，避障策略的生成是一個至關重要的問題，特別是在動態環境下，傳統的基于規則或算法的避障方案可能無法快速適應復雜多變的情境。如果避障策略不夠智能，可能導致無人機發生碰撞，造成設備損壞，甚至引發安全事故。
2、傳統無人機集群的避障方法通常依賴于規則驅動和經典算法相結合的方式。這些方法的技術實現主要依賴于人為設定的一系列行為規則，以及基于傳感器數據的避障決策。典型的規則驅動方法包括設定無人機在接近障礙物時進行減速、轉向、上升等動作，這些規則是根據對任務環境的預先假設制定的，缺乏對未知情況的適應能力。此外，經典算法如基于幾何的路徑規劃算法(如a算法、dijkstra算法)和人工勢場法等，常用于為無人機集群生成安全路徑。a算法通過評估節點的啟發式函數尋找最優路徑，但在動態環境中需要頻繁重新計算，導致計算量巨大。
3、首先，規則驅動的方法缺乏靈活性，面對未預見的情況(如突發的移動障礙物或環境變化)，傳統系統可能無法及時做出有效反應。這是因為預設規則無法涵蓋所有可能的情境，當出現超出規則范圍的情況時，無人機可能無法采取適當的避障動作。此外，經典的路徑規劃算法通常計算量大，難以在多無人機協同操作的實時場景中保證效率。尤其是在高密度的無人機集群中，每一架無人機都需要實時計算最優路徑，計算資源的消耗和通信延遲可能導致無法滿足實時性的要求。特別是當環境或任務目標復雜多變時，預設規則和固定算法難以根據實際情況動態調整策略，導致無人機集群在執行任務時容易陷入局部最優或無法規避新出現的威脅。相較之下，傳統避障方法的適應性和智能化水平較低，限制了其在現代復雜場景中的應用潛力。
4、無人機蜂群技術的發展經歷了多年的研究和實踐，尤其在軍用領域中取得了顯著進展。最早的研究集中在集群的協調控制和通信架構上，旨在模仿自然界中如鳥群和魚群的集體行為模式。這些研究借鑒了生物群體的簡單規則，如位置對齊、速度匹配和避免碰撞，實現了無人機之間的協同。現代蜂群技術依賴于自主決策算法、機器學習以及分布式控制系統，使得無人機能夠在復雜環境中執行任務。例如，通過分布式的通信網絡，無人機可以共享環境信息，協同完成偵察、監視和打擊等任務，提升任務的成功率和效率。
5、近年來，美國、以色列、中國等國家在無人機蜂群的軍事應用上都取得了里程碑式的突破。以色列在2021年首次在實戰中部署了無人機蜂群，用于自動協調和打擊多個目標，其系統能夠在無人干預的情況下自主完成任務。美國的軍方也在不斷測試無人機集群，如在2021年的演習中測試了單人指揮45架無人機的場景，展示了無人機蜂群在復雜任務中的自主性和協調能力。這些無人機能夠自主編隊、分配任務，并在執行過程中互相協作，適應戰場環境的快速變化。此外，中國的研究表明，該國在蜂群無人機技術方面也具備相當的創新能力，并展示了無人機從軍艦發射、進行偵察和攻擊任務的操作，體現了無人機蜂群在海上作戰中的潛力。
6、深度強化學習技術在無人機集群避障策略中的應用，將為多個行業帶來革命性的變化。在民用領域，如物流配送、環境監測和農業噴灑等任務中，具備高度自主避障能力的無人機集群可以大幅提升效率和安全性。深度強化學習使無人機能夠在未知或動態變化的環境中自主學習最佳路徑，減少人為干預，降低操作風險。例如，在物流配送中，無人機集群可以根據實時的天氣和交通狀況，動態調整飛行路線，確保貨物快速、安全地送達。此外，這種技術還可以應用于城市規劃和智能交通管理，通過空中無人機集群的協同運行，緩解地面交通壓力，實現立體化的交通體系，為智慧城市的發展提供新的解決方案。
7、在軍用和安防領域，采用深度強化學習的無人機集群避障策略將極大地增強任務的靈活性和成功率。無人機集群可以在復雜的戰場環境中自主協同，規避敵方防御系統，實現情報收集、目標跟蹤和精確打擊等任務。例如，面對敵方的干擾和防空系統，無人機集群可以通過學習，找到最安全和隱蔽的路徑滲透到目標區域。同時，這種技術還可以用于災難救援和反恐行動，在高風險或未知環境中執行搜索和救援任務，保護人員安全。通過深度強化學習，無人機能夠識別復雜的地形和障礙物，提高任務的成功率。深度強化學習驅動的無人機集群避障策略具有廣泛的應用前景，將推動無人機技術朝著更加智能化和自主化的方向發展，進一步拓展無人機在各個領域的應用。
技術實現思路
1、針對上述傳統技術中的不足，本專利技術提供一種基于td3的無人機集群避障策略生成方法，包括如下步驟：
2、結合任務目標，確定無人機集群的各常數，包括：(集群目標運動方向單位矢量)、n(目標無人機集群密度)
3、結合實際應用環境情況，確定無人機與環境交互的各常數，包括：dd(允許的最小無人機間距)、do(允許的最小無人機與障礙距離)、fd(無人機集群的目標隊形)
4、結合無人機的實際性能，確定無人機控制的各常數，包括：αmax(無人機的最大平移加速度)、βmax(無人機的最大角加速度)
5、結合任務類型和控制偏好，確定獎勵函數的各常數：k1(節能獎勵常數)、k2(集群行動速度獎勵常數)、k3(集群密度獎勵常數)、k4(集群隊列形狀獎勵常數)
6、建立獎勵函數，采用雙延遲深度確定性策略梯度訓練所述馬爾可夫決策模型，并生成無人機集群避障策略
7、在其中一個實施例，所述馬爾可夫決策模型具體為(s、a、r、γ)
8、其中，s為無人機集群避障狀態空間，為：
9、s＝{xi,yi,zi,φi,θi,ψi,vxi,vyi,vzi,ωφi,ωθi,ωψi}
10、其中，xi、yi、zi分別為無人機集群中第i個無人機的空間絕對位置；φi、θi、ψi分別為無人機集群中第i個無人機的滾轉角、俯仰角、偏航角；vxi、vyi、vzi為無人機集群中第i個無人機在三軸投影上的平移速度；ωφi、ωθi、ωψi為無人機集群中第i個無人機的三軸角速度；
11、a為無人機集群避障的動作空間，采用本文檔來自技高網...
【技術保護點】
1.一種基于TD3的無人機集群避障策略生成方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于TD3的無人機集群避障策略生成方法，其特征在于，所述馬爾可夫決策模型具體為(S、A、R、γ)，其中：
3.根據權利要求2所述的基于TD3的無人機集群避障策略生成方法，其特征在于，所述獎勵函數具體為：
4.根據權利要求1或2或3所述的基于TD3的無人機集群避障策略生成方法，其特征在于，所述采用TD3訓練所述馬爾可夫決策模型的方法，具體為：
【技術特征摘要】
1.一種基于td3的無人機集群避障策略生成方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于td3的無人機集群避障策略生成方法，其特征在于，所述馬爾可夫決策模型具體為(s、a、r、γ)，其中：
3.根據權...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。