【技術實現步驟摘要】
本專利技術涉及強化學習、自動控制領域，具體涉及到一種吊掛無人機飛行控制以及載荷抗擺控制方法。
技術介紹
1、旋翼吊掛無人機因其靈活性強，低風險且不受地理環境限制等優勢廣泛應用于物流運輸、農業植保、救援減災等領域。但由于無人機與吊掛載荷之間的動態耦合特性增加了系統的控制難度，不僅導致無人機位置控制精度下降，其載荷擺動還會嚴重威脅無人機的飛行安全，因此如何提高吊掛無人機系統的穩定性以及安全性是國內外研究的重要方向之一。
2、目前應用在吊掛無人機飛行上的傳統抗擺控制方法多數都依賴于精確的數學模型參數，在面對不同的跟蹤目標或是在復雜飛行環境中受到干擾時，載荷會因此產生較大的擺動，嚴重影響了無人機的軌跡跟蹤性能以及穩定性，此時傳統控制方法可能需要頻繁的進行參數調整，從而導致控制性能下降。而強化學習因其能夠實現高效、精準的自主決策與控制被廣泛應用于無人機控制領域，但目前傳統強化學習算法多為on-policy(在線策略)，在樣本利用率上不夠高效，訓練中還可能出現大幅度策略更新，導致無人機穩定性降低，如何利用強化學習使吊掛無人機快速適應跟蹤目標與復雜環境的同時抑制載荷擺動的控制方法鮮有報道。
技術實現思路
1、本專利技術的目的是提供一種四旋翼無人機吊掛抗擺控制方法，通過ppo-clip算法訓練actor-critic神經網絡，利用剪切函數限制強化學習策略的更新幅度，避免在訓練過程中出現策略的大幅度波動，使得無人機可以更加平滑地調整位置，最后通過優化策略網絡輸出控制動作來修正當前無人機的
2、為了實現上述目的，本專利技術采用如下技術方案：
3、一種基于ppo-clip的四旋翼無人機吊掛抗擺控制技術，其特征在于，設計backstepping-pid控制器調節無人機的位置和姿態，為強化學習提供穩定的訓練條件。設計基于ppo-clip算法的吊掛無人機控制框架，引入新舊策略的概率比衡量策略變化，并利用剪切函數來限制策略更新的幅度，構造基于ppo-clip的四旋翼無人機吊掛載荷抗擺控制系統，包括以下步驟：
4、s1:通過建立慣性坐標系和機體坐標系對無人機的位置和姿態進行描述，在此基礎上，忽略繩子質量以及空氣阻力對無人機吊掛系統的影響，基于牛頓-歐拉和歐拉-拉格朗日建立四旋翼無人機吊掛系統數學模型。
5、s2:根據四旋翼無人機非線性、欠驅動、強耦合的特點，外環位置控制采用backstepping(反步法)控制器，內環姿態控制采用pid控制器。
6、s3:利用ppo-clip算法訓練神經網絡并不斷更新優化策略網絡參數θ和價值網絡參數φ，根據優化的策略對吊掛無人機的輸入軌跡進行修正。
7、s4:設定無人機的期望位置和期望偏航角，并在飛行過程中對載荷施加干擾，驗證方法的抗擾能力。
8、綜上所述，由于采用了上述技術方案，本專利技術的有益效果是：
9、經過算法軌跡修正后無人機跟蹤軌跡更加平滑，跟蹤速度更快，在無人機起飛階段能夠快速抑制載荷擺動，或是在跟蹤弧形軌跡時能夠使載荷迅速收斂至球面擺狀態，并且在載荷受到干擾時無人機可以通過自主調整位置，減小載荷擺動頻率以及載荷擺動對無人機穩定性的影響。
本文檔來自技高網...【技術保護點】
1.一種基于PPO-Clip的四旋翼無人機吊掛抗擺控制方法，其特征在于：基于Backstepping-PID控制技術設計無人機飛行控制系統，通過PPO-Clip算法訓練actor-critic神經網絡，利用算法中的剪切函數限制強化學習策略的更新幅度，最后通過調節無人機四個旋翼的升力，對無人機輸入軌跡進行修正，形成閉環飛行控制系統，提高無人機軌跡跟蹤性能的同時抑制吊掛載荷的擺動。
2.根據權利要求1所述的一種基于PPO-Clip的四旋翼無人機吊掛抗擺控制方法，其特征在于，基于牛頓-歐拉和歐拉-拉格朗日方法建立四旋翼吊掛無人機的八自由度非線性系統模型，設計一種以姿態為內環，抗擺，位置為外環的閉環控制系統。
3.根據權利要求2所述的一種基于PPO-Clip的四旋翼無人機吊掛抗擺控制方法，其特征在于，四旋翼吊掛無人機系統建模如下：
4.根據權利要求3所述的一種基于PPO-Clip的四旋翼無人機吊掛抗擺控制方法，其特征在于，設計Backstepping-PID控制器，建立基于PPO-Clip算法的吊掛無人機強化學習框架，觀測無人機的狀態，訓練神經網絡并更
5.根據權利要求4所述的一種基于PPO-Clip的四旋翼無人機吊掛抗擺控制方法，其特征在于，利用Backstepping-PID控制器調整無人機的位姿，再根據PPO-Clip算法優化后的修正策略對輸入軌跡進行修正，步驟為：
...【技術特征摘要】
1.一種基于ppo-clip的四旋翼無人機吊掛抗擺控制方法，其特征在于：基于backstepping-pid控制技術設計無人機飛行控制系統，通過ppo-clip算法訓練actor-critic神經網絡，利用算法中的剪切函數限制強化學習策略的更新幅度，最后通過調節無人機四個旋翼的升力，對無人機輸入軌跡進行修正，形成閉環飛行控制系統，提高無人機軌跡跟蹤性能的同時抑制吊掛載荷的擺動。
2.根據權利要求1所述的一種基于ppo-clip的四旋翼無人機吊掛抗擺控制方法，其特征在于，基于牛頓-歐拉和歐拉-拉格朗日方法建立四旋翼吊掛無人機的八自由度非線性系統模型，設計一種以姿態為內環，抗擺，位置為外環的閉環控制系統。
3.根據權利要求2所述的一種基于pp...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。