【技術實現步驟摘要】
本申請涉及無人機飛行控制領域，特別是涉及一種基于深度強化學習的無人機控制方法、裝置、設備及介質。
技術介紹
1、低空長航時無人機作為一種新興的航空平臺，具有長時間飛行的特性，適合執行持續的監視、偵察和通信任務，已成為研究和應用的熱點。
2、低空長航時無人機為了增加航時，通常具備展弦比大、結構重量輕、結構剛度小等特點，帶來了顯著的動力學非線性。現有的飛行控制方法主要依賴線性模型，這些模型無法有效處理非線性氣動力和力矩對飛行控制的影響。例如，傳統的pid控制器雖然簡單有效，但在面對非線性動力學和外界干擾時表現較差，難以保證飛行穩定性和控制精度。
3、近年來，深度強化學習（deep?reinforcement?learning,?drl）作為一種新興的控制方法，因其在處理非線性系統和高維狀態空間方面的優勢，逐漸應用于無人機飛行控制領域。然而，現有的研究在將drl應用于低空長航時無人機的飛行控制時，仍存在控制效果不穩定的問題。
技術實現思路
1、本申請的目的是提供一種基于深度強化學習的無人機控制方法、裝置、設備及介質，可提高低空長航時無人機在復雜飛行環境中的穩定性。
2、為實現上述目的，本申請提供了如下方案：
3、第一方面，本申請提供了一種基于深度強化學習的無人機控制方法，所述基于深度強化學習的無人機控制方法包括：構建長航時無人機的六自由度動力學方程；所述六自由度動力學方程包含非線性氣動力特性和力矩特性；根據所述六自由度運動學方程，采用近端策
4、第二方面，一種基于深度強化學習的無人機控制裝置，該基于深度強化學習的無人機控制裝置應用上述的基于深度強化學習的無人機控制方法，所述基于深度強化學習的無人機控制裝置包括：動力學方程構建模塊，用于構建長航時無人機的六自由度動力學方程；所述六自由度動力學方程包含非線性氣動力特性和力矩特性；模型訓練模塊，用于根據所述六自由度運動學方程，采用近端策略優化算法訓練深度強化學習模型，獲得訓練后的深度強化學習模型；預測模塊，用于基于訓練后的深度強化學習模型中的策略網絡進行控制策略的預測；控制模塊，用于基于預測得到的控制策略對長航時無人機進行控制。
5、第三方面，一種計算機設備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序以實現上述的基于深度強化學習的無人機控制方法。
6、第四方面，一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述的基于深度強化學習的無人機控制方法。
7、根據本申請提供的具體實施例，本申請公開了以下技術效果。
8、本申請提供了一種基于深度強化學習的無人機控制方法、裝置、設備及介質。通過建立包含非線性氣動力和力矩特性的六自由度動力學模型，并采用基于近端策略優化算法的深度強化學習控制方法，實現對無人機空速和姿態的精確控制，解決了低空長航時無人機在復雜飛行環境下，由于動力學模型的非線性特性及外界干擾而難以保持穩定飛行姿態的控制問題，提高了低空長航時無人機在復雜飛行環境中的穩定性。
本文檔來自技高網...【技術保護點】
1.一種基于深度強化學習的無人機控制方法，其特征在于，所述基于深度強化學習的無人機控制方法包括：
2.根據權利要求1所述的基于深度強化學習的無人機控制方法，其特征在于，所述六自由度動力學方程包括：質心運動方程、角運動方程、質心動力學方程和角動力學方程。
3.根據權利要求2所述的基于深度強化學習的無人機控制方法，其特征在于，所述質心運動方程為：
4.根據權利要求3所述的基于深度強化學習的無人機控制方法，其特征在于，投影到機體坐標系的氣動力和在機體坐標系的氣動力矩采用無量綱氣動力系數計算獲得。
5.根據權利要求4所述的基于深度強化學習的無人機控制方法，其特征在于，
6.根據權利要求1所述的基于深度強化學習的無人機控制方法，其特征在于，根據所述六自由度運動學方程，采用近端策略優化算法訓練深度強化學習模型，獲得訓練后的深度強化學習模型，具體包括：
7.根據權利要求6所述的基于深度強化學習的無人機控制方法，其特征在于，
8.一種基于深度強化學習的無人機控制裝置，其特征在于，所述基于深度強化學習的無人機控制裝
9.一種計算機設備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序以實現權利要求1-7中任一項所述的基于深度強化學習的無人機控制方法。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-7中任一項所述的基于深度強化學習的無人機控制方法。
...【技術特征摘要】
1.一種基于深度強化學習的無人機控制方法，其特征在于，所述基于深度強化學習的無人機控制方法包括：
2.根據權利要求1所述的基于深度強化學習的無人機控制方法，其特征在于，所述六自由度動力學方程包括：質心運動方程、角運動方程、質心動力學方程和角動力學方程。
3.根據權利要求2所述的基于深度強化學習的無人機控制方法，其特征在于，所述質心運動方程為：
4.根據權利要求3所述的基于深度強化學習的無人機控制方法，其特征在于，投影到機體坐標系的氣動力和在機體坐標系的氣動力矩采用無量綱氣動力系數計算獲得。
5.根據權利要求4所述的基于深度強化學習的無人機控制方法，其特征在于，
6.根據權利要求1所述的基于深度強化學習的無人機控制方法，其特征在于，根據所述六自由度運動學方程，采用近端策略優化...
【專利技術屬性】
技術研發人員：闞梓，李道春，周昀鍇，王天杰，別大衛，孟莉，向錦武，
申請(專利權)人：天目山實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。