【技術實現步驟摘要】
本專利技術屬于水下探測領域，尤其是一種基于分布式強化學習的水下探測器集群自適應探測方法與系統。
技術介紹
1、水下探測器集群系統在海洋資源勘探、水下目標搜索、海洋環境監測等領域具有廣泛的應用前景。與單個探測器相比，探測器集群能夠在更大范圍內同時開展探測任務，具有更強的環境適應能力和任務執行效率。特別是在復雜的水下環境中，集群系統通過多點協同探測，可以有效克服聲學信道帶寬受限、通信延遲大、定位精度低等問題，顯著提升探測數據的可靠性和完整性。因此，研究基于強化學習的水下探測器集群自適應探測方法，對提升水下探測能力、促進海洋開發具有重要的現實意義。
2、目前，水下探測器集群控制主要采用基于規則的確定性控制方法和基于行為的分布式控制方法。基于規則的方法通過預設的控制規則指導探測器運動，如人工勢場法、虛擬結構法等，這類方法實現簡單但缺乏環境適應能力。基于行為的方法將復雜的集群任務分解為基本行為單元，如避障、跟隨、聚集等，通過行為協調實現群體控制，具有一定的環境適應能力但難以實現復雜任務的優化執行。隨著強化學習技術的發展，一些研究開始將深度強化學習應用于水下探測器的控制，通過與環境交互來學習最優控制策略，但這些方法主要針對單個探測器，在群體協同控制方面的研究還較為有限。
3、現有技術在水下探測器集群控制方面存在以下具體問題：首先，在狀態表征方面，現有方法往往采用簡單的狀態拼接或固定權重的特征組合，難以準確刻畫探測器之間復雜的空間關系和互動模式，導致群體協同性能不足；其次，在動作空間設計方面，大多采用離散化的固定動作空
技術實現思路
1、專利技術目的，提供一種基于分布式強化學習的水下探測器集群自適應探測方法與系統，以解決現有技術存在的上述問題。
2、技術方案，基于分布式強化學習的水下探測器集群自適應探測方法，包括如下步驟：
3、s1、獲取探測器特征數據，通過自適應標準化處理，得到標準化狀態矩陣；基于標準化狀態矩陣，構建空間關系量化矩陣；基于空間關系量化矩陣，生成群體拓撲特征矩陣；將群體拓撲特征矩陣轉換為概率分布矩陣并計算熵特征向量；將標準化狀態矩陣、群體拓撲特征矩陣和熵特征向量進行特征融合，得到最終特征表示；其中探測器特征數據包括探測器基礎狀態數據、環境參數數據和探測器群位置數據；
4、s2、基于最終特征表示，構建動作原型矩陣和動作耦合張量；基于動作原型矩陣和動作耦合張量，生成約束條件集合；基于約束條件集合，對動作耦合張量進行優化，得到優化后的動作空間；基于優化后的動作空間，構建動作評估矩陣，通過篩選算法得到可行動作集合；對可行動作集合進行多層次編碼，生成編碼后的動作空間；
5、s3、基于最終特征表示、群體拓撲特征矩陣和編碼后的動作空間，構建包含效率獎勵、安全獎勵、協同獎勵和信息獲取獎勵的基礎獎勵張量；基于基礎獎勵張量，構建動態權重調整矩陣，生成綜合獎勵函數；基于綜合獎勵函數，進行策略優化，得到優化后的策略參數；基于優化后的策略參數，構建分層經驗緩沖區并進行經驗優化，得到優化后的經驗池；基于優化后的經驗池，進行多策略集成，得到最終優化策略；
6、s4、基于最終優化策略，構建包含即時決策層、戰術決策層和戰略決策層的決策評估張量，并通過多層次融合得到融合決策矩陣；基于融合決策矩陣，構建實時監控矩陣，進行異常檢測和處理，得到調整后的執行參數；基于調整后的執行參數，構建多維度評估指標系統，通過自適應權重算法得到評估權重和性能指標；基于調整后的執行參數、評估權重和性能指標，獲取執行數據，構建經驗知識庫，通過知識提煉算法得到優化后的知識庫和更新規則。
7、基于分布式強化學習的水下探測器集群自適應探測系統，包括：
8、至少一個處理器；以及，
9、與至少一個所述處理器通信連接的存儲器；其中，
10、所述存儲器存儲有可被所述處理器執行的指令，所述指令用于被所述處理器執行以實現所述的基于分布式強化學習的水下探測器集群自適應探測方法。
11、有益效果，本專利技術實現了對群體狀態的精確表征，提高了群體行為的協同效果；實現了群體行為的持續優化，保證了系統運行的可靠性和效率；實現了從狀態感知、動作優化、策略學習到決策執行的全流程智能化控制。
本文檔來自技高網...【技術保護點】
1.基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S1進一步為：
3.根據權利要求2所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S2進一步為：
4.根據權利要求3所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S3進一步為：
5.根據權利要求4所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S4進一步為：
6.根據權利要求5所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S11進一步為：
7.根據權利要求5所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S12進一步為：
8.根據權利要求5所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟S21進一步為：
9.根據權利要求6所述的基于分布式強化學習的水下探測器集群自適應探測
10.基于分布式強化學習的水下探測器集群自適應探測系統，其特征在于，包括：
...【技術特征摘要】
1.基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟s1進一步為：
3.根據權利要求2所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟s2進一步為：
4.根據權利要求3所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟s3進一步為：
5.根據權利要求4所述的基于分布式強化學習的水下探測器集群自適應探測方法，其特征在于，步驟s4進一步為：
...【專利技術屬性】
技術研發人員：何川，張琳，張玲玲，
申請(專利權)人：中科南京人工智能創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。