【技術實現步驟摘要】
本專利技術涉及空氣動力學試驗，具體地說，是一種基于深度強化學習的風洞試驗集成方法。
技術介紹
1、風荷載與振動對結構安全的影響是建筑、汽車、航空等領域的重要考量因素，尤其是在科技和交通快速發展的背景下，隨著人們對汽車和飛機速度要求的不斷提升，以及高層建筑日益增多，這類風險顯得尤為突出，進一步凸顯了風洞試驗的重要性。風洞試驗不僅可以探究有效的流動控制手段，減輕這些風險，提高系統的整體性能，還能完成風特性研究和可視化等，為空氣動力學研究提供依據與支撐。
2、近年來，深度強化學習(drl)已成為解決閉環主動控制中復雜順序決策問題的重要工具。通過將強化學習與深度學習相結合，drl利用深度神經網絡的強大計算能力，顯著提升了其在各類控制系統中的適用性和效果。這種方法已在多個控制領域展現了優異的性能。
3、將drl技術與風洞試驗相結合，應用于空氣動力學研究，提供了一種前景廣闊的流動控制解決方案。然而，這一結合面臨著多個挑戰，包括軟件系統的集成、硬件的兼容性以及數據交互的復雜性。因此，開發一個基于深度強化學習的風洞試驗集成方法，能夠為研究人員提供一個簡潔、易用的工具，成為當前空氣動力學研究領域中的迫切需求。這一方法的建立將大大簡化相關研究的流程，提升研究效率，并為空氣動力學領域的進一步創新提供有力支持。
技術實現思路
1、本專利技術的目的是克服現有技術中的不足，滿足現實中的實際需求，提供一種基于深度強化學習的風洞試驗集成方法，本方法結合了深度強化學習(deep?reinfo
2、本專利技術采用的具體技術方案如下：
3、一種基于深度強化學習的風洞試驗集成方法，集成了強化學習技術(drl)、深度學習技術、ppo(proximal?policy?optimization)、sac(softactor-critic)、td3(twindelayed?deep?deterministic?policy?gradient)等算法，并支持tcp(transmissioncontrol?protocol)、udp(user?datagram?protocol)、串口通訊(serial)、modbus通訊協議等多種通訊方式。此外，還基于gym環境進行部署，以實現與風洞設備的高效交互。
4、首先，本方法將風洞試驗中常用的設備(壓力掃描閥、測力天平、arduino、電機、激光位移計等設備)通訊協議通過python代碼進行控制，主要分為初始化、寫入和讀取三個部分。初始化：基于用戶輸入的通訊參數(波特率、端口)，建立與設備的通訊通道。寫入：用于發送控制指令和試驗參數，確保設備按照設定執行操作。讀取：從傳感器或執行器中獲取實時數據和狀態，供后續處理與分析。所有代碼均經過實際設備測試，確保其在風洞試驗中的可靠性和有效性。
5、其次，本方法將所有代碼集成到一個統一的適配器(adapter)中，通過適配器提供統一的初始化、寫入和讀取接口，以簡化不同設備之間的通訊流程并提高系統的靈活性和可擴展性。初始化功能：基于用戶輸入的通訊參數(如通訊方式、波特率、端口號等)，自動建立數據傳輸通道，確保各設備之間的通訊順暢穩定。該功能支持多種通訊協議，并能夠根據用戶的具體需求進行靈活配置，以適應不同的設備和通訊環境。寫入功能：允許用戶實時修改設備的操作指令和參數，并將這些指令或參數打包為符合對應通訊協議格式的消息進行發送。通過這一功能，用戶可以動態調整設備的運行狀態，實現對風洞試驗過程中各類設備的靈活控制和管理。讀取功能：從設備的傳感器中實時獲取測量數據，或從執行器中讀取當前的設定值與狀態信息。讀取的數據將被即時反饋給用戶，幫助其實時監控設備的運行情況，并為后續的分析和優化提供準確的參考依據。
6、接著，本方法集成了當前流行的多個drl庫，如tianshou和stable?baselines3，用戶可以在這些庫中自由選擇適合的drl算法(如ppo、sac、td3等)，并靈活使用這些庫中的優化工具，從而為實驗提供更加智能化的控制方案。
7、最后，本方法提供了與gym環境兼容的通用接口，用戶能夠通過此接口自由控制方法的適配器(adapter)，實現對風洞試驗設備的精確操作。同時，系統支持在執行器、傳感器、控制器與drl算法之間進行數據的雙向傳輸，從而實現數據的閉環反饋與控制優化。
8、本專利技術中各算法的基本原理如下：
9、適配器(adapter)：適配器集成了多個風洞實驗中常用的通訊協議，通過python編寫的控制代碼實現設備的通訊管理。適配器功能劃分為三個核心模塊：初始化、寫入和讀取。初始化：根據用戶輸入的通訊參數(如通訊方式、波特率、端口等)，建立穩定的通訊通道，確保不同設備間的數據傳輸順暢。寫入：負責將用戶定義的指令和參數轉換為符合通訊協議的格式，并將其發送至設備，實現對風洞試驗設備的控制和參數調整。讀取：從風洞設備中的傳感器或執行器中讀取實時數據或設備當前狀態，為用戶提供實時反饋和設備狀態監控。
10、深度強化學習算法(drl)：本方法集成了多個當前主流的深度強化學習算法庫，包括tianshou和stable?baselines3，用戶可以靈活選擇并調用這些庫中的深度強化學習算法(如ppo、sac、td3等)。本方法提供了全面的功能支持，包括訓練優化和參數調整，能夠大幅提高算法的訓練效率，加速模型的收斂過程。此外，用戶可以根據具體實驗需求，定制和調整優化策略，進一步提升實驗結果的準確性與可靠性。
11、gym環境：gym環境是深度強化學習研究中的標準框架，提供了統一的輸入輸出接口，確保與drl算法的無縫交互。該環境使得用戶可以在方法中自由使用適配器(adapter)來控制風洞試驗設備，并實現執行器、傳感器、控制器與drl算法之間的實時數據傳輸。通過這一方法，用戶能夠便捷地進行空氣動力學實驗數據的采集、處理與控制，提升實驗效率，并為深度強化學習在流動控制中的應用提供了穩定的測試環境。
12、具體地說，包括以下步驟：
13、步驟一、將風洞試驗中常用的設備的通訊協議以python編碼控制，總體分為初始化、寫入和讀取三個部分，初始化負責利用用戶輸入的通訊參數建立通訊通道，寫入負責發送數據和參數，讀取負責讀取數據和參數；所有python代碼均在風洞試驗設備中進行了測試。
14、步驟二、在通訊協議下，編寫三個功能函數，分別為初始化，寫入和讀取，初始化可以將用戶設置的通訊參數用于建立通訊通道，為數據傳輸做準備，而寫入功能使得用戶能夠自由改變設備的行為或者參數，本文檔來自技高網...
【技術保護點】
1.一種基于深度強化學習的風洞試驗集成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟一中，風洞試驗中使用到的設備包括壓力掃描閥、測力天平、Arduino、電機、激光位移計。
3.根據權利要求2所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟一的具體流程為：將風洞試驗中常用設備的通訊協議通過Python代碼進行控制，整個過程分為三個部分：初始化、數據寫入和數據讀取；
4.根據權利要求3所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟二的具體流程為：將不同設備所采用的通訊協議整合到一個統一的適配器中，所述適配器兼容多種協議，并統一提供標準的初始化、寫入與讀取接口，確保不同類型設備的無縫通信及數據交互，用戶只需要設定相應的參數即可。
5.根據權利要求4所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟三的具體流程為：將多個深度強化學習庫集成到本方法中，包括Tianshou、StableBaselines3；用戶可以根據實驗需求，自由
6.根據權利要求5所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟三中使用的DRL算法為PPO算法或SAC算法或TD3算法，具體算法如下：
7.根據權利要求6所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟四的具體流程為：提供了與gym環境兼容的通用接口，用戶通過該接口自由控制本方法中的Adapter，實現對風洞試驗設備的高效管理與操作；該接口支持在執行器、傳感器、控制器與深度強化學習算法之間實現數據的實時傳輸，使得設備運行狀態與控制策略能夠緊密結合，形成一個完整的閉環控制系統：
...【技術特征摘要】
1.一種基于深度強化學習的風洞試驗集成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟一中，風洞試驗中使用到的設備包括壓力掃描閥、測力天平、arduino、電機、激光位移計。
3.根據權利要求2所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟一的具體流程為：將風洞試驗中常用設備的通訊協議通過python代碼進行控制，整個過程分為三個部分：初始化、數據寫入和數據讀取；
4.根據權利要求3所述的基于深度強化學習的風洞試驗集成方法，其特征在于，所述步驟二的具體流程為：將不同設備所采用的通訊協議整合到一個統一的適配器中，所述適配器兼容多種協議，并統一提供標準的初始化、寫入與讀取接口，確保不同類型設備的無縫通信及數據交互，用戶只需要設定相應的參數即可。
5.根據權利要求4所述的基于深度強化學習的風洞試驗集成方法，...
【專利技術屬性】
技術研發人員：胡鋼，董欣輝，
申請(專利權)人：哈爾濱工業大學深圳哈爾濱工業大學深圳科技創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。