【技術實現步驟摘要】
本申請涉及微細絲生產，尤其涉及一種基于深度強化學習的連鑄工藝參數優化方法及裝置。
技術介紹
1、連鑄工藝作為現代冶金工業中生產金屬材料的核心技術，其工藝水平直接影響到鑄坯質量、生產效率和能源消耗。隨著冶金技術的發展，市場對高質量鑄坯和高效生產的需求越來越高。連鑄工藝不僅涉及復雜的物理、化學過程，還受諸如溫度場、流場、應力場等多場耦合的動態影響。傳統的連鑄工藝優化方法大多依賴于工藝工程師的經驗以及基于實驗的逐步優化策略，難以應對現代生產中日益復雜的工藝要求。
2、在當前的工業生產中，連鑄工藝的優化通常以單一目標為導向，缺乏對多目標、多約束下的系統性優化。這些目標往往包括鑄坯的表面質量、成分均勻性、組織形態等，它們之間相互制約，構成一個復雜的多目標優化問題。此外，連鑄工藝涉及高度非線性的動態過程，這些過程難以通過傳統的優化方法進行有效建模和實時控制。
技術實現思路
1、為克服現有技術中的不足，本申請提供一種基于深度強化學習的連鑄工藝參數優化方法及裝置，能夠確保連鑄工藝在不同性能指標上均能達到理想水平，提高產品的綜合質量。
2、第一方面，本申請提供一種基于深度強化學習的連鑄工藝參數優化方法，所述方法包括以下步驟：
3、獲取連鑄的初始實驗數據集；所述初始實驗數據集包括連鑄的工藝參數和性能參數；所述工藝參數包括投料重量、過熱度、攪拌時間、保溫時間、結晶器冷卻水溫差、引鑄速度中的至少一種；所述性能參數包括中心偏析、晶粒角度、晶粒尺寸、表面質量等級中的至少一種
4、利用貝葉斯效能函數對初始實驗數據集進行優化；
5、將優化后的初始實驗數據集輸入深度強化學習網絡，并得到優化后的帕累托前沿，且從優化后的帕累托前沿中選擇最優策略，以根據性能參數的目標值采取最優的工藝參數。
6、在一種可能的實施方式中，獲取連鑄的初始實驗數據集之后，還對初始實驗數據集進行預處理；所述預處理包括數據填充和數據歸一化。
7、在一種可能的實施方式中，所述利用貝葉斯效能函數對初始實驗數據集進行優化，包括以下步驟：
8、基于預處理后的初始實驗數據集分別建立對應不同性能參數的機器學習預測模型，并且利用建立的機器學習預測模型對各個性能參數進行預測，基于預測結果計算各個性能參數的貝葉斯效能函數ei值；
9、將各個性能參數的貝葉斯效能函數ei值作為nsga-ii多目標算法中的適應度函數，確定工藝參數內貝葉斯效能函數ei值的帕累托前沿，并且從帕累托前沿中篩選出目標工藝參數；
10、按照所述目標工藝參數進行連鑄實驗，并利用得到的實驗數據對初始實驗數據集進行更新，且利用更新后的初始實驗數據集優化機器學習預測模型，依此迭代得到優化后的初始實驗數據。
11、在一種可能的實施方式中，所述利用建立的機器學習預測模型對各個性能參數進行預測，基于預測結果計算各個性能參數的貝葉斯效能函數ei值，包括以下步驟：
12、采用自舉法抽樣得到多個與初始實驗數據集大小一致的數據子集；
13、利用所述數據子集對建立的機器學習預測模型進行訓練，并得到對各個性能參數的預測結果，且通過如下方式計算各個性能參數的貝葉斯效能函數ei值：
14、
15、其中，y表示性能參數預測的均值，μ*表示數據子集中性能參數的最大值，y-μ*表示性能參數的可能提升程度；表示預測性能參數的標準正態分布，φ(z)為預測性能參數的累計分布函數。
16、在一種可能的實施方式中，采用k均值聚類算法從帕累托前沿中篩選出目標工藝參數。
17、在一種可能的實施方式中，所述將優化后的初始實驗數據集輸入深度強化學習網絡，并得到優化后的帕累托前沿，包括以下步驟：
18、根據定義的智能體的狀態、動作、獎勵和新狀態對深度強化學習網絡進行優化；其中，將連鑄的工藝參數和性能參數定義為智能體的狀態，將連鑄的工藝參數的變動定義為智能體的動作，采用epsilon-greedy策略采取動作；
19、若對當前狀態下采取動作得到的新狀態的多目標值優于當前帕累托前沿中的一個解，對該動作給于正獎勵，并更新帕累托前沿，直至帕累托前沿不再變動；其中，從優化后的初始實驗數據中確定初始帕累托前沿。
20、在一種可能的實施方式中，在nsga-ii多目標算法中設定遺傳迭代數、交叉率和變異率；在深度強化學習網絡中設定學習率、折扣因子、激活函數。
21、第二方面，本申請提供一種基于深度強化學習的連鑄工藝參數優化裝置，所述裝置包括：
22、獲取模塊，用于獲取連鑄的初始實驗數據集；所述初始實驗數據集包括連鑄的工藝參數和性能參數；所述工藝參數包括投料重量、過熱度、攪拌時間、保溫時間、結晶器冷卻水溫差、引鑄速度中的至少一種；所述性能參數包括中心偏析、晶粒角度、晶粒尺寸、表面質量等級中的至少一種；
23、數據優化模塊，用于利用貝葉斯效能函數對初始實驗數據集進行優化；
24、策略選擇模塊，用于將優化后的初始實驗數據集輸入深度強化學習網絡，并得到優化后的帕累托前沿，且從優化后的帕累托前沿中選擇最優策略，以根據性能參數的目標值采取最優的工藝參數。
25、第三方面，本申請提供一種電子設備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執行時執行如第一方面任一所述的基于深度強化學習的連鑄工藝參數優化方法的步驟。
26、第四方面，本申請提供一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執行如第一方面任一所述的基于深度強化學習的連鑄工藝參數優化方法的步驟。
27、本實施例提供的一種基于深度強化學習的連鑄工藝參數優化方法及裝置，獲取連鑄的初始實驗數據集；所述初始實驗數據集包括連鑄的工藝參數和性能參數；所述工藝參數包括投料重量、過熱度、攪拌時間、保溫時間、結晶器冷卻水溫差、引鑄速度中的至少一種；所述性能參數包括中心偏析、晶粒角度、晶粒尺寸、表面質量等級中的至少一種；利用貝葉斯效能函數對初始實驗數據集進行優化；將優化后的初始實驗數據集輸入深度強化學習網絡，并得到優化后的帕累托前沿，且從優化后的帕累托前沿中選擇最優策略，以根據性能參數的目標值采取最優的工藝參數。從而通過基于帕累托前沿的深度強化學習網絡對連鑄的工藝參數進行優化，確保連鑄工藝在不同性能指標上均能夠達到理想水平，提高產品的綜合質量；并且預先通過多次迭代對初始實驗數據集進行優化，能夠為后續深度強化學習網絡的快速收斂奠定基礎，提升性能。
本文檔來自技高網...【技術保護點】
1.一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，其中，獲取連鑄的初始實驗數據集之后，還對初始實驗數據集進行預處理；所述預處理包括數據填充和數據歸一化。
3.根據權利要求2所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述利用貝葉斯效能函數對初始實驗數據集進行優化，包括以下步驟：
4.根據權利要求3所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述利用建立的機器學習預測模型對各個性能參數進行預測，基于預測結果計算各個性能參數的貝葉斯效能函數EI值，包括以下步驟：
5.根據權利要求4所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，其中，采用K均值聚類算法從帕累托前沿中篩選出目標工藝參數。
6.根據權利要求5所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述將優化后的初始實驗數據集輸入深度強化學習網絡，并得到優化后的帕累托前沿，包括以下步驟：
7.根
8.一種基于深度強化學習的連鑄工藝參數優化裝置，其特征在于，所述裝置包括：
9.一種電子設備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執行時執行如權利要求1至7任一所述的基于深度強化學習的連鑄工藝參數優化方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執行如權利要求1至7任一所述的基于深度強化學習的連鑄工藝參數優化方法的步驟。
...【技術特征摘要】
1.一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，其中，獲取連鑄的初始實驗數據集之后，還對初始實驗數據集進行預處理；所述預處理包括數據填充和數據歸一化。
3.根據權利要求2所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述利用貝葉斯效能函數對初始實驗數據集進行優化，包括以下步驟：
4.根據權利要求3所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，所述利用建立的機器學習預測模型對各個性能參數進行預測，基于預測結果計算各個性能參數的貝葉斯效能函數ei值，包括以下步驟：
5.根據權利要求4所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在于，其中，采用k均值聚類算法從帕累托前沿中篩選出目標工藝參數。
6.根據權利要求5所述一種基于深度強化學習的連鑄工藝參數優化方法，其特征在...
【專利技術屬性】
技術研發人員：龍偉民，李培艷，董顯，鐘素娟，董媛媛，李元，
申請(專利權)人：中國機械總院集團鄭州機械研究所有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。