【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及熱管理系統(tǒng)領(lǐng)域，特別是涉及一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法。
技術(shù)介紹
1、現(xiàn)有的熱管理系統(tǒng)通常依賴傳統(tǒng)的反饋控制方法，這種方法難以應(yīng)對復(fù)雜的多熱源系統(tǒng)動態(tài)變化。現(xiàn)有技術(shù)的控制手段主要依賴于模型預(yù)測控制，能夠通過預(yù)測未來的系統(tǒng)狀態(tài)，實時優(yōu)化控制輸入。然而，模型預(yù)測控制方法對系統(tǒng)模型的依賴較大，在多熱源系統(tǒng)中可能出現(xiàn)控制精度不足或計算量過大的問題。此外，雖然傳統(tǒng)的mpc在工業(yè)控制和自動駕駛等領(lǐng)域已被廣泛應(yīng)用，但在復(fù)雜的溫度控制系統(tǒng)中，它難以適應(yīng)突發(fā)的工況變化，特別是在控制水泵、風扇等設(shè)備時，控制策略的靈活性和自適應(yīng)能力有限。
技術(shù)實現(xiàn)思路
1、為了克服現(xiàn)有技術(shù)的不足，本專利技術(shù)的目的是提供一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，實現(xiàn)對風扇、水泵和閥門等設(shè)備控制策略的實時優(yōu)化。
2、為實現(xiàn)上述目的，本專利技術(shù)提供了如下方案：
3、一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，包括：
4、接收冷卻系統(tǒng)的反饋輸出，得到環(huán)境狀態(tài)；
5、根據(jù)所述環(huán)境狀態(tài)對獎勵函數(shù)進行計算，得到獎勵值；
6、將所述環(huán)境狀態(tài)和所述獎勵值輸入到預(yù)設(shè)的智能體，得到權(quán)重系數(shù)操作決策；
7、將所述權(quán)重系數(shù)操作決策輸入到反饋校正模塊進行調(diào)整，得到校正策略；
8、構(gòu)建優(yōu)化目標函數(shù)，并融合控制輸入的上下限約束、控制增量的約束以及系統(tǒng)輸出的約束，得到滾動優(yōu)化輸出的控制
9、計算所述環(huán)境狀態(tài)中的溫度數(shù)據(jù)和目標溫度的誤差，得到溫度誤差；
10、根據(jù)所述溫度誤差，利用所述控制律對所述校正策略進行動作優(yōu)化，得到優(yōu)化策略；
11、利用所述優(yōu)化策略對所述冷卻系統(tǒng)內(nèi)的器件進行調(diào)控；所述器件包括：控制風扇，高溫水泵、低溫水泵、左電機閥門、右電機閥門、發(fā)電機閥門以及傳動油冷器閥門。
12、優(yōu)選地，所述獎勵函數(shù)為：
13、r(t)＝-(α·∣tcurrent-ttarget∣+β·∣δt∣+γ·pfan+δ·ppump)；
14、其中，r(t)為所述獎勵值；tcurrent為當前系統(tǒng)溫度；ttarget為目標溫度；δt為溫度變化幅度；pfan為風扇功耗；ppump為水泵功耗；α為第一權(quán)重系數(shù)；β為第二權(quán)重系數(shù)；γ為第三權(quán)重系數(shù)；δ為第四權(quán)重系數(shù)。
15、優(yōu)選地，所述權(quán)重系數(shù)操作決策為：
16、
17、其中，j的取值范圍為1到p；p為最終的預(yù)測時刻；j代表第j時刻；θk+j為第五權(quán)重系數(shù)；dk+j-1為歷史數(shù)據(jù)集；t為歷史數(shù)據(jù)數(shù)量；pθ(ai|si)表示當前狀態(tài)下的決策的概率；pθ′(ai|si)表示更新狀態(tài)下的決策的概率；aθ′表示在當前狀態(tài)和操作下的優(yōu)勢；g()為幅度限制函數(shù)；st為環(huán)境狀態(tài)；at為操作風扇；ε為噪聲調(diào)整參數(shù)。
18、優(yōu)選地，所述優(yōu)化目標函數(shù)為：
19、
20、
21、其中，ym(k+i)為系統(tǒng)輸出；yr(k+i)為期望輸出；ufan(k+i|k)為風扇控制輸入；upump(k+i|k)為水泵控制輸入；uvalve(k+i|k)為閥門控制輸入；o為預(yù)測時域的長度；n為控制優(yōu)化的時域長度。
22、優(yōu)選地，所述控制輸入的上下限約束的表達式為：
23、umin≤u(k+1|k)≤umax；
24、所述控制增量的約束的表達式為：
25、△umin≤△u(k+1|k)≤△umax；
26、所述系統(tǒng)輸出的約束的表達式為：
27、ymin≤k(k+1|k)≤ymax；
28、其中，umin為輸出下限；u(k+1|k)為控制輸出；umax為輸出上限；△umin為輸出增量的下限；△u(k+1|k)為所述控制輸出的增量；△umax為輸出增量的上限；ymin為約束下限；k(k+1|k)為系統(tǒng)輸出約束；ymax為約束上限。
29、優(yōu)選地，所述控制律為：
30、
31、其中，uk+1表示下一時刻的控制輸入；uk表示當前時刻的控制輸入；ai和bi分別為第一約束條件參數(shù)和第二約束條件參數(shù)；pi是ai在擾動方向p上的有效分量；f為調(diào)節(jié)參數(shù)。
32、本專利技術(shù)公開了以下技術(shù)效果：
33、本專利技術(shù)提供了一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，通過融合智能體的策略優(yōu)化和傳統(tǒng)模型預(yù)測控制中的動作優(yōu)化，解決了傳統(tǒng)方法僅采用模型預(yù)測控制導(dǎo)致對系統(tǒng)模型的依賴較大的缺陷，實現(xiàn)了對風扇、水泵和閥門等設(shè)備的控制策略實時優(yōu)化；通過設(shè)置智能體和反饋校正模塊，解決了傳統(tǒng)模型預(yù)測控制適用性較差的問題，實現(xiàn)了根據(jù)系統(tǒng)的實際狀態(tài)調(diào)整預(yù)測模型參數(shù)；通過滾動優(yōu)化輸出的控制律結(jié)合多次實時反饋和預(yù)測修正，解決了傳統(tǒng)模型預(yù)測控制難以適應(yīng)突發(fā)的工況變化的缺陷，實現(xiàn)了系統(tǒng)在動態(tài)變化中保持高效的溫度控制。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述獎勵函數(shù)為：
3.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述權(quán)重系數(shù)操作決策為：
4.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述優(yōu)化目標函數(shù)為：
5.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述控制輸入的上下限約束的表達式為：
6.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述控制律為：
【技術(shù)特征摘要】
1.一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述獎勵函數(shù)為：
3.根據(jù)權(quán)利要求1所述的一種基于強化學(xué)習(xí)模型預(yù)測控制的多熱源熱管理系統(tǒng)自適應(yīng)控制方法，其特征在于，所述權(quán)重系數(shù)操作決策為：
4.根據(jù)權(quán)利要求...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭瀟，嚴宇超，趙俊良，孫曉霞，劉震濤，沈麗麗，
申請(專利權(quán))人：浙江大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。