【技術實現(xiàn)步驟摘要】
本專利技術涉及溫控，具體為一種大面源黑體無參溫度控制方法、裝置及介質(zhì)。
技術介紹
1、大面源黑體作為一種溫控相應速率與精度要求極高的標定設備，廣泛應用于紅外探測設備校準、熱成像系統(tǒng)測試等場景。傳統(tǒng)黑體溫控方法依賴于數(shù)學建模與參數(shù)化設計，通常需要人工調(diào)節(jié)多個參數(shù)以適應不同的實驗條件。然而，這種方法在面對動態(tài)變化和非線性特性的溫控需求時，易導致效率低下、精度不足以及調(diào)控復雜度較高的問題。尤其是在高精度紅外探測與測量中，傳統(tǒng)方法難以快速響應溫度變化，導致測試和校準過程耗時較長，無法滿足實時性和一致性要求。
2、針對上述問題，強化學習作為一種數(shù)據(jù)驅(qū)動的智能算法，因其能夠在無參數(shù)情況下進行自主學習與優(yōu)化，成為解決復雜溫控問題的理想工具。通過將溫控問題建模為馬爾可夫決策過程（mdp），結合深度dqn網(wǎng)絡，大面源黑體無參溫度控制方法可實時感知溫度狀態(tài)，動態(tài)調(diào)整功率輸出以實現(xiàn)精準溫控。該方法摒棄了傳統(tǒng)的參數(shù)依賴，通過智能體與環(huán)境交互完成深度dqn網(wǎng)絡的優(yōu)化，顯著提升了溫控的響應速度與控制精度，解決了動態(tài)非線性條件下的溫控難題。同時，強化學習方法還具備良好的自適應能力與擴展性，為溫控技術的發(fā)展提供了新的研究方向和應用前景。
技術實現(xiàn)思路
1、本專利技術的目的在于提供一種大面源黑體無參溫度控制方法、裝置及介質(zhì)，以解決上述
技術介紹
中提出的問題。
2、為實現(xiàn)上述目的，本專利技術提供如下技術方案：
3、一種大面源黑體無參溫度控制方法，包括以下步驟：
4、s1，
5、s2，問題建模，將無參數(shù)溫控問題建模為馬爾可夫決策過程，定義“智能體-環(huán)境”交互機制，明確狀態(tài)、動作和獎勵的關系；
6、s3，以深度dqn網(wǎng)絡為基礎構建大面源黑體無參溫度控制模型，然后利用訓練數(shù)據(jù)集對大面源黑體無參溫度控制模型進行訓練；基于深度dqn網(wǎng)絡使智能體通過貪心策略精準調(diào)節(jié)占空比，在最少步數(shù)內(nèi)實現(xiàn)高效的目標溫度控制；
7、s4，驗證與調(diào)整，使用測試數(shù)據(jù)集評估大面源黑體無參溫度控制模型，比較預測溫度與目標溫度的偏差，并根據(jù)驗證結果對大面源黑體無參溫度控制模型的參數(shù)進行優(yōu)化調(diào)整，得到最優(yōu)的大面源黑體無參溫度控制模型；
8、s5，將最優(yōu)的大面源黑體無參溫度控制模型應用于大面源黑體溫度控制系統(tǒng)中對大面源黑體的溫度進行控制。
9、進一步地，所述s1包括以下步驟：
10、s1.1，建立黑體系統(tǒng)仿真模型：通過黑體系統(tǒng)仿真模型模擬黑體系統(tǒng)的升溫過程，生成涵蓋不同溫度范圍和升溫速率的仿真溫度數(shù)據(jù)集；
11、建立實際溫度數(shù)據(jù)采集系統(tǒng)：在實驗環(huán)境中搭建溫度采集系統(tǒng)，使用高精度傳感器采集實際黑體溫度數(shù)據(jù)，形成與仿真溫度數(shù)據(jù)集對比的實際溫度數(shù)據(jù)集；
12、s1.2，將仿真溫度數(shù)據(jù)集與真實溫度數(shù)據(jù)集混合后按比例劃分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。
13、進一步地，所述s2包括以下步驟：
14、s2.1，定義狀態(tài)空間：定義狀態(tài)向量包含當前溫度t（t）、目標溫度tgoal、環(huán)境溫度te和溫度變化速率△t（t），即狀態(tài)s=[t（t）,tgoal,te,△t（t）]；
15、s2.2，定義動作空間：動作a表示大面源黑體無參溫度控制算法的智能體選擇的占空比值，動作空間為a=｛10,20,30,...100｝；
16、s2.3，定義獎勵函數(shù)，獎勵函數(shù)同時考慮溫度誤差、余熱效應、控制效率和超調(diào)懲罰。
17、進一步地，所述s2.3還包括：當溫度控制未達到目標溫度時，獎勵函數(shù)公式為：
18、
19、其中r表示環(huán)境對當前動作的反饋獎勵，∣t（t）﹣tgoal∣表示當前溫度t（t）與目標溫度tgoal之間的絕對偏差；nstep是智能體所采取的動作步數(shù)；tresidual表示余熱效應導致的額外溫升；λ，γ，δ分別是平衡動作步數(shù)、余熱影響的權重系數(shù)和超調(diào)懲罰強度的權重系數(shù)；max表示取最大值；
20、若溫度控制達到目標溫度tgoal，則獎勵函數(shù)公式為：r=r+c，其中c是一個固定的高獎勵值。
21、進一步地，所述大面源黑體無參溫度控制模型的工作過程包括：
22、s3.1，在大面源黑體無參溫度控制模型的初始化階段，首先對神經(jīng)網(wǎng)絡的參數(shù)進行隨機初始化；然后，初始化經(jīng)驗回放緩沖區(qū)?，該經(jīng)驗回放緩沖區(qū)用于存儲智能體與環(huán)境交互過程中產(chǎn)生的狀態(tài)、動作、獎勵和下一個狀態(tài)的四元組；
23、s3.2，在大面源黑體無參溫度控制模型的動作選擇階段，采用貪心策略，在貪心策略下，智能體以概率隨機選擇一個動作a?進行探索；以概率選擇當前狀態(tài)下q值最大的動作a，即：
24、
25、s3.3，在大面源黑體無參溫度控制模型的狀態(tài)更新階段，智能體根據(jù)所選動作a計算占空比對大面源黑體無參溫度控制模型的影響，并更新環(huán)境的狀態(tài)，得到下一狀態(tài)s’：
26、
27、其中t（t+1）為更新后的溫度值，te為環(huán)境溫度，△t（t+1）為新的溫度變化量；同時，智能體根據(jù)環(huán)境的反饋和設定的獎勵函數(shù)計算即時獎勵r；交互數(shù)據(jù)(s,a,r,s’)?隨后被存儲到經(jīng)驗回放緩沖區(qū)m中；
28、s3.4，在大面源黑體無參溫度控制模型的動作更新階段，深度dqn網(wǎng)絡通過從過去經(jīng)驗中學習，最小化目標q值與預測q值的誤差，從而優(yōu)化大面源黑體無參溫度控制模型，最大化獎勵；
29、優(yōu)化的深度dqn網(wǎng)絡損失函數(shù)loss公式如下，該損失函數(shù)用于訓練深度dqn網(wǎng)絡，以最小化預測值q(st,at；θ)和目標值qtarget(st,at；θ-)之間的均方誤差：
30、
31、其中，q(st,at；θ)是當前深度dqn網(wǎng)絡基于狀態(tài)st和動作at的輸出，θ為深度dqn網(wǎng)絡的參數(shù)；qtarget(st,at；θ-)是通過深度dqn網(wǎng)絡計算的目標值，θ-是深度dqn網(wǎng)絡的延遲更新版本；損失函數(shù)通過批量大小n進行優(yōu)化，每次計算均方誤差的平均值，用于調(diào)整深度dqn網(wǎng)絡的參數(shù)θ。
32、本專利技術還提供一種大面源黑體無參溫度控制裝置，包括一個或多個處理器，用于實現(xiàn)如上所述的一種大面源黑體無參溫度控制方法。
33、本專利技術還提供一種可讀存儲介質(zhì)，其上存儲有程序，該程序被處理器執(zhí)行時，實現(xiàn)如上所述的一種大面源黑體無參溫度控制方法。
34、與現(xiàn)有技術相比，本專利技術的有益效果是：
35、本專利技術基于深度dqn網(wǎng)絡，通過精確的狀態(tài)和動作設計，以及優(yōu)化的獎勵函數(shù)，能夠在最少的動作步數(shù)內(nèi)快速且精準地將溫度調(diào)節(jié)到目標值。相比于傳統(tǒng)的溫控方法，深度dqn網(wǎng)絡不依賴于預定義的控制參數(shù)，而是通過環(huán)境反饋自適應調(diào)整加熱占空比，提高了溫控過程的響應速度和精度。此外，通過經(jīng)驗回放和dqn值更新，深度dq本文檔來自技高網(wǎng)...
【技術保護點】
1.一種大面源黑體無參溫度控制方法，其特征在于，包括以下步驟：
2.如權利要求1所述的一種大面源黑體無參溫度控制方法，其特征在于，所述S1包括以下步驟：
3.如權利要求1所述的一種大面源黑體無參溫度控制方法，其特征在于，所述S2包括以下步驟：
4.如權利要求3所述的一種大面源黑體無參溫度控制方法，其特征在于，所述S2.3還包括：當溫度控制未達到目標溫度時，獎勵函數(shù)公式為：
5.如權利要求4所述的一種大面源黑體無參溫度控制方法，其特征在于，所述大面源黑體無參溫度控制模型的工作過程包括：
6.一種大面源黑體無參溫度控制裝置，其特征在于，包括一個或多個處理器，用于實現(xiàn)權利要求1-5中任一項所述的一種大面源黑體無參溫度控制方法。
7.一種可讀存儲介質(zhì)，其特征在于，其上存儲有程序，該程序被處理器執(zhí)行時，實現(xiàn)權利要求1-5中任一項所述的一種大面源黑體無參溫度控制方法。
【技術特征摘要】
1.一種大面源黑體無參溫度控制方法，其特征在于，包括以下步驟：
2.如權利要求1所述的一種大面源黑體無參溫度控制方法，其特征在于，所述s1包括以下步驟：
3.如權利要求1所述的一種大面源黑體無參溫度控制方法，其特征在于，所述s2包括以下步驟：
4.如權利要求3所述的一種大面源黑體無參溫度控制方法，其特征在于，所述s2.3還包括：當溫度控制未達到目標溫度時，獎勵函數(shù)公式為：
<...【專利技術屬性】
技術研發(fā)人員：亓洪興，楊文航，劉世界，徐霖，張陽陽，朱首正，何欣，王建宇，李春來，金海軍，金柯，
申請(專利權)人：國科大杭州高等研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。