【技術實現步驟摘要】
本專利技術涉及電-熱綜合能源系統能量管理，具體涉及一種基于噪聲網絡(noisynet)和自注意力機制深度q網絡交叉熵(deep?qnetwork?cross?entropy,dqn-ce)算法的電-熱綜合能源系統能量管理策略。
技術介紹
1、綜合能源系統通過多能耦合的方式，能有效提高能源的利用率，從而為解決能源和環境問題提供了有效的手段。然而，可再生能源和多能負荷的不確定性給綜合能源系統的能量管理帶來了挑戰。目前，處理源荷不確定性的方法主要包括魯棒優化、隨機優化以及智能算法。魯棒優化方法由于考慮了不確定性變量的最差場景魯棒性強，但優化結果相對保守，經濟性差。隨機優化方法對隨機變量的概率分布有嚴重依賴，需要建模者有相當的技能和經驗，導致對不確定性的描述不夠準確。粒子群和鯨魚等算法都是模型預測控制方法。比較依賴參數和模型的準確性。仿真結果通常會受不確定因素預測的影響較大。由于不確定性在時間推移中會發生變化，必須對模型、預測器和求解器進行相應的調整和重新設計。深度強化學習算法以數據為驅動，且不依賴具體模型，能有效應對綜合能源系統的源荷不確定性問題。
2、傳統的深度q網絡(dqn)算法存在收斂速度慢、容易陷入局部最優、高估的缺點，在訓練初期，dqn算法需要大量的探索以收集足夠的數據進行學習。然而，探索策略(ε-greedy策略)通常會導致大量次優動作的選擇，從而減慢了收斂速度。
3、傳統dqn算法解決電熱綜合能源能量管理，算法自身高估的問題可能會導致神經網絡在訓練階段選擇次優動作，導致訓練時間增加，造成不必要的時
技術實現思路
1、為解決上述技術問題，本專利技術提供一種基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，以電-熱綜合能源系統運行成本最低為目標，實現綜合能源系統的能量管理。該方法訓練的模型能夠實時響應可再生能源的不確定性，并在線管理包含可再生能源的電-熱綜合能源系統的能量。
2、本專利技術采取的技術方案為：
3、基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，包括以下步驟：
4、步驟1：建立電-熱綜合能源系統模型，其中，能源供給側包括光伏、風機和天然氣源；能源轉換裝置包括熱電聯產機組(chp)，電鍋爐(eb)和燃氣鍋爐(gb)；能源需求側包含電負荷和熱負荷；
5、步驟2：根據步驟1建立的電-熱綜合能源系統模型，明確系統變量、約束；根據變量、約束構建深度強化學習訓練模型框架，即設計強化學習狀態空間st、動作空間at、獎勵函數r；
6、步驟3：基于噪聲網絡和自注意力機制dqn-ce算法，搭建當前q網絡和目標q網絡，首先通過改進后的損失函數更新當前q網絡，然后，周期性地將當前q網絡的參數復制到目標q網絡；
7、步驟4：基于當前q網絡和目標q網絡以及改進后的損失函數，通過與電-熱綜合能源系統模型交互，從而來訓練當前q網絡和目標q網絡模型，使其學會在不同情況下做出最佳決策以最大化獎勵函數，實現電-熱綜合能源系統穩定經濟運行。
8、所述步驟1中，建立電-熱綜合能源系統模型，具體包括:
9、1.1、恒溫控制負荷：
10、恒溫控制負荷指通過恒溫設備對室內溫度進行控制的負荷，通過開關切換來實現工作狀態的改變，在時刻t第i個恒溫控制負荷的動作ui,control,t定義為：
11、
12、式(1)中：ti,t為當前環境溫度；ti,max和ti,min分別為設定的最高和最低溫度；ui,control為恒溫控制負荷的動作，本專利技術共設置2個檔位，下標i的取值范圍為i∈ntcls，ntcls為恒溫控制負荷的數量。
13、第i個恒溫控制負荷在t時刻的電力負荷ptcl,i,t的表達式為：
14、ptcl,i,t＝stclui,control,t?(2)；
15、式中：stcl為恒溫控制負荷的標稱功率。
16、1.2、價格響應負荷：
17、價格響應負荷指的是在電-熱綜合能源系統中無法直接控制的負荷，受電力價格的影響，其負荷表達式為：
18、pload,v,t＝pb,t-pv,sl,t+pv,pb,t?(3)；
19、式(3)中：pload,v,t為第v個價格響應型負荷在t時刻的負荷功率；pb,t為t時刻下的基本負荷功率，pv,sl,t為t時刻下的轉移負荷功率；pv,pb,t為t時刻下的償還負荷功率；
20、pv,sl,t＝βvδtpb,t，其中，βv∈[0,1]為第v個價格響應型負荷的敏感系數；δt∈[-2,-1,0,1,2]為t時刻下的價格水平，其直接決定轉移負荷pv,sl,t；
21、其中，ωv,j為v是否從時刻j轉移負荷的狀態變量；下標v的取值范圍為v∈nloads，nloads為價格響應負荷的數量；t為一天中24小時的某小時。
22、1.3、儲能組件：
23、蓄電池表達式為：
24、
25、式(4)中：為蓄電池下一個小時儲存的電量；蓄電池中儲存的電量；ηbt蓄電池的充放能效率；ptbt,dis為蓄電池在t時刻的放電功率；ptbt,chr為蓄電池在t時刻的充電功率，為蓄電池的最大儲存容量；為蓄電池的狀態變量，為蓄電池的最大充放能功率，為蓄電池的最小充放能功率。
26、儲熱罐表達式為：
27、
28、式(5)中：為儲熱罐下一個小時儲存的熱量，為t時刻儲熱罐中儲存的熱量；ηts儲熱罐的充放能效率；和分別為儲熱罐存儲和釋放的熱量；為儲熱罐的最大儲存容量；為儲熱罐的狀態變量，為儲熱罐的最大充放能功率，為儲熱罐的最小充放能功率。
29、1.4、能量轉換裝置：
30、能量轉換裝置通過電鍋爐、燃氣鍋爐和熱電聯產機組進行不同能量之間的轉換，實現電-熱綜合能源系統的經濟調節，電鍋爐、燃氣鍋爐和熱電聯產機組的轉換約束表達式如下：
31、
32、式(6)中：pchp,t為t時刻熱電聯產機組的電出力；γchp為熱電聯產機組的氣-電轉換效率；qchp,t為t時刻熱電聯產機組的燃氣量；hchp,t為t時刻熱電聯產機組的熱出力；kchp為熱電聯產機組的熱電比；和分別為熱電聯產機組的出力上限、下限；peb,t為t時刻電鍋爐的電出力；pgb,t為t時刻燃氣鍋爐的電出力；keb、kgb分別為熱泵的電-熱轉換效率和燃氣鍋爐的氣-熱轉換效率；和分別為熱泵的出力上限、下限；和為燃氣鍋爐的出力上限、下限；hchp,t、heb,t和hgb,t分別為t時刻的熱電聯產機組、熱泵和燃氣鍋爐的熱出力。<本文檔來自技高網...
【技術保護點】
1.基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于包括以下步驟：
2.根據權利要求1所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟1中，建立電-熱綜合能源系統模型，具體包括:
3.根據權利要求1所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟2中，
4.根據權利要求1所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟3中，基于噪聲網絡和自注意力機制DQN-CE算法，搭建當前Q網絡和目標Q網絡；當前Q網絡是用來生成動作值函數的神經網絡，目標Q網絡用于計算目標Q值，目標Q網絡與當前Q網絡結構相同，但參數不同；當前Q網絡和目標Q網絡均包含輸入層、自注意力機制層、噪聲網絡層、噪聲網絡層和輸出層；
5.根據權利要求4所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：步驟3中，搭建噪聲網絡和自注意力機制DQN-
6.根據權利要求4所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述噪聲網絡層是當前Q網絡和目標Q網絡中的第三層，
7.根據權利要求4所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述改進后的損失函數表達式如下：
8.根據權利要求4所述基于噪聲網絡和自注意力機制DQN-CE算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟4包括以下步驟：
...【技術特征摘要】
1.基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，其特征在于包括以下步驟：
2.根據權利要求1所述基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟1中，建立電-熱綜合能源系統模型，具體包括:
3.根據權利要求1所述基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟2中，
4.根據權利要求1所述基于噪聲網絡和自注意力機制dqn-ce算法的電-熱綜合能源系統能量管理策略，其特征在于：所述步驟3中，基于噪聲網絡和自注意力機制dqn-ce算法，搭建當前q網絡和目標q網絡；當前q網絡是用來生成動作值函數的神經網絡，目標q網絡用于計算目標q值，目標q網絡與當前q網絡結構相同，但參數不同；當前q網絡和目標q網絡均包含輸入層、自注意力機制...
【專利技術屬性】
技術研發人員：譚洪，朱杰杰，李振興，翁漢琍，王秋杰，
申請(專利權)人：三峽大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。