【技術實現步驟摘要】
本專利技術涉及電力系統控制，特別是指一種利用深度強化學習進行電力系統負荷頻率控制的方法。
技術介紹
1、傳統方法，如pi控制，基于固定的數學模型和參數進行設置，這些模型和參數是在特定條件下得出的，當電力系統結構（如新增發電機組、線路改造等）或負荷特性（如負荷波動、用戶行為變化等）發生較大變化時，原有的模型和參數可能不再適用，導致控制效果下降。由于缺乏實時更新和自適應調整的能力，在面對電力系統動態變化時可能顯得力不從心，需要人工干預來重新調整參數或模型，這增加了運維的復雜性和工作量。
2、在面對各種擾動（如負荷突變、線路故障等）和不確定性因素（如新能源發電的隨機性、氣象條件的變化等）時，可能缺乏足夠的魯棒性。這些擾動和不確定性因素可能導致電力系統頻率偏離設定值，可能無法迅速、準確地做出響應，從而難以保持頻率控制的穩定性和準確性。
3、由于缺乏系統性的優化方法和工具支持，優化過程可能耗時費力且效果不佳，無法滿足電力系統日益提高的控制性能要求。此外，優化結果受到人工經驗和技術水平的限制，難以實現真正的智能化和自動化控制。缺乏自我學習和智能化決策的能力，無法根據電力系統運行的歷史數據和實時狀態進行動態調整和優化控制策略。
技術實現思路
1、本專利技術要解決的技術問題是提供一種利用深度強化學習進行電力系統負荷頻率控制的方法，能夠更準確地根據電力系統實際運行狀態進行頻率控制。
2、為解決上述技術問題，本專利技術的技術方案如下：
3、第一方面，一種
4、構建電力系統模型，所述電力系統模型包括發電單元、輸電網絡、負荷單元以及頻率控制裝置；
5、獲取電力系統歷史運行數據，包括負荷需求記錄、發電輸出日志、頻率波動情況，并對電力系統歷史運行數據進行預處理，以得到處理后系統歷史運行數據；
6、根據處理后系統歷史運行數據，訓練深度神經網絡模型，提取系統歷史運行數據的關鍵特征，并預測未來的負荷需求及頻率變化趨勢，得到預測結果；
7、根據預測結果，通過強化學習，不斷迭代優化，確定負荷頻率控制方案；
8、將經過訓練的深度神經網絡模型與強化學習進行融合，構建深度強化學習控制器，以實現自動、實時控制電力系統中的負荷頻率。
9、進一步的，根據處理后系統歷史運行數據，訓練深度神經網絡模型，提取系統歷史運行數據的關鍵特征，并預測未來的負荷需求及頻率變化趨勢，得到預測結果，包括：
10、將處理后系統歷史運行數據劃分為訓練集、驗證集和測試集，并將門控循環單元時間序列預測模型作為深度神經網絡模型；
11、定義深度神經網絡模型的架構，包括輸入層、隱藏層和輸出層，并將平均絕對誤差作為損失函數；
12、將訓練集輸入至深度神經網絡模型中，對深度神經網絡模型進行訓練，在訓練過程中，使用驗證集數據對深度神經網絡模型進行驗證，得到驗證結果；
13、根據驗證結果，調整深度神經網絡模型架構和參數；
14、使用經過驗證的深度神經網絡模型對測試集進行預測，得到未來的負荷需求及頻率變化趨勢預測結果。
15、進一步的，平均絕對誤差的計算公式為：
16、；
17、其中，表示平均絕對誤差；表示預測的時間步長總數；表示第個時間步長的實際負荷需求；表示第個時間步長的預測值；表示輸入特征向量；表示模型參數集；表示環境變量；表示權重系數；表示全局調整系數；表示時間步長的索引值。
18、進一步的，將訓練集輸入至深度神經網絡模型中，對深度神經網絡模型進行訓練，在訓練過程中，使用驗證集數據對深度神經網絡模型進行驗證，得到驗證結果，包括：
19、將訓練集輸入至深度神經網絡模型中進行訓練，并在每個訓練周期中，深度神經網絡模型遍歷訓練集；
20、通過前向傳播，深度神經網絡模型計算預測值，并通過反向傳播，更新深度神經網絡模型參數；
21、當每個訓練周期結束后，使用驗證集對深度神經網絡模型進行驗證，通過對比驗證集的預測結果與實際數據，得到驗證結果。
22、進一步的，根據預測結果，通過強化學習，不斷迭代優化，確定負荷頻率控制方案，包括：
23、定義強化學習的狀態空間、動作空間和獎勵函數，并初始化價值網絡參數；
24、從狀態空間中獲取當前電力系統的狀態，根據當前狀態，確定控制動作，并初始化價值網絡；
25、通過深度神經網絡模型預測確定的控制動作對未來負荷需求及頻率變化趨勢的影響，并計算執行動作后的獎勵值；
26、使用計算的獎勵值，更新強化學習的網絡參數，并重復狀態獲取、動作執行與未來預測、獎勵計算與參數更新，直到達到預設的迭代次數，提取控制方案，并將控制方案作為負荷頻率控制方案。
27、進一步的，獎勵函數的計算公式為：
28、；
29、其中，表示在狀態下采取動作后轉移到狀態時獲得的獎勵；表示頻率偏差的權重；表示執行動作后電力系統的頻率；表示電力系統的設定頻率；表示發電與負荷匹配度的權重；表示執行動作后的發電輸出；表示執行動作后的負荷需求；表示穩定性指標的權重；表示電壓穩定性在穩定性指標中的權重；表示執行動作后的電壓值；表示電流穩定性在穩定性計算中的權重；表示執行動作后的電流值；表示總成本的權重；表示發電成本系數；表示設備維護成本。
30、進一步的，將經過訓練的深度神經網絡模型與強化學習進行融合，構建深度強化學習控制器，以自動、實時控制電力系統中的負荷頻率，包括：
31、利用電力系統模型構建強化學習的環境，將深度強化學習控制器在強化學習的環境中進行試錯學習，在試錯過程中，深度強化學習控制器根據當前狀態確定動作，并接受環境反饋的獎勵和新的狀態信息，得到試錯學習結果；
32、根據試錯學習結果，深度強化學習控制器不斷更新控制方案，直至深度強化學習控制器學會如何根據當前狀態和未來預測，確定最終動作，得到訓練后深度強化學習控制器；
33、將訓練后深度強化學習控制器融入電力系統中，以自動、實時控制電力系統中的負荷頻率。
34、第二方面，一種利用深度強化學習進行電力系統負荷頻率控制的系統，包括：
35、構建模塊，用于構建電力系統模型，所述電力系統模型包括發電單元、輸電網絡、負荷單元以及頻率控制裝置；
36、獲取模塊，用于獲取電力系統歷史運行數據，包括負荷需求記錄、發電輸出日志、頻率波動情況，并對電力系統歷史運行數據進行預處理，以得到處理后系統歷史運行數據；
37、預測模塊，用于根據處理后系統歷史運行數據，訓練深度神經網絡模型，提取系統歷史運行數據的關鍵特征，并預測未來的負荷需求及頻率變化趨勢，得到預測結果；
38、處理模塊，用于根據預測結果，通過強化學習，不斷迭代優化，確定負荷頻率控制方案；將經過訓練的深度神經網絡模型與本文檔來自技高網...
【技術保護點】
1.一種利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，根據處理后系統歷史運行數據，訓練深度神經網絡模型，提取系統歷史運行數據的關鍵特征，并預測未來的負荷需求及頻率變化趨勢，得到預測結果，包括：
3.根據權利要求2所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，平均絕對誤差的計算公式為：
4.根據權利要求3所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，將訓練集輸入至深度神經網絡模型中，對深度神經網絡模型進行訓練，在訓練過程中，使用驗證集數據對深度神經網絡模型進行驗證，得到驗證結果，包括：
5.根據權利要求4所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，根據預測結果，通過強化學習，不斷迭代優化，確定負荷頻率控制方案，包括：
6.根據權利要求5所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，獎勵函數的計算公式為：
7.根據權利要
...【技術特征摘要】
1.一種利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，根據處理后系統歷史運行數據，訓練深度神經網絡模型，提取系統歷史運行數據的關鍵特征，并預測未來的負荷需求及頻率變化趨勢，得到預測結果，包括：
3.根據權利要求2所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，平均絕對誤差的計算公式為：
4.根據權利要求3所述的利用深度強化學習進行電力系統負荷頻率控制的方法，其特征在于，將訓練集輸入至深度神經網絡模型中，對深度神經網絡模...
【專利技術屬性】
技術研發人員：練紅海，劉萬太，鄧鵬，覃事剛，王芳，周展，羅小麗，
申請(專利權)人：湖南電氣職業技術學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。