【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于電網(wǎng)調(diào)度，尤其是基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法。
技術(shù)介紹
1、大規(guī)模分布式電源接入多能耦合型微電網(wǎng)，可以提高清潔能源的比重，但同時(shí)對(duì)配電網(wǎng)的運(yùn)行與調(diào)度提出新的挑戰(zhàn)。多能耦合型微電網(wǎng)的建設(shè)旨在確保系統(tǒng)安全穩(wěn)定運(yùn)行的前提下，通過(guò)對(duì)系統(tǒng)內(nèi)多類型分布式電源的調(diào)控，提升系統(tǒng)對(duì)大量間歇式可再生能源的消納能力。在這一過(guò)程中，分布式電源優(yōu)化調(diào)度策略顯得尤為重要，它是實(shí)施主動(dòng)管理、實(shí)現(xiàn)網(wǎng)絡(luò)安全經(jīng)濟(jì)運(yùn)行的核心技術(shù)和重要手段。分布式電源優(yōu)化調(diào)度分為集中式和分布式兩種方式，它們都旨在有效協(xié)調(diào)各種分布式電源的輸出，以滿足電網(wǎng)運(yùn)行的需求。現(xiàn)有技術(shù)多采用傳統(tǒng)隨機(jī)優(yōu)化方法，應(yīng)對(duì)源荷不確定性的能力弱，導(dǎo)致電網(wǎng)的調(diào)度能力差及應(yīng)對(duì)不確定性的能力差。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是解決現(xiàn)有技術(shù)中的微電網(wǎng)優(yōu)化方法應(yīng)對(duì)源荷不確定性的能力較差的問(wèn)題，提供基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，通過(guò)將歷史狀態(tài)量作為訓(xùn)練樣本，使用近端策略優(yōu)化算法進(jìn)行模型訓(xùn)練，得到的多智能體強(qiáng)化學(xué)習(xí)模型可以根據(jù)歷史狀態(tài)和環(huán)境反饋進(jìn)行學(xué)習(xí)從而適應(yīng)不同的源荷情況，根據(jù)訓(xùn)練得到的多智能體強(qiáng)化學(xué)習(xí)模型結(jié)合當(dāng)前狀態(tài)量獲取對(duì)應(yīng)的動(dòng)作空間，使得智能體能夠根據(jù)當(dāng)前情況做出適當(dāng)?shù)恼{(diào)度決策，解決了源荷不確定性的問(wèn)題，顯著提高了多能耦合型微電網(wǎng)調(diào)度能力及應(yīng)對(duì)不確定性的能力。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)采用以下技術(shù)方案：
3、基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，包括如下步驟
4、s1、獲取各多能耦合微電網(wǎng)的目標(biāo)歷史狀態(tài)量和目標(biāo)當(dāng)前狀態(tài)量并進(jìn)行預(yù)處理；
5、s2、將所述目標(biāo)歷史狀態(tài)量作為訓(xùn)練樣本通過(guò)近端策略優(yōu)化算法進(jìn)行模型訓(xùn)練得到多智能體強(qiáng)化學(xué)習(xí)模型；
6、s3、基于所述多智能體強(qiáng)化學(xué)習(xí)模型結(jié)合所述目標(biāo)當(dāng)前狀態(tài)量獲取每個(gè)智能體對(duì)應(yīng)的動(dòng)作空間；
7、s4、基于所述每個(gè)智能體對(duì)應(yīng)的動(dòng)作空間對(duì)各多能耦合型微電網(wǎng)進(jìn)行優(yōu)化調(diào)度。
8、上述技術(shù)方案中，通過(guò)獲取微電網(wǎng)的目標(biāo)歷史狀態(tài)量和目標(biāo)當(dāng)前狀態(tài)量，并進(jìn)行預(yù)處理，能夠?qū)崟r(shí)反映微電網(wǎng)的運(yùn)行狀態(tài)，結(jié)合多智能體強(qiáng)化學(xué)習(xí)模型，可以快速響應(yīng)微電網(wǎng)的動(dòng)態(tài)變化，實(shí)現(xiàn)高效的優(yōu)化調(diào)度；利用近端策略優(yōu)化算法進(jìn)行模型訓(xùn)練，使得多智能體強(qiáng)化學(xué)習(xí)模型能夠?qū)W習(xí)到微電網(wǎng)運(yùn)行的規(guī)律和特性，為每個(gè)智能體生成對(duì)應(yīng)的動(dòng)作空間，從而實(shí)現(xiàn)智能化的優(yōu)化調(diào)度決策，能夠處理源荷不確定性的問(wèn)題，提高了多能耦合型微電網(wǎng)的適應(yīng)能力和魯棒性；通過(guò)采用強(qiáng)化學(xué)習(xí)方法，當(dāng)微電網(wǎng)的運(yùn)行環(huán)境或條件發(fā)生變化時(shí)，模型可以通過(guò)不斷學(xué)習(xí)和調(diào)整來(lái)適應(yīng)新的情況，保持優(yōu)化調(diào)度的有效性；通過(guò)各個(gè)智能體之間的交互實(shí)現(xiàn)電網(wǎng)的協(xié)同調(diào)度，能夠有效解決分布式優(yōu)化調(diào)度問(wèn)題。
9、優(yōu)選的，所述s1包括如下步驟：
10、s11、采集各多能耦合型微電網(wǎng)的初始?xì)v史狀態(tài)量和初始當(dāng)前狀態(tài)量；
11、s12、分別對(duì)各多能耦合型微電網(wǎng)的所述初始?xì)v史狀態(tài)量和所述初始當(dāng)前狀態(tài)量進(jìn)行數(shù)據(jù)清洗得到各多能耦合型微電網(wǎng)的第一歷史狀態(tài)量和第一當(dāng)前狀態(tài)量；
12、s13、分別對(duì)各多能耦合微電網(wǎng)的所述第一歷史狀態(tài)量和所述第一當(dāng)前狀態(tài)量進(jìn)行標(biāo)準(zhǔn)化得到各多能耦合微電網(wǎng)的第二歷史狀態(tài)量和第二當(dāng)前狀態(tài)量；
13、s14、分別對(duì)各多能耦合微電網(wǎng)的所述第二歷史狀態(tài)量和所述第二當(dāng)前狀態(tài)量進(jìn)行數(shù)據(jù)編碼及時(shí)間序列處理得到各多能耦合微電網(wǎng)的目標(biāo)歷史狀態(tài)量和目標(biāo)當(dāng)前狀態(tài)量。
14、上述技術(shù)方案中，通過(guò)數(shù)據(jù)清洗可以有效去除各多能耦合型微電網(wǎng)初始?xì)v史狀態(tài)量和初始當(dāng)前狀態(tài)量中的異常值、重復(fù)值或缺失值，從而確保數(shù)據(jù)的準(zhǔn)確性和可靠性；通過(guò)對(duì)各多能耦合微電網(wǎng)的狀態(tài)量進(jìn)行標(biāo)準(zhǔn)化處理，可以消除不同狀態(tài)量之間的量綱差異，使得不同微電網(wǎng)的數(shù)據(jù)在同一尺度上進(jìn)行比較和分析；通過(guò)數(shù)據(jù)編碼和時(shí)間序列處理將各多能耦合微電網(wǎng)的歷史狀態(tài)量和當(dāng)前狀態(tài)量被轉(zhuǎn)換為適合模型訓(xùn)練的格式，還可以提高模型的訓(xùn)練效果，同時(shí)時(shí)間序列處理能夠捕捉狀態(tài)量隨時(shí)間的變化趨勢(shì)，有助于模型更好地學(xué)習(xí)微電網(wǎng)的動(dòng)態(tài)特性。
15、優(yōu)選的，所述s2包括如下步驟：
16、s21、設(shè)定調(diào)度周期總時(shí)段數(shù)和區(qū)域智能體神經(jīng)網(wǎng)絡(luò)的最大訓(xùn)練輪數(shù)，并對(duì)去區(qū)域智能體對(duì)應(yīng)的策略網(wǎng)絡(luò)參數(shù)和價(jià)值網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化；
17、s22、設(shè)置日起始點(diǎn)作為各多能耦合型微電網(wǎng)的初始調(diào)度時(shí)刻，對(duì)所述初始調(diào)度時(shí)刻之前的設(shè)備狀態(tài)進(jìn)行初始化；
18、s23、將預(yù)處理后的目標(biāo)歷史狀態(tài)量對(duì)應(yīng)的歷史狀態(tài)空間作為區(qū)域智能體神經(jīng)網(wǎng)絡(luò)的輸入獲取動(dòng)作空間，基于所述動(dòng)作空間對(duì)多能耦合型微電網(wǎng)進(jìn)行調(diào)度并基于調(diào)度結(jié)果計(jì)算全局獎(jiǎng)勵(lì)，確定采樣經(jīng)驗(yàn)并存儲(chǔ)至經(jīng)驗(yàn)池中；
19、s24、調(diào)度周期采樣結(jié)束后基于經(jīng)驗(yàn)池中各時(shí)段采樣經(jīng)驗(yàn)通過(guò)梯度下降法更新各智能體的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)，以最大化調(diào)度周期的累計(jì)全局獎(jiǎng)勵(lì)為目標(biāo)對(duì)區(qū)域智能體神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到多智能體強(qiáng)化學(xué)習(xí)模型。
20、上述技術(shù)方案中，通過(guò)設(shè)定調(diào)度周期總時(shí)段數(shù)和區(qū)域智能體神經(jīng)網(wǎng)絡(luò)的最大訓(xùn)練輪數(shù)，以及對(duì)區(qū)域智能體對(duì)應(yīng)的策略網(wǎng)絡(luò)參數(shù)和價(jià)值網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化，可以確保模型訓(xùn)練的有序進(jìn)行，并避免陷入局部最優(yōu)解，有助于提升模型的訓(xùn)練效率和效果，使其更好地適應(yīng)多能耦合型微電網(wǎng)的復(fù)雜環(huán)境；通過(guò)設(shè)置日起始點(diǎn)作為初始調(diào)度時(shí)刻，并對(duì)初始調(diào)度時(shí)刻之前的設(shè)備狀態(tài)進(jìn)行初始化，可以確保模型在訓(xùn)練開始時(shí)處于合理狀態(tài)，使模型更準(zhǔn)確地捕捉微電網(wǎng)的運(yùn)行規(guī)律，從而生成更合理的優(yōu)化調(diào)度策略；通過(guò)將預(yù)處理后的目標(biāo)歷史狀態(tài)量作為區(qū)域智能體神經(jīng)網(wǎng)絡(luò)的輸入，并基于其生成的動(dòng)作空間對(duì)多能耦合型微電網(wǎng)進(jìn)行調(diào)度，可以實(shí)現(xiàn)全局的優(yōu)化調(diào)度；同時(shí)基于調(diào)度結(jié)果計(jì)算全局獎(jiǎng)勵(lì)并利用梯度下降法更新智能體的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)，可以確保模型在訓(xùn)練過(guò)程中不斷向最大化累計(jì)全局獎(jiǎng)勵(lì)的目標(biāo)逼近，從而實(shí)現(xiàn)智能決策；通過(guò)多智能體強(qiáng)化學(xué)習(xí)模型不斷地與環(huán)境進(jìn)行交互、試錯(cuò)和學(xué)習(xí)，能夠逐步適應(yīng)多能耦合型微電網(wǎng)的動(dòng)態(tài)變化，使得模型在面對(duì)新的調(diào)度場(chǎng)景或條件時(shí)能夠做出快速的響應(yīng)和調(diào)整，保持優(yōu)化調(diào)度的有效性。
21、優(yōu)選的，所述s23包括如下步驟：
22、s231、基于各多能耦合型微電網(wǎng)預(yù)處理后的目標(biāo)歷史狀態(tài)量進(jìn)行編碼得到各多能耦合型微電網(wǎng)的歷史狀態(tài)空間；
23、s232、將所述各多能耦合型微電網(wǎng)的歷史狀態(tài)空間作為區(qū)域智能體神經(jīng)網(wǎng)絡(luò)的輸入得到每個(gè)智能體的動(dòng)作空間；
24、s233、從所述每個(gè)智能體的動(dòng)作空間中隨機(jī)選擇動(dòng)作并執(zhí)行對(duì)各多能耦合型微電網(wǎng)進(jìn)行調(diào)度；s234、在當(dāng)前時(shí)段調(diào)度結(jié)束后根據(jù)多能耦合型微電網(wǎng)的調(diào)度結(jié)果計(jì)算全局獎(jiǎng)勵(lì)值；
25、s235、將當(dāng)前時(shí)段的狀態(tài)空間、執(zhí)行的動(dòng)作、全局獎(jiǎng)勵(lì)值及下一時(shí)段的狀態(tài)空間作為采樣經(jīng)驗(yàn)存儲(chǔ)至經(jīng)驗(yàn)池中。
26、上述技術(shù)方案中，通過(guò)對(duì)歷史狀態(tài)量進(jìn)行編碼將其轉(zhuǎn)化為模型更易理解和處理的歷史狀態(tài)空間，有助于模型更準(zhǔn)確地捕捉微電網(wǎng)的運(yùn)行特征和規(guī)律，能夠充分反映微電網(wǎng)的歷史運(yùn)行狀態(tài)；通過(guò)區(qū)域智能體神經(jīng)網(wǎng)絡(luò)處理各本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S1包括如下步驟：
3.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S2包括如下步驟：
4.根據(jù)權(quán)利要求3所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S23包括如下步驟：
5.根據(jù)權(quán)利要求3所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S24包括如下步驟：
6.根據(jù)權(quán)利要求3所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述多智能體強(qiáng)化學(xué)習(xí)模型對(duì)應(yīng)的數(shù)學(xué)表達(dá)式如下：
7.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S3包括如下步驟：
8.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S4包括如下步驟：
9
10.根據(jù)權(quán)利要求9所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述S413包括：
...【技術(shù)特征摘要】
1.基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述s1包括如下步驟：
3.根據(jù)權(quán)利要求1所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述s2包括如下步驟：
4.根據(jù)權(quán)利要求3所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述s23包括如下步驟：
5.根據(jù)權(quán)利要求3所述的基于多智能體強(qiáng)化學(xué)習(xí)的多能耦合型微電網(wǎng)優(yōu)化調(diào)度方法，其特征在于，所述s24包括如下步驟：
6.根據(jù)權(quán)利要求3所述的基于多智能體...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳瑞春，郭俊輝，張晶，何昕益，陳迪雨，萬(wàn)君，馬可心，曹明，葉晨男，陳盼盼，朱旭丹，李建飛，王林梅，歐陽(yáng)利平，陳安康，周洪青，張明晨，葉寅鋼，何宇翔，
申請(qǐng)(專利權(quán))人：臺(tái)州宏遠(yuǎn)電力設(shè)計(jì)院有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。