一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，包括：獲取小區(qū)的地理位置數(shù)據(jù)

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法


[0001]本專利技術(shù)涉及一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，屬于電力負(fù)荷預(yù)測(cè)

。

技術(shù)介紹

[0002]對(duì)小區(qū)用電進(jìn)行預(yù)測(cè)有助于提高小區(qū)用電規(guī)劃和用電決策的水平，針對(duì)不同小區(qū)的用電特點(diǎn)，進(jìn)行用電量預(yù)測(cè)，使得電力企業(yè)能夠?qū)π^(qū)提供針對(duì)性的服務(wù)
。
使用人工智能技術(shù)來(lái)預(yù)測(cè)小區(qū)用電量能夠獲得比傳統(tǒng)方法更高的預(yù)測(cè)精度
。
目前的電量預(yù)測(cè)方法，按照輸入數(shù)據(jù)的類型可以分為兩類：
(1)
僅有歷史用電量作為輸入數(shù)據(jù)，如申請(qǐng)?zhí)枮?br/>CN201710135997.5
的中國(guó)專利，公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)技術(shù)預(yù)測(cè)小區(qū)用電量的方法
。(2)
在輸入歷史用電量的同時(shí)還輸入溫度數(shù)據(jù)
。
此類方法通過(guò)建立溫度與電量關(guān)系使用溫度來(lái)輔助電量預(yù)測(cè)，如申請(qǐng)?zhí)枮?br/>CN201911031216.3
的中國(guó)專利公開(kāi)了一種居民用戶細(xì)粒度用電行為的分項(xiàng)負(fù)荷預(yù)測(cè)方法，該預(yù)測(cè)方法基于
AdaBoost
的機(jī)器學(xué)習(xí)技術(shù)，解決了現(xiàn)由于居民小區(qū)分項(xiàng)電力負(fù)荷數(shù)據(jù)小
、
影響因素的復(fù)雜性和多變性的問(wèn)題
。
申請(qǐng)?zhí)枮?br/>CN201210439494.4
的中國(guó)專利公開(kāi)了一種小區(qū)用電預(yù)測(cè)方法及裝置，該方法基于深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)，通過(guò)利用歷史溫度數(shù)據(jù)和歷史用電量數(shù)據(jù)構(gòu)建用電量預(yù)測(cè)模型，實(shí)現(xiàn)了根據(jù)溫度預(yù)測(cè)小區(qū)用電量
>。
[0003]以上方法僅對(duì)單個(gè)小區(qū)的用電量進(jìn)行預(yù)測(cè)，或者僅僅考慮了小區(qū)電量的時(shí)間序列特征
。
此外，現(xiàn)有技術(shù)雖然考慮了溫度等外部因素，卻沒(méi)有很好地提取外部因素的特征并與歷史電量數(shù)據(jù)融合
。
具體來(lái)說(shuō)：
[0004]單個(gè)小區(qū)，現(xiàn)有的一些方法僅僅對(duì)單個(gè)小區(qū)的用電量進(jìn)行預(yù)測(cè)，預(yù)測(cè)范圍小
、
能力差
。
[0005]未考慮空間特征，現(xiàn)有技術(shù)均未考慮小區(qū)之間的空間特征
。
在大范圍的小區(qū)用電預(yù)測(cè)問(wèn)題上，每個(gè)小區(qū)可以看作圖上的一個(gè)節(jié)點(diǎn)，小區(qū)之間形成了一個(gè)圖結(jié)構(gòu)，這就是小區(qū)之間的空間特征
。
空間特征在小區(qū)用電預(yù)測(cè)上具有重要作用，舉例來(lái)說(shuō)：地理位置上鄰近的兩個(gè)小區(qū)，可能會(huì)先后面臨高溫天氣帶來(lái)的用電增長(zhǎng)
。
[0006]對(duì)外部因素的挖掘過(guò)于簡(jiǎn)單，現(xiàn)有技術(shù)使用溫度來(lái)輔助電量預(yù)測(cè)，僅僅把溫度作為一項(xiàng)輸入數(shù)據(jù)，缺乏先進(jìn)的深度學(xué)習(xí)技術(shù)對(duì)外部因素進(jìn)行特征挖掘
。

技術(shù)實(shí)現(xiàn)思路

[0007]為了克服上述問(wèn)題，本專利技術(shù)提供一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，該方法對(duì)歷史用電數(shù)據(jù)進(jìn)行建模，而且對(duì)小區(qū)之間的空間關(guān)系和歷史數(shù)據(jù)的時(shí)間特征進(jìn)行建模，充分挖掘小區(qū)電量預(yù)測(cè)問(wèn)題中的時(shí)空關(guān)系
。
[0008]本專利技術(shù)的技術(shù)方案如下：
[0009]一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，包括：
[0010]獲取小區(qū)的地理位置數(shù)據(jù)
、
歷史電量數(shù)據(jù)和歷史外部因素?cái)?shù)據(jù)；對(duì)所述歷史電量
數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)進(jìn)行預(yù)處理；所述歷史外部因素?cái)?shù)據(jù)包括氣溫和電價(jià)；
[0011]構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型；
[0012]以所述歷史電量數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)為所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型的輸入，得到所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果；
[0013]將所述預(yù)測(cè)結(jié)果與真實(shí)值進(jìn)行比較，得到損失值；
[0014]通過(guò)所述損失值進(jìn)行反向誤差傳播，對(duì)所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；
[0015]通過(guò)訓(xùn)練好的所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型對(duì)小區(qū)未來(lái)用電量進(jìn)行預(yù)測(cè)
。
[0016]進(jìn)一步的，對(duì)所述歷史電量數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)進(jìn)行預(yù)處理，包括：
[0017]將所述歷史電量數(shù)據(jù)和所述外部因素?cái)?shù)據(jù)分別提取為數(shù)據(jù)框格式，以時(shí)間信息為行索引，小區(qū)編號(hào)為列索引，得到電量數(shù)據(jù)框和外部因素?cái)?shù)據(jù)框；
[0018]清理數(shù)據(jù)框，去除其中小區(qū)全部數(shù)據(jù)均為空值以及存在數(shù)據(jù)異常的小區(qū)，并使用線性插值方法對(duì)存在部分?jǐn)?shù)據(jù)缺失的小區(qū)進(jìn)行數(shù)據(jù)填充；
[0019]最后，使用
z
?
score
方法對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使得數(shù)據(jù)在
?1至1范圍內(nèi)；
[0020]將所述地理位置數(shù)據(jù)提取為數(shù)據(jù)框格式，以站點(diǎn)的編號(hào)為行索引；
[0021]根據(jù)站點(diǎn)的經(jīng)緯度數(shù)據(jù)，通過(guò)地圖
API
計(jì)算每個(gè)站點(diǎn)
i
與其他站點(diǎn)
j
間的距離
dist
i
，
j
；
[0022]計(jì)算鄰接矩陣
[0023][0024]其中，
σ
為標(biāo)準(zhǔn)差
。
[0025]進(jìn)一步的，構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，具體為：
[0026]外部因素特征提?。?br/>[0027]通過(guò)2層全連接層將
t
時(shí)刻的2維的外部因素?cái)?shù)據(jù)變換到
D
維空間表示
[0028]通過(guò)圖卷積網(wǎng)絡(luò)捕捉外部因素的空間特征：
[0029][0030]其中，
W
w
，1和
b
w
，1為網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)，
φ
為激活函數(shù)；
[0031]通過(guò)
GRU
模塊來(lái)捕捉時(shí)間傳播的影響：
[0032][0033][0034][0035][0036]其中，
W
r
，
W
z
，
W
h
，
b
r
，
b
z
，
b
h
為網(wǎng)路中可學(xué)習(xí)的參數(shù)，為外部因素的向量表示，
[
·
，
·
]表示拼接操作，
⊙
表示逐元素相乘；
[0037]歷史電量數(shù)據(jù)向量表示：
[0038]通過(guò)兩層全連接網(wǎng)絡(luò)將所述歷史電量數(shù)據(jù)進(jìn)行投影，得到到歷史電量數(shù)據(jù)向量
[0039]融合所述歷史電量數(shù)據(jù)與所述外部因素?cái)?shù)據(jù)得到輸入向量：
[0040]將所述歷史電量數(shù)據(jù)向量與所述外部因素?cái)?shù)據(jù)向量相減，得到編碼器的輸入向量
[0041][0042]進(jìn)一步的，構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，還包括時(shí)空特征表示，具體為：
[0043]通過(guò)節(jié)點(diǎn)嵌入技術(shù)將每個(gè)小區(qū)表示的節(jié)點(diǎn)向量化；
[0044]通過(guò)兩層全連接網(wǎng)絡(luò)將節(jié)點(diǎn)向量投影到
D
維空間，表示為<本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.
一種基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，包括：獲取小區(qū)的地理位置數(shù)據(jù)
、
歷史電量數(shù)據(jù)和歷史外部因素?cái)?shù)據(jù)；對(duì)所述歷史電量數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)進(jìn)行預(yù)處理；所述歷史外部因素?cái)?shù)據(jù)包括氣溫和電價(jià)；構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型；以所述歷史電量數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)為所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型的輸入，得到所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果；將所述預(yù)測(cè)結(jié)果與真實(shí)值進(jìn)行比較，得到損失值；通過(guò)所述損失值進(jìn)行反向誤差傳播，對(duì)所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；通過(guò)訓(xùn)練好的所述基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型對(duì)小區(qū)未來(lái)用電量進(jìn)行預(yù)測(cè)
。2.
根據(jù)權(quán)利要求1所述基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，對(duì)所述歷史電量數(shù)據(jù)
、
歷史外部因素?cái)?shù)據(jù)和所述地理位置數(shù)據(jù)進(jìn)行預(yù)處理，包括：將所述歷史電量數(shù)據(jù)和所述外部因素?cái)?shù)據(jù)分別提取為數(shù)據(jù)框格式，以時(shí)間信息為行索引，小區(qū)編號(hào)為列索引，得到電量數(shù)據(jù)框和外部因素?cái)?shù)據(jù)框；清理數(shù)據(jù)框，去除其中小區(qū)全部數(shù)據(jù)均為空值以及存在數(shù)據(jù)異常的小區(qū)，并使用線性插值方法對(duì)存在部分?jǐn)?shù)據(jù)缺失的小區(qū)進(jìn)行數(shù)據(jù)填充；最后，使用
z
?
score
方法對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使得數(shù)據(jù)在
?1至1范圍內(nèi)；將所述地理位置數(shù)據(jù)提取為數(shù)據(jù)框格式，以站點(diǎn)的編號(hào)為行索引；根據(jù)站點(diǎn)的經(jīng)緯度數(shù)據(jù)，通過(guò)地圖
API
計(jì)算每個(gè)站點(diǎn)
i
與其他站點(diǎn)
j
間的距離
dist
i,j
；計(jì)算鄰接矩陣計(jì)算鄰接矩陣其中，
σ
為標(biāo)準(zhǔn)差
。3.
根據(jù)權(quán)利要求2所述基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，具體為：外部因素特征提?。和ㄟ^(guò)2層全連接層將
t
時(shí)刻的2維的外部因素?cái)?shù)據(jù)變換到
D
維空間表示通過(guò)圖卷積網(wǎng)絡(luò)捕捉外部因素的空間特征：其中，
W
w,1
和
b
w,1
為網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)，
φ
為激活函數(shù)；通過(guò)
GRU
模塊來(lái)捕捉時(shí)間傳播的影響：模塊來(lái)捕捉時(shí)間傳播的影響：模塊來(lái)捕捉時(shí)間傳播的影響：
其中，
W
r
，
W
z
，
W
h
，
b
r
，
b
z
，
b
h
為網(wǎng)路中可學(xué)習(xí)的參數(shù)，為外部因素的向量表示，
[
·
,
·
]
表示拼接操作，
⊙
表示逐元素相乘；歷史電量數(shù)據(jù)向量表示：通過(guò)兩層全連接網(wǎng)絡(luò)將所述歷史電量數(shù)據(jù)進(jìn)行投影，得到到歷史電量數(shù)據(jù)向量融合所述歷史電量數(shù)據(jù)與所述外部因素?cái)?shù)據(jù)得到輸入向量：將所述歷史電量數(shù)據(jù)向量與所述外部因素?cái)?shù)據(jù)向量相減，得到編碼器的輸入向量將所述歷史電量數(shù)據(jù)向量與所述外部因素?cái)?shù)據(jù)向量相減，得到編碼器的輸入向量
4.
根據(jù)權(quán)利要求3所述基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，還包括時(shí)空特征表示，具體為：通過(guò)節(jié)點(diǎn)嵌入技術(shù)將每個(gè)小區(qū)表示的節(jié)點(diǎn)向量化；通過(guò)兩層全連接網(wǎng)絡(luò)將節(jié)點(diǎn)向量投影到
D
維空間，表示為通過(guò)獨(dú)熱編碼方式將歷史電量數(shù)據(jù)的時(shí)間特征向量化；通過(guò)兩層全連接網(wǎng)絡(luò)將節(jié)點(diǎn)向量投影到
D
維空間，表示為計(jì)算每個(gè)時(shí)間步
t
上的每個(gè)節(jié)點(diǎn)
i
的動(dòng)態(tài)時(shí)空特征表示
e
i
，
t
：
5.
根據(jù)權(quán)利要求4所述基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，構(gòu)建基于圖多頭自注意力機(jī)制的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，還包括預(yù)測(cè)模塊，所述預(yù)測(cè)模塊為編碼器
?
解碼器結(jié)構(gòu)，編碼器和解碼器均由
L
個(gè)多頭自注意力模塊疊加組成，所述多頭自注意力模塊由空間注意力機(jī)制
、
時(shí)間注意力機(jī)制以及一個(gè)門控融合單元組成
。6.
根據(jù)權(quán)利要求5所述基于圖多頭注意力機(jī)制的小區(qū)用電預(yù)測(cè)方法，其特征在于，所述空間注意力機(jī)制具體為：對(duì)于每一個(gè)時(shí)間步
t
，節(jié)點(diǎn)
v
和
i
之間的注意力值計(jì)算如下：計(jì)算如下：其中，和分別為第
l
?1個(gè)注意力塊中節(jié)點(diǎn)
i
和節(jié)點(diǎn)
v
在時(shí)間步
t
的隱藏向量表示，
e
i,t
和
e
v,t
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：錢曉瑞，詹祥澎，肖愷，林女貴，洪華偉，朱玲玲，沈一民，陳旭鵬，陳筱珺，潘舒宸，游妮萍，游元通，李燦輝，唐敏燕，
申請(qǐng)(專利權(quán))人：國(guó)網(wǎng)福建省電力有限公司營(yíng)銷服務(wù)中心，
類型：發(fā)明
國(guó)別省市：