【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于環(huán)境數(shù)據(jù)監(jiān)測領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法。
技術(shù)介紹
1、磁暴作為一種強烈的空間天氣現(xiàn)象，源于太陽風(fēng)與地球磁場的相互作用，可能對地球的電力系統(tǒng)、通信基礎(chǔ)設(shè)施及空間技術(shù)設(shè)備產(chǎn)生顯著影響。磁暴不僅引發(fā)了國內(nèi)外學(xué)者對于對空間物理學(xué)的深入理論研究，還促使工程應(yīng)用領(lǐng)域?qū)Υ疟┍O(jiān)測和預(yù)測提出了更高的要求。特別是，磁暴的發(fā)生可能導(dǎo)致電網(wǎng)故障、變壓器損壞，并對衛(wèi)星通信、導(dǎo)航系統(tǒng)造成嚴重干擾。因此，如何準(zhǔn)確監(jiān)測和預(yù)測磁暴的發(fā)生，成為了研究的熱點問題。
2、在地球赤道按均勻的經(jīng)度間隔選取四個地磁臺站，四個臺站每小時地磁水平強度變化的平均值即為dst指數(shù)，其數(shù)值在磁暴期間通常為負值，絕對值的大小與地磁強度呈正比。當(dāng)-50nt<dst≤-30nt時，表示發(fā)生小磁暴；當(dāng)-100nt<dst≤-50nt表示發(fā)生中等磁暴；當(dāng)-200nt<dst≤-100nt表示發(fā)生大磁暴；當(dāng)dst≤-200nt表示發(fā)生特大磁暴。因此，磁暴異常檢測通常歸結(jié)為dst指數(shù)的異常檢測。dst指數(shù)的異常變化通常反映出了磁暴事件的強度和影響程度。
3、傳統(tǒng)的異常檢測方法雖然在某些情況下有效，但在處理復(fù)雜和非線性時間序列數(shù)據(jù)時有一定的不足。早期研究人員大都從磁暴產(chǎn)生的物理機制出發(fā)，構(gòu)建經(jīng)驗?zāi)Ｐ兔枋龃疟┲笖?shù)dst的變化。這些方法通常利用太陽風(fēng)速度、太陽風(fēng)動壓、行星際磁場分量等參數(shù)，實時更新dst指數(shù)，在預(yù)測及異常檢測上存在一定的局限性。這促使了對深度學(xué)習(xí)技術(shù)的廣泛探索，尤其是在結(jié)合不確定性估計
4、深度學(xué)習(xí)作為近年來在各類數(shù)據(jù)分析和預(yù)測任務(wù)中取得顯著成果的技術(shù)，通過自動學(xué)習(xí)數(shù)據(jù)中的復(fù)雜特征，能夠有效捕捉時間序列數(shù)據(jù)中的隱含模式。越來越多的學(xué)者利用神經(jīng)網(wǎng)絡(luò)技術(shù)對dst指數(shù)進行預(yù)測和異常檢測。而在磁暴異常檢測任務(wù)中，深度學(xué)習(xí)模型尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn)和長短期記憶網(wǎng)絡(luò)(lstm)等架構(gòu)，已被應(yīng)用于處理磁暴時間序列數(shù)據(jù)，從而提高了對磁暴事件的預(yù)測能力。
5、然而，傳統(tǒng)的深度學(xué)習(xí)模型通常只提供點預(yù)測結(jié)果，而未能充分考慮預(yù)測結(jié)果的不確定性。需要提出一種更為實用的dst指數(shù)異常檢測方法。
技術(shù)實現(xiàn)思路
1、專利技術(shù)目的：本專利技術(shù)的目的在于提供一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法。通過添加不確定估計，不僅能夠有效地輸出預(yù)測值，還能夠同時量化預(yù)測的不確定性，從而為決策過程提供更豐富的信息。
2、技術(shù)方案：本專利技術(shù)的一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法，包括如下步驟：
3、步驟1、獲取目標(biāo)區(qū)域的dst指數(shù)；
4、步驟2、根據(jù)地磁活動，選取較為活躍年份的dst指數(shù)為待檢測數(shù)據(jù)即測試集，其余為訓(xùn)練集和驗證集，劃分完成后，把數(shù)據(jù)進行歸一化處理；
5、步驟3、創(chuàng)建dst指數(shù)區(qū)間預(yù)測模型的輸入和輸出數(shù)據(jù)集，利用歷史數(shù)據(jù)預(yù)測未來趨勢；
6、步驟4、基于cnn和lstm網(wǎng)絡(luò)特性確定dst指數(shù)區(qū)間預(yù)測模型結(jié)構(gòu)，并進行模型搭建；
7、步驟5、將訓(xùn)練集批次輸入搭建好的dst指數(shù)區(qū)間預(yù)測模型中，訓(xùn)練dst指數(shù)區(qū)間預(yù)測模型，獲得訓(xùn)練好的dst指數(shù)區(qū)間預(yù)測模型；
8、步驟6、根據(jù)模型誤差要求分析模型訓(xùn)練結(jié)果，當(dāng)誤差值滿足模型誤差要求，完成模型訓(xùn)練，當(dāng)誤差值不滿足模型誤差要求，則更新模型參數(shù)，并重新執(zhí)行步驟3-步驟5，再次進行模型訓(xùn)練，直至誤差在預(yù)計范圍內(nèi)；
9、步驟7、將測試集輸入到訓(xùn)練好的dst指數(shù)區(qū)間預(yù)測模型中，獲得一維數(shù)據(jù)序列，同時根據(jù)dst指數(shù)預(yù)測結(jié)果進行多次采樣，計算模型預(yù)測的平均值與方差，并計算預(yù)測的兩種不確定性，再進一步對兩種不確定性進行相加再取平方根合并為總確定性；
10、步驟8、將預(yù)測數(shù)據(jù)進行反歸一化處理，得到最終的dst指數(shù)預(yù)測結(jié)果；
11、步驟9、根據(jù)dst指數(shù)預(yù)測結(jié)果與真實數(shù)據(jù)，表示出真實數(shù)據(jù)、模型預(yù)測的均值以及不確定性；使用不確定性作為異常評分，設(shè)置置信區(qū)間作為閾值，超過此閾值的點將被標(biāo)記為異常。
12、進一步的，步驟2具體為：根據(jù)地磁活動活動程度，選取地磁活動較為頻繁的年份為訓(xùn)練集，其余為訓(xùn)練集和驗證集；然后對所有訓(xùn)練集、測試集和驗證集中的數(shù)據(jù)統(tǒng)一進行歸一化處理，歸一化處理的公式如下：
13、
14、其中，xi代表dst指數(shù)，x′i代表xi歸一化的值，xmax、xmin分別代表最大和最小值，歸一化完成后，數(shù)據(jù)預(yù)處理工作完成。
15、進一步的，步驟3具體為：創(chuàng)建dst指數(shù)區(qū)間預(yù)測模型的輸入和輸出數(shù)據(jù)集，利用歷史數(shù)據(jù)預(yù)測未來趨勢，設(shè)置一個滯后項，提前6個時間步生成輸入數(shù)據(jù)集，將數(shù)據(jù)轉(zhuǎn)換為適合cnn和lstm神經(jīng)網(wǎng)絡(luò)處理的形式，提高模型的預(yù)測性能和準(zhǔn)確度。
16、進一步的，步驟4具體為：dst指數(shù)區(qū)間預(yù)測模型的網(wǎng)絡(luò)設(shè)計為8層，具體包括輸入層、隱藏層和輸出層，輸入層的輸入數(shù)據(jù)包含歷史dst指數(shù)，生成的輸入數(shù)據(jù)集其中每個樣本包含連續(xù)的6個時間點的值；隱藏層數(shù)據(jù)包括兩層cnn，卷積核數(shù)量為64，核大小為1，以及三層lstm，其中兩層單元數(shù)為64，一層單元數(shù)為128；輸出層由兩個部分組成，兩條并行路徑通過一次dropout層后連接dense層分別輸出均值和方差，均值用于衡量預(yù)測誤差，對數(shù)方差用于衡量預(yù)測不確定性。
17、進一步的，步驟5具體為：將訓(xùn)練集批次輸入搭建好的dst指數(shù)區(qū)間預(yù)測模型中，訓(xùn)練dst指數(shù)區(qū)間預(yù)測模型，獲得訓(xùn)練好的dst指數(shù)區(qū)間預(yù)測模型；
18、dst指數(shù)區(qū)間預(yù)測模型利用前6個時間步的dst指數(shù)預(yù)測下一時間段的dst指數(shù)；dst指數(shù)區(qū)間預(yù)測模型的隱藏層為兩層cnn和三層lstm，損失函數(shù)為自定義，結(jié)合均值和對數(shù)方差，用于處理預(yù)測的不確定性；
19、將訓(xùn)練數(shù)據(jù)輸入dst指數(shù)區(qū)間預(yù)測模型，數(shù)據(jù)首先經(jīng)過cnn，模型中的每一層cnn會進行如下操作：
20、
21、式中，yi，j是是輸出特征圖的第i個樣本，第j個時間步的值，xi，j+k是輸入數(shù)據(jù)的第i個樣本，第j+k個時間步的第m個特征，wk，m是卷積核的第k個位置，第m個特征的權(quán)重，bm是卷積層的偏置項，f為每個時間步的特征維度，k為卷積核的數(shù)量；
22、cnn輸出之后輸入lstm，每一層lstm會進行如下操作：
23、利用lstm中特有的遺忘門選擇忘記過去信息，遺忘門公式為：
24、ft＝σ(wf·[ht-1，xt]+bf)?(3)
25、其中，σ為激活函數(shù)，wf為權(quán)系數(shù)矩陣，bf為遺忘門的偏置項，ht-1為上一時刻的輸出，xt為當(dāng)前時刻的輸入；
26、利用輸入門控制著lstm每個隱藏單元的輸入有多少新的信息加入內(nèi)部狀態(tài)ct里，輸入門函數(shù)it和內(nèi)部狀態(tài)ct的表達式為：
27、it＝σ(wi[ht-1，xt]+bi)?(4)
本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟2具體為：根據(jù)地磁活動活動程度，選取地磁活動較為頻繁的年份為訓(xùn)練集，其余為訓(xùn)練集和驗證集；然后對所有訓(xùn)練集、測試集和驗證集中的數(shù)據(jù)統(tǒng)一進行歸一化處理，歸一化處理的公式如下：
3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟3具體為：創(chuàng)建Dst指數(shù)區(qū)間預(yù)測模型的輸入和輸出數(shù)據(jù)集，利用歷史數(shù)據(jù)預(yù)測未來趨勢，設(shè)置一個滯后項，提前6個時間步生成輸入數(shù)據(jù)集，將數(shù)據(jù)轉(zhuǎn)換為適合CNN和LSTM神經(jīng)網(wǎng)絡(luò)處理的形式，提高模型的預(yù)測性能和準(zhǔn)確度。
4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟4具體為：Dst指數(shù)區(qū)間預(yù)測模型的網(wǎng)絡(luò)設(shè)計為8層，具體包括輸入層、隱藏層和輸出層，輸入層的輸入數(shù)據(jù)包含歷史Dst指數(shù)，生成的輸入數(shù)據(jù)集其中每個樣本包含連續(xù)的6個時間點的值；隱藏層數(shù)據(jù)
5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟5具體為：將訓(xùn)練集批次輸入搭建好的Dst指數(shù)區(qū)間預(yù)測模型中，訓(xùn)練Dst指數(shù)區(qū)間預(yù)測模型，獲得訓(xùn)練好的Dst指數(shù)區(qū)間預(yù)測模型；
6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟7中，所述兩種不確定性為Aleatoric不確定性和Epistemic不確定性；所述Aleatoric不確定性由模型在訓(xùn)練過程中直接學(xué)習(xí)得到，表示為方差的對數(shù)值，通過取每次預(yù)測中Aleatoric不確定性部分的均值并將其指數(shù)化，得到了數(shù)據(jù)噪聲引起的實際不確定性；所述Epistemic不確定性通過對預(yù)測結(jié)果計算均值和方差得到。
7.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟8具體為：將預(yù)測數(shù)據(jù)進行反歸一化處理，得到最終的Dst指數(shù)預(yù)測結(jié)果，根據(jù)Dst指數(shù)預(yù)測結(jié)果和真實數(shù)據(jù)，利用均方根誤差和R2評估Dst指數(shù)區(qū)間預(yù)測模型的性能；
8.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的Dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟9具體為：根據(jù)Dst指數(shù)預(yù)測結(jié)果與真實數(shù)據(jù)，通過折線圖表示出真實數(shù)據(jù)、模型預(yù)測的均值以及不確定性；使用不確定性作為異常評分，通過繪制實際數(shù)據(jù)和模型預(yù)測均值來可視化區(qū)間預(yù)測結(jié)果，并通過填充區(qū)域展示預(yù)測的不確定性，同時，基于預(yù)測方差進行異常檢測，計算預(yù)測的95％置信區(qū)間作為閾值，超過此閾值的點將被標(biāo)記為異常。
...【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟2具體為：根據(jù)地磁活動活動程度，選取地磁活動較為頻繁的年份為訓(xùn)練集，其余為訓(xùn)練集和驗證集；然后對所有訓(xùn)練集、測試集和驗證集中的數(shù)據(jù)統(tǒng)一進行歸一化處理，歸一化處理的公式如下：
3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟3具體為：創(chuàng)建dst指數(shù)區(qū)間預(yù)測模型的輸入和輸出數(shù)據(jù)集，利用歷史數(shù)據(jù)預(yù)測未來趨勢，設(shè)置一個滯后項，提前6個時間步生成輸入數(shù)據(jù)集，將數(shù)據(jù)轉(zhuǎn)換為適合cnn和lstm神經(jīng)網(wǎng)絡(luò)處理的形式，提高模型的預(yù)測性能和準(zhǔn)確度。
4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的dst指數(shù)概率預(yù)測模型及實時異常檢測方法，其特征在于，步驟4具體為：dst指數(shù)區(qū)間預(yù)測模型的網(wǎng)絡(luò)設(shè)計為8層，具體包括輸入層、隱藏層和輸出層，輸入層的輸入數(shù)據(jù)包含歷史dst指數(shù)，生成的輸入數(shù)據(jù)集其中每個樣本包含連續(xù)的6個時間點的值；隱藏層數(shù)據(jù)包括兩層cnn，卷積核數(shù)量為64，核大小為1，以及三層lstm，其中兩層單元數(shù)為64，一層單元數(shù)為128；輸出層由兩個部分組成，兩條并行路徑通過一次dropout層后連接dense層分別輸出均值和方差，均值用于衡量預(yù)測誤差，對數(shù)方差用于衡量預(yù)測不確定性。
5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的ds...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：牛犇，黃智，賈騏宇，
申請(專利權(quán))人：江蘇師范大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。