【技術實現步驟摘要】
本專利技術涉及電力系統領域，更具體的，涉及一種電力市場數據的自動化分類方法及系統。
技術介紹
1、大數據時代，數據的利用給包括電力行業在內的各個行業帶來了革命性的變化。現代智能電網的不斷推進，加速了電力系統數字化、信息化進程。電網的脫碳和分散化程度不斷提高，需要更智能、適應性更強的解決方案。因此，智能電網領域正在利用眾多創新技術。機器學習、人工智能和大數據分析等先進方法對于優化電網運營、提高能源效率和確保可靠供應至關重要。
2、電力市場是電力產業的重要組成部分，而電力市場領域內的研究基本都采用數據驅動的方法。因此，數據的可讀性和可用性可以顯著影響任務的結果，這使得數據治理成為至關重要的組成部分。然而，當前電力市場領域面臨的重大挑戰是數據的管理。電力市場數據缺乏標準化治理，缺乏統一的數據建模和分類方法，使得該領域的研究和應用變得復雜。此外，電力市場數據量巨大且增長迅速。再加上數據管理嚴重依賴人工干預，這就帶來了第二個挑戰：缺乏數據分類的自動化機制。
3、針對上述問題，亟需一種電力市場數據的自動化分類方法及系統。
技術實現思路
1、為解決現有技術中存在的不足，本專利技術提供一種電力市場數據的自動化分類方法及系統，通過bert語義模型對電力市場數據進行自動化分類，有助于更好整合利用電力市場數據，支持電力市場領域的數據研究與決策。
2、本專利技術采用如下的技術方案。
3、本專利技術第一方面，涉及一種電力市場數據的自動化分類方法，方法包括以下步
4、優選的，采集電力市場數據，并從電力市場數據中分別提取元數據特征和上下文特征，包括：采集電力市場數據表，并基于數據血緣關系對所述電力市場數據表進行填充；提取電力市場數據表中的表名、表注釋、字段名、字段注釋、字段類型以生成元數據特征；采用berttokenizer分詞器對元數據特征進行分詞和詞向量嵌入以獲得元數據特征的分詞結果；設置詞向量長度并對分詞結果進行截斷和填充處理，并生成元數據特征的特征矩陣。
5、優選的，采集電力市場數據，并從電力市場數據中分別提取元數據特征和上下文特征，包括：采用tf-idf對元數據特征進行上下文分析，以獲得tf-idf特征矩陣。
6、優選的，將元數據特征輸入至bert編碼器中，并采用fgm方法生成人工噪聲并反饋回bert編碼器的輸入端，以獲得第一語義特征，包括：利用交叉熵損失函數計算自動化分類結果的損失，并計算損失函數的梯度；通過fgm方法和損失函數的梯度計算待添加的隨機擾動，并將隨機擾動添加至bert編碼器的詞向量層中，以獲得bert編碼器輸出的第一語義特征。
7、優選的，將元數據特征輸入至bert編碼器中，并采用fgm方法生成人工噪聲并反饋回bert編碼器的輸入端，以獲得第一語義特征，包括：bert編碼器為多個疊加的編碼器層，每一編碼器層中包括多頭注意力層、相加和層歸一化層、前饋網絡層、相加和層歸一化層。
8、優選的，拼接第一語義特征與第二語義特征，并將拼接結果輸入至分類器中，以實施對電力市場數據的自動化分類，包括：基于預先構造的電力市場數據分類規則，為典型數據添加分類標簽；利用預先添加標簽的典型數據對自動化分類模型進行訓練，并在完成訓練后，利用自動化分類模型對所述電力市場數據實施自動化分類。
9、優選的，基于預先構造的電力市場數據分類規則，為典型數據添加分類標簽，包括：電力市場數據分類規則將電力市場數據劃分為市場業務面數據、數據管理面數據、數據聚合面數據和數據應用面數據；同一項電力市場數據對應于一個或多個面數據標簽。
10、優選的，電力市場數據分類規則將所述電力市場數據劃分為市場業務面數據、數據管理面數據、數據聚合面數據和數據應用面數據，包括：電力市場數據分類規則將市場業務面數據劃分為市場服務類數據、市場出清類數據、市場結算類數據、合同管理類數據、市場合規類數據、信息披露類數據、交易計劃類數據、省間現貨市場類數據、預交易類數據、交易公告類數據、業務監控類數據、兩級縱向類數據、交易申報類數據、中長期交易類數據；電力市場數據分類規則利用數據倉庫的分層方式對所述數據管理面數據實施劃分，并將數據管理面數據劃分為運營類數據、明細類數據、中間類數據、服務類數據；電力市場數據分類規則利用數據源系統對數據集成面數據實施數據類的劃分；電力市場數據分類規則利用數據用途對數據應用面數據實施數據類的劃分。
11、本專利技術第二方面，涉及一種利用本專利技術第一方面中方法的一種電力市場數據的自動化分類系統，系統包括采集模塊、第一編碼模塊、第二編碼模塊和分類模塊；其中，采集模塊，用于采集電力市場數據，并從電力市場數據中分別提取元數據特征和上下文特征；第一編碼模塊，用于將元數據特征輸入至bert編碼器中，并采用fgm方法生成人工噪聲并反饋回bert編碼器的輸入端，以獲得第一語義特征；第二編碼模塊，用于將上下文特征輸入至bi-lstm模型中，以獲得第二語義特征；分類模塊，用于拼接第一語義特征與第二語義特征，并將拼接結果輸入至分類器中，以實施對電力市場數據的自動化分類。
12、本專利技術第三方面，涉及一種終端，包括處理器及存儲介質；存儲介質用于存儲指令；處理器用于根據指令進行操作以執行本專利技術第一方面中方法的步驟。
13、本專利技術的有益效果在于，與現有技術相比，本專利技術中的一種電力市場數據的自動化分類方法及系統，通過bert語義模型對電力市場數據進行自動化分類，有助于更好整合利用電力市場數據，支持電力市場領域的數據研究與決策。
14、本專利技術的有益效果還包括：
15、1、本專利技術同步獲得電力市場元數據的上下文信息和lstm時序語義信息，并對上述兩種信息進行拼接作為數據劃分的依據，這種方式不只考慮了電力市場數據內的語義位置關聯，還考慮到語義時序信息，從而為數據的自動化分類過程提供了充分依據，確保分類結果的準確可靠。
16、2、為了實施分類過程，方法優先定義了電力市場數據的分類規則，充分考慮各種分類需求對數據內容實施了多層次的分類，并通過添加數據標簽、模型的預先訓練，確保大量電力市場數據的自動化分類，為多標簽的數據標注提供了可行手段。
本文檔來自技高網...【技術保護點】
1.一種電力市場數據的自動化分類方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的一種電力市場數據的自動化分類方法，其特征在于：
3.根據權利要求2所述的一種電力市場數據的自動化分類方法，其特征在于：
4.根據權利要求3所述的一種電力市場數據的自動化分類方法，其特征在于：
5.根據權利要求4所述的一種電力市場數據的自動化分類方法，其特征在于：
6.根據權利要求5所述的一種電力市場數據的自動化分類方法，其特征在于：
7.根據權利要求6所述的一種電力市場數據的自動化分類方法，其特征在于：
8.根據權利要求7所述的一種電力市場數據的自動化分類方法，其特征在于：
9.一種利用權利要求1-8任一項權利要求所述方法的一種電力市場數據的自動化分類系統，其特征在于：
10.一種終端，包括處理器及存儲介質；其特征在于：
【技術特征摘要】
1.一種電力市場數據的自動化分類方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的一種電力市場數據的自動化分類方法，其特征在于：
3.根據權利要求2所述的一種電力市場數據的自動化分類方法，其特征在于：
4.根據權利要求3所述的一種電力市場數據的自動化分類方法，其特征在于：
5.根據權利要求4所述的一種電力市場數據的自動化分類方法，其特征在于：
<...【專利技術屬性】
技術研發人員：蘇予涵，王清波，周琳，崔錦瑞，呂俊良，顧樹倩，季超，王蘭香，呂經緯，楊寧，李守保，呂文濤，袁明珠，高春成，趙會芹，劉杰，
申請(專利權)人：北京科東電力控制系統有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。