【技術實現步驟摘要】
本專利技術涉及電力運維，特別是涉及一種用于電力運維的大模型微調方法、系統、設備及介質。
技術介紹
1、隨著電力運維領域的不斷發展，電力設備智能化的需求快速上升，基于圖神經網絡和長短期記憶網絡等技術的電力運維數據挖掘方法先后出現。但由于電力運維業務涉及故障診斷、設備維護、能源管理、電網調度等各類復雜內容，包含大量非結構化稀疏數據且具有數據內容繁雜、噪聲大、質量差且冗余嚴重的特點，導致上述數據挖掘方法應用時不僅信息處理效率低，而且難以實現運維協同互動。基于此，大模型因可以梳理復雜的非結構化數據和可以實現人機互動協調而被引入電力運維領域。
2、現有研究人員僅專注于以大模型檢索增強系統為基礎的電力運維知識問答，通過引入了長文本嵌入模型對基礎電力知識進行向量化處理。然而，這方面的技術雖然能夠應對大模型幻覺帶來的挑戰，但是依舊存在很嚴重的缺陷：1）電力運維領域具有極強的專業性，通用大模型缺乏對電力信息運維專業知識的精確理解，在轉化用戶指令和生成智能回答上都無法滿足專業要求；2）通用大模型對于電力運維領域的專業個性化需求缺乏對齊范式，在問題分解與邏輯鏈轉化上存在偏差，難以在實際場景中落地。即現有電力運維領域的大模型實際使用難以在保證信息處理效率和處理質量的同時，還能滿足專業知識交互能力需求。因此，亟需從數據質量優化的角度，提供一種適用于電力運維大數據分析處理的，高效且可靠的專家級大模型微調方法。
技術實現思路
1、本專利技術的目的是提供一種用于電力運維的大模型微調方法，通過以電力信息
2、為了實現上述目的，有必要針對上述技術問題，提供一種用于電力運維的大模型微調方法、系統、設備及介質。
3、第一方面，本專利技術實施例提供了一種用于電力運維的大模型微調方法，所述方法包括以下步驟：
4、獲取待處理電力運維數據集，并將所述電力運維數據集中的各個運維數據樣本作為待優化問題樣本；所述待處理電力運維數據集包括故障診斷樣本和負載預測樣本；
5、根據預設關鍵詞庫對各個待優化問題樣本進行分析，得到對應的運維問題類型；
6、根據所述運維問題類型和第一預設大語言模型，對各個待優化問題樣本進行預設數據特征提取，得到對應的問題特征文本，并根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本；
7、將同一運維問題類型的問題微調訓練樣本匯總，得到對應的問題微調訓練樣本集，并將所述問題微調訓練樣本集劃分為問題指令微調樣本子集和問題增量微調樣本子集；
8、根據所述問題指令微調樣本子集和所述問題增量微調樣本子集，基于量化低秩適應微調技術對第二預設大語言模型進行微調訓練，得到對應的運維問題大模型，并將所有運維問題大模型進行合并，得到電力運維垂域大模型。
9、進一步地，所述預設關鍵詞庫包括故障診斷關鍵詞庫和負載預測關鍵詞庫；所述根據預設關鍵詞庫對各個待優化問題樣本進行分析，得到對應的運維問題類型的步驟包括：
10、通過預設語義向量模型對所述待優化問題樣本進行向量化計算，得到對應的向量化處理結果；
11、通過所述預設語義向量模型對各個預設關鍵詞庫進行向量化處理，得到對應的向量化關鍵詞庫；
12、計算各個向量化關鍵詞庫中每個關鍵詞與所述向量化處理結果的余弦相似度，得到各個向量化關鍵詞庫對應的關鍵詞相似度列表；
13、獲取各個向量化關鍵詞庫的關鍵詞相似度列表中最大相似度值對應的關鍵詞作為候選用戶問題關鍵詞；
14、將所有候選用戶問題關鍵詞中相似度值最大的關鍵詞作為用戶問題關鍵詞；
15、根據所述用戶問題關鍵詞對應預設關鍵詞庫的類型，得到所述運維問題類型。
16、進一步地，當所述運維問題類型為故障診斷時，所述問題特征文本包括故障類型、故障特征和故障位置；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
17、根據多維相似度綜合評估法，分別對所述問題特征文本和所述預設數據類型知識庫中各個案例文本進行綜合相似度計算，得到對應的文本綜合相似度；
18、當所述問題特征文本與所述案例文本的文本綜合相似度大于預設相似度閾值時，將所述案例文本追加至所述問題特征文本的末端，得到候選問題微調訓練樣本；
19、將所述候選問題微調訓練樣本輸入所述第一預設大語言模型進行文本可理解性和邏輯準確性檢測，并當檢測合格時，將所述候選問題微調訓練樣本作為所述問題微調訓練樣本。
20、進一步地，當所述運維問題類型為負載預測時，所述預設數據特征包括預測條件和參考模型知識；所述參考模型知識包括模型類型、數據來源、特征變量、目標變量、預測方法、模型評估指標、預測假設和外部因素；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
21、對所述問題特征文本中的預測條件和參考模型知識分別進行文本預處理，得到對應的預測條件詞列表和模型知識詞列表；
22、獲取所述預測條件詞列表和所述模型知識詞列表的詞頻相似度和杰卡德相似系數，并將所述詞頻相似度和所述杰卡德相似系數進行加權求和，得到對應的預測條件影響因子；
23、當所述預測條件影響因子大于預設可信閾值時，根據多維相似度綜合評估法，分別對所述問題特征文本和所述預設數據類型知識庫中各個案例文本進行綜合相似度計算，得到對應的文本綜合相似度；
24、當所述問題特征文本與所述案例文本的文本綜合相似度大于預設相似度閾值時，將所述案例文本追加至所述問題特征文本的末端，得到候選問題微調訓練樣本；
25、將所述候選問題微調訓練樣本輸入所述第一預設大語言模型進行文本可理解性和邏輯準確性檢測，并當檢測合格時，將所述候選問題微調訓練樣本作為所述問題微調訓練樣本。
26、進一步地，所述多維相似度綜合評估法為分別計算杰卡德相似系數、戴斯相似性系數和n元組相似度值，再計算所述杰卡德相似系數與所述戴斯相似性系數的相似系數平均值，并將所述相似系數平均值和所述n元組相似度值進行加權平均得到綜合相似度。
27、進一步地，所述將所述問題微調訓練樣本集劃分為問題指令微調樣本子集和問題增量微調樣本子集的步驟包括：
28、分別獲取所述問題微調訓練樣本集中各個問題微調本文檔來自技高網...
【技術保護點】
1.一種用于電力運維的大模型微調方法，其特征在于，所述方法包括以下步驟：
2.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，所述預設關鍵詞庫包括故障診斷關鍵詞庫和負載預測關鍵詞庫；所述根據預設關鍵詞庫對各個待優化問題樣本進行分析，得到對應的運維問題類型的步驟包括：
3.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，當所述運維問題類型為故障診斷時，所述問題特征文本包括故障類型、故障特征和故障位置；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
4.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，當所述運維問題類型為負載預測時，所述預設數據特征包括預測條件和參考模型知識；所述參考模型知識包括模型類型、數據來源、特征變量、目標變量、預測方法、模型評估指標、預測假設和外部因素；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
5.如權利要求3或4所述的用于電力運維的大模型微調方法，其特征在于，所述多維
6.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，所述將所述問題微調訓練樣本集劃分為問題指令微調樣本子集和問題增量微調樣本子集的步驟包括：
7.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，所述待處理電力運維數據集還包括通用任務樣本；所述預設關鍵詞庫還包括通用任務關鍵詞庫；所述方法還包括：
8.一種用于電力運維的大模型微調系統，其特征在于，所述系統包括：
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一所述方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一所述方法的步驟。
...【技術特征摘要】
1.一種用于電力運維的大模型微調方法，其特征在于，所述方法包括以下步驟：
2.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，所述預設關鍵詞庫包括故障診斷關鍵詞庫和負載預測關鍵詞庫；所述根據預設關鍵詞庫對各個待優化問題樣本進行分析，得到對應的運維問題類型的步驟包括：
3.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，當所述運維問題類型為故障診斷時，所述問題特征文本包括故障類型、故障特征和故障位置；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
4.如權利要求1所述的用于電力運維的大模型微調方法，其特征在于，當所述運維問題類型為負載預測時，所述預設數據特征包括預測條件和參考模型知識；所述參考模型知識包括模型類型、數據來源、特征變量、目標變量、預測方法、模型評估指標、預測假設和外部因素；所述根據對應的預設數據類型知識庫對所述問題特征文本進行擴充，生成對應的問題微調訓練樣本的步驟包括：
5.如權利要求3或4所述的用于電力運維的大模型微調方法，其...
【專利技術屬性】
技術研發人員：張京倫，蔡晴，吳慧，梅峰，鄭星航，包迅格，張銳峰，鄭妮，陳璇瑋，伍星宇，
申請(專利權)人：國網浙江省電力有限公司信息通信分公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。