【技術實現步驟摘要】
本專利技術涉及電力運維，尤其是涉及一種基于檢索增強技術的電力系統運行維護方法及系統。
技術介紹
1、隨著人工智能的快速發展，特別是自然語言處理領域中的大語言模型（llm）取得了顯著進展。在物理、化學、醫學等多個行業，均出現了垂域的專家大模型（expert?llm）。這些模型通常通過全參數微調、持續預訓練或參數高效微調等技術手段，在領域專家知識的基礎上，通過特定問答數據集的微調，形成專業化的模型，能夠在相應領域中產生較為準確的回答，以使各個領域根據大模型輸出的結果對應生成相關的運維策略，進而推進電力運維垂直領域的智能化進程。
2、在將大模型應用于電力運維時，由于電力運維數據的特殊性，導致構建的大模型輸出的電力運維結果不準，進而影響后續運維策略的生成準確性，從而影響電力系統的穩定性。
3、由此可見，如何對大模型的訓練過程進行優化，提高大模型輸出的可靠性，已經成為本領域技術人員所要亟待解決的技術問題。
技術實現思路
1、本專利技術提供一種基于檢索增強技術的電力運維大模型構建方法及系統，以解決如何增強大模型訓練過程中的檢索能力和訓練效率，提高大模型輸出內容的準確性和后續維護策略的可靠性。
2、為了解決上述技術問題，本專利技術實施例提供了一種基于檢索增強技術的電力系統運行維護方法，包括：
3、在基于獲取到的電力運維訓練樣本數據對預設大模型進行訓練的過程中，對所述預設大模型的各個層進行權重分析，并根據權重分析結果對所述預設大模型中符合預設條件的層
4、基于曼巴架構的狀態空間模型構建基檢索器主體，并引入柯爾莫哥洛夫-阿諾德網絡對基檢索器主體中的各個層級參數進行優化，得到第一檢索器主體；
5、通過門控專家集成網絡對所述第一檢索器主體進行集成優化，得到第二檢索器主體；
6、在檢索器訓練的過程中，基于所述全參微調大模型輸出的結果構建增強數據集，并根據所述增強數據集對所述第二檢索器主體進行訓練，得到目標檢索器；
7、利用協同過濾算法對所述目標檢索器和所述全參微調大模型進行整合，得到目標運維大模型；
8、在對所述目標電網的電力運維過程中，以所述目標運維大模型輸出的運維結果執行相匹配的運維策略。
9、進一步地，所述對所述預設大模型的各個層進行權重分析，包括：
10、根據所述預設大模型的各個層的權重，利用主成分分析技術分解得到各個層對應的特征值并生成對應的主成分矩陣；
11、基于所述主成分矩陣，通過稀疏子投影技術將各個層的所述權重進行投影；
12、在投影后的空間中，根據所述特征值計算得到各個層的特征重要性得分。
13、進一步地，所述并根據權重分析結果對所述預設大模型中符合預設條件的層進行動態凍結，以得到訓練好的全參微調大模型，包括：
14、分析各個層的所述特征重要性確定優先級順序，以對各個層進行排序，根據排序結果凍結符合預設條件的層并進行迭代更新；
15、在每次執行所述迭代更新的過程中，根據當前計算得到的所述預設大模型中所有層的加權平均范數，重新確定凍結層，以訓練得到所述全參微調大模型。
16、進一步地，所述基于曼巴架構的狀態空間模型構建基檢索器主體，并引入柯爾莫哥洛夫-阿諾德網絡對基檢索器主體中的各個層級參數進行優化，得到第一檢索器主體，包括：
17、在所述曼巴架構下，將各個基層的權重和輸入的所述電力運維訓練樣本數據進行逐層遞歸，構成所述基檢索器主體；所述基檢索器主體的架構由如下公式表示：
18、其中，為所述曼巴架構層的權重矩陣；為第層的輸入；為逐層遞歸計算函數；為所述基檢索器主體的基層架構；
19、所述第一檢索器主體的架構由如下公式表示：
20、
21、其中，為所述柯爾莫哥洛夫-阿諾德網絡層的權重；為用于對所述曼巴架構層的特征進行非線性重構的表達層；為所述第一檢索器主體的架構。
22、進一步地，所述增強數據集的獲取過程，包括：
23、將預先構建的電力運維查詢樣本輸入至所述全參微調大模型中，并通過所述全參微調大模型進行預定義的查詢操作，生成初始增強數據；
24、整合所述初始增強數據進行并分類標注，得到所述增強數據集。
25、進一步地，所述根據所述增強數據集對所述第二檢索器主體進行訓練，得到目標檢索器，包括：
26、根據查詢文本與相關文本之間的匹配度特征，定義將所述增強數據集中的正負樣本對；
27、在預設的所述正負樣本的損失條件下，通過優化器訓練所述第二檢索器主體，得到所述目標檢索器。
28、進一步地，所述在對目標電網的電力運維過程中，以所述目標運維大模型輸出的運維結果執行相匹配的運維策略，包括：
29、響應于外界的電力運維問答指令，控制所述目標運維大模型輸出由電力運維問答知識構成的所述運維結果；
30、執行與所述運維結果相匹配的運維策略。
31、進一步地，所述響應于外界的電力運維問答指令，控制所述目標運維大模型輸出由電力運維問答知識構成的所述運維結果，包括：
32、向所述全參微調大模型中輸入所述電力運維問答指令，生成對應的查詢向量；
33、在所述目標檢索器中，利用所述查詢向量從電力運維標準知識庫中進行知識條目的檢索，得到若干推薦知識集；
34、將所述若干推薦知識集反饋輸入至所述全參微調大模型中，生成符合條件的所述運維結果。
35、進一步地，所述通過門控專家集成網絡對所述第一檢索器主體進行集成優化，得到第二檢索器主體之后，還包括：
36、分別對所述基檢索器主體、所述第一檢索器主體和所述第二檢索器主體的權重進行均勻分布隨機初始化。
37、本專利技術另一實施例提供了一種基于檢索增強技術的電力系統運行維護系統，包括：
38、全參微調大模型訓練模塊，用于在基于獲取到的電力運維訓練樣本數據對預設大模型進行訓練的過程中，對所述預設大模型的各個層進行權重分析，并根據權重分析結果對所述預設大模型中符合預設條件的層進行動態凍結，以得到訓練好的全參微調大模型；
39、一級檢索優化模塊，用于基于曼巴架構的狀態空間模型構建基檢索器主體，并引入柯爾莫哥洛夫-阿諾德網絡對基檢索器主體中的各個層級參數進行優化，得到第一檢索器主體；
40、二級檢索優化模塊，用于通過門控專家集成網絡對所述第一檢索器主體進行集成優化，得到第二檢索器主體；
41、檢索器訓練模塊，用于在檢索器訓練的過程中，基于所述全參微調大模型輸出的結果構建增強數據集，并根據所述增強數據集對所述第二檢索器主體進行訓練，得到目標檢索器；
42、模型整合模塊，用于利用協同過濾算法對所述目標檢索器和所述全參微調大模型進行整合，得到目標運維大模型；
43、運維策略生成模本文檔來自技高網...
【技術保護點】
1.一種基于檢索增強技術的電力系統運行維護方法，其特征在于，包括：
2.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述對所述預設大模型的各個層進行權重分析，包括：
3.如權利要求2所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述并根據權重分析結果對所述預設大模型中符合預設條件的層進行動態凍結，以得到訓練好的全參微調大模型，包括：
4.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述基于曼巴架構的狀態空間模型構建基檢索器主體，并引入柯爾莫哥洛夫-阿諾德網絡對基檢索器主體中的各個層級參數進行優化，得到第一檢索器主體，包括：
5.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述增強數據集的獲取過程，包括：
6.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述根據所述增強數據集對所述第二檢索器主體進行訓練，得到目標檢索器，包括：
7.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在
8.如權利要求7所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述響應于外界的電力運維問答指令，控制所述目標運維大模型輸出由電力運維問答知識構成的所述運維結果，包括：
9.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述通過門控專家集成網絡對所述第一檢索器主體進行集成優化，得到第二檢索器主體之后，還包括：
10.一種基于檢索增強技術的電力系統運行維護系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于檢索增強技術的電力系統運行維護方法，其特征在于，包括：
2.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述對所述預設大模型的各個層進行權重分析，包括：
3.如權利要求2所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述并根據權重分析結果對所述預設大模型中符合預設條件的層進行動態凍結，以得到訓練好的全參微調大模型，包括：
4.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述基于曼巴架構的狀態空間模型構建基檢索器主體，并引入柯爾莫哥洛夫-阿諾德網絡對基檢索器主體中的各個層級參數進行優化，得到第一檢索器主體，包括：
5.如權利要求1所述的基于檢索增強技術的電力系統運行維護方法，其特征在于，所述增強數據集的獲取過程，包括：
6.如權利要...
【專利技術屬性】
技術研發人員：蔡晴，吳慧，張京倫，宋昊旻，包迅格，梅峰，婁佳，方舟，張文正，陶程棟，
申請(專利權)人：國網浙江省電力有限公司信息通信分公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。