【技術實現步驟摘要】
本專利技術屬于輸電線路數字化施工，具體涉及一種輸電線路工程數字化施工方案自動生成方法。
技術介紹
1、電力輸送是現代社會的基礎設施之一，而輸電線路的建設與施工則是電力系統發展的關鍵環節。傳統的輸電線路工程施工方案設計通常依賴于工程師的經驗和規范，存在設計效率低、成本控制難以保證、安全性難以評估等問題。然而，隨著人工智能技術的不斷發展，深度強化學習作為一種能夠通過與環境交互學習最優策略的方法，為輸電線路工程的數字化施工方案生成提供了全新的可能性。
2、文獻《多維信息模型在輸電線路施工方案設計中的應用》(郭婷，張梁，廖爽等.多維信息模型在輸電線路施工方案設計中的應用[j].自動化與儀器儀表，2022(11):194-198.)基于多維信息模型設計了一種輸電線路施工方案，在提高經濟性的同時保證了輸電線路的施工質量。文獻《一種基于強化學習的絞吸挖泥船施工參數智能自主尋優方法研究》(魯嘉俊，楊波，徐婷.一種基于強化學習的絞吸挖泥船施工參數智能自主尋優方法研究[j].中國港灣建設，2022,42(08):71-75.)提出了一種基于強化學習的絞吸式挖泥船施工參數自主尋優方法，利用機器學習的方法尋求疏浚過程的最佳作業參數，實現疏浚過程的自主分析與決策。文獻《輸電線路帶電跨越施工方案輔助決策系統的研發》(陳亦，李曉斌，林光龍等.輸電線路帶電跨越施工方案輔助決策系統的研發[j].通信電源技術，2019,36(03):31-35.)針對現有的輸電線路跨越施工方案輔助決策系統受影響因素權重值的制約無法準確決策出最優跨越施工方案的情況，采用
技術實現思路
1、本專利技術的目的是針對現有技術存在的上述問題，提供一種能夠提升施工效率、確保施工安全和提高工程質量的輸電線路工程數字化施工方案自動生成方法。
2、為實現以上目的，本專利技術的技術方案如下：
3、一種輸電線路工程數字化施工方案自動生成方法，所述自動生成方法包括以下步驟：
4、s1、對輸電線路工程數字化施工方案進行分解，構建輸電線路工程數字化施工方案的自動生成模型；所述自動生成模型包括狀態空間、動作空間、智能體、獎勵函數，所述智能體包括策略網絡和價值網絡，所述策略網絡用于輸出動作概率分布，所述價值網絡用于輸出狀態價值；所述獎勵函數包括效率獎勵、質量獎勵、安全懲罰；
5、s2、利用ppo算法對智能體進行訓練，通過最小化損失函數以優化策略網絡的參數；
6、s3、基于訓練后的自動生成模型得到最優的輸電線路工程數字化施工方案。
7、所述步驟s2包括以下步驟：
8、s21、為智能體建立經驗回放緩沖區；
9、s22、初始化策略網絡的參數；
10、s23、對于每一個訓練周期，初始化狀態，所述智能體與環境交互，根據策略網絡輸出的動作概率分布選擇動作并計算獎勵函數，將當前的狀態、動作、獎勵以及新的狀態存儲到經驗回放緩沖區；利用ppo算法計算當前狀態-動作對的優勢函數和損失函數，使用梯度下降法最小化損失函數以更新策略網絡的參數；
11、s24、重復步驟s23直至損失函數收斂。
12、所述損失函數為動態最大熵策略改進后的損失函數，具體為：
13、
14、上式中，lppo(θ)表示損失函數；為數學期望；πθ(at|st)為策略網絡輸出動作概率分布，表示根據策略參數πθ在狀態st下采取動作at的概率分布，策略參數是指策略網絡的參數；為根據更新前的舊策略參數在狀態st下采取動作at的概率；為在狀態st下采取動作at的優勢函數；clip為裁剪函數；ε為裁剪系數；vθ(st)為價值網絡輸出的狀態值函數，表示在狀態st下遵循策略獲得的期望獎勵；為目標值函數，表示在狀態st下遵循策略執行動作at所獲得的期望回報；h(πθ(·|st))為策略πθ在狀態st下選擇動作的熵值；λv、λh分別為值函數損失系數和熵項系數；rt+k表示當前時間步t到未來時間步k獲得的獎勵；γk為衰減因子，γk∈(0,1)。
15、所述ppo算法為改進ppo算法，具體是指利用余弦退火算法對ppo算法的學習率進行改進，改進后的學習率為：
16、
17、上式中，xt為當前時間步的學習率；為最小學習率；為初始學習率；tmult為退火周期；π為常數。
18、所述獎勵函數具體為：
19、rt＝αe(st,at)+βc(st,at)-δwt；
20、
21、上式中，rt為當前時間步t的獎勵函數；e(st,at)為在狀態st下采取動作at的效率獎勵；c(st,at)為在狀態st下采取動作at的質量獎勵；wt為施工過程中的安全懲罰；α、β、δ均為權重系數，分別代表施工效率、工程質量和施工安全在獎勵函數中的重要程度；wc(st,at)為在給定施工時間內已完成的施工量；wt(st,at)為在給定施工時間內總的施工量；nd(st,at)為檢測到的缺陷數量；nt(st,at)為總的檢測數量；si表示第i個事故的嚴重程度；n為發生的安全事故的數量。
22、在每個訓練周期內計算策略表現指標，并根據策略表現指標動態調整損失函數中的熵項系數；根據以下策略對損失函數中的熵項系數進行動態調整：
23、若策略表現指標在多個周期內沒有顯著提升且波動較大，則增加熵項系數以增加探索性：
24、λh←λh+α；
25、上式中，α為調整步長；
26、若策略表現指標存在顯著提升且波動性較小，則減少熵系數以增加穩定性以增加探索性：
27、λh←λh-α；
28、所述策略表現指標的計算公式為：
29、
30、上式中，ri為第i個回合的獎勵值，表示第i個回合內所有時間步的獎勵總和；m為回合數。
31、所述策略網絡與價值網絡共享一個bi-gru層，通過bi-gru層從輸入數據中提取特征，同時策略網絡與價值網絡各自擁有獨立的全連接層作為輸出層，策略網絡的全連接層采用softmax為激活函數，所述價值網絡的全連接層采用linear為激活函數。
32、所述狀態空間包括施工進度、資源狀況、環境條件、安全風險、施工質量，狀態向量的表達式為：
33、s＝{p,t,ne,nm,w,kh,q}；
34、上式中，p為當前施工進展的百分比，用于反應輸電線路工程的完成情況；t為當前施工階段；ne為可用機械設備的數量；nm為可用施工材料的數量；w為當前天氣狀態；kh為當前存在的安全隱患數量；q為已完成施工工程的質量評估。
35、所述動作空間包括基礎工程建設、安裝本文檔來自技高網...
【技術保護點】
1.一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
2.根據權利要求1所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
3.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
4.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
5.根據權利要求2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
6.根據權利要求3所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
7.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
8.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
9.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
10.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
【技術特征摘要】
1.一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
2.根據權利要求1所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
3.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
4.根據權利要求1或2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
5.根據權利要求2所述的一種輸電線路工程數字化施工方案自動生成方法，其特征在于：
6.根據...
【專利技術屬性】
技術研發人員：張洪，艾福洲，周蠡，陳然，許漢平，蔡杰，賀蘭菲，徐昊天，李呂滿，周英博，孫利平，廖曉紅，熊川羽，李智威，馬莉，喬詩慧，熊一，張趙陽，舒思睿，
申請(專利權)人：國網湖北省電力有限公司經濟技術研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。