【技術實現步驟摘要】
本專利技術涉及油氣田開發工程領域，尤其涉及一種基于自適應熵深度強化學習的水平分艙產能優化方法。
技術介紹
1、在現代石油開采領域，水平井技術已成為提高低滲透、薄層及復雜構造油藏采收率的關鍵手段。特別是分艙水平井設計，通過在單一井眼中布設多個生產水平段，顯著增加了油藏接觸面積，實現了對復雜油藏結構的有效開發。然而，水平井分艙設計的優化是一項極具挑戰性的任務，涉及到各生產水平段的長度與中心點位置的精準配置，以最大化水平井整體產量。傳統方法中，油藏工程師借助地質模型、油藏模擬軟件以及經驗公式，通過試錯法或基于物理規律的解析方法來確定分艙參數。然而，此類方法往往受限于模型精度、計算資源以及對復雜地質非線性特征的刻畫不足，難以實現全局最優解。此外，油藏動態的不確定性、流體性質的變異性以及井筒與地層間的交互作用等因素，使得固定模式的設計策略難以適應實際生產條件的變化。
2、隨著人工智能技術在油氣行業的廣泛應用，尤其是強化學習方法在復雜決策問題上的卓越表現，為水平井分艙優化提供了新的解決思路。盡管初步嘗試已證明連續強化學習在油藏開發決策中的潛力，但現有的應用仍存在局限性。現有算法對大規模狀態空間的處理效率有待提升，尤其是在面對具有大量分艙可能性的大型油藏時，可能導致收斂速度慢或陷入局部最優，同時現有研究往往忽視了油藏特性的時空異質性，未充分考慮井筒與儲層的動態耦合關系以及流體流動的非均勻特性，這可能影響策略的普適性和穩健性，因此實現水平井分艙采油的智能化優化仍是目前亟待解決的問題。
技術實現思路
1、針對現有的基于模型和經驗的方法在處理復雜非線性問題存在的局限，以及強化學習在處理大規模連續決策、考慮時空異質性及流體非均勻性方面的問題，本專利技術提出一種基于自適應熵深度強化學習的水平分艙產能優化方法，通過智能化地優化水平井分艙的長度和中心點位置，動態適應油藏變化，從而有效提升水平井產量，為復雜油藏的高效開發提供了先進且實用的技術解決方案。
2、為達到上述目的，本專利技術的技術方案是這樣實現的：一種基于自適應熵深度強化學習的水平分艙產能優化方法，包括以下步驟：
3、s1，確定目標油藏開發過程中各個時間步的水平井分艙數量以及油藏邊界和生產水平井分艙的約束條件；
4、s2，初始化自適應熵深度強化學習策略模型；
5、s3，結合生產水平井分艙的約束條件和水平井分艙連續動作空間，策略模型與數值模擬器進行交互，輸入油藏狀態，輸出當前時刻的水平井分艙方案，收集分艙經驗并保存到歷史經驗庫；
6、s4，利用歷史經驗庫中的歷史分艙經驗訓練更新自適應熵策略模型；
7、s5，重復上述步驟，直至自適應熵策略模型收斂并保存自適應熵策略模型，應用自適應熵策略模型，給定油藏狀態，快速輸出序列分艙優化方案。
8、進一步的，步驟s1包括以下步驟：
9、s11，設定開發過程中各個時間步的水平井分艙數量m以及水平井分艙最小間距lδ；
10、s12，根據目標水平井在x方向上的長度l，以及目標油藏在封閉邊界z方向上的邊界與目標水平井之間的間距zw，設定油藏邊界和水平井段不同分艙約束條件，二者分別如公式(1)(2)所示：
11、zh∈[-zw,zw](1)
12、
13、式中，xi和li分別表示第i個分艙的中心位置和長度，zh表示水平井在z方向上的位置。
14、進一步的，步驟s2中，自適應熵深度強化學習策略模型由分艙策略網絡、策略價值度量網絡和目標策略價值度量網絡組成；步驟s2包括以下步驟：
15、s21，分艙策略網絡由φ參數化的神經網絡πφ(at|st)表示，以油藏狀態st為輸入，輸出連續動作at；其中油藏狀態st包含油藏模型當前時間步下井筒中心點壓力和第i段水平井筒中心點處流壓如公式(3)所示，連續動作at包括當前時間步下優化的水平井的分艙中心位置x及長度l，如公式(4)所示：
16、
17、
18、式中，st表示油藏在第t個時間步的狀態；和分別表示在第t個時間步下井筒中心點壓力和第i段水平井筒中心點處流壓；at表示在第t個時間步的連續動作；和分別表示在第t個時間步下的第i個水平井的分艙中心位置及長度；m表示每個時間步分艙數量；
19、s22，策略價值度量網絡由θ參數化的神經網絡qθ(st)表示，以油藏狀態st為輸入，輸出連續動作的q值；目標策略價值度量網絡由參數化的神經網絡表示，以油藏狀態st為輸入，輸出連續動作的目標q值，q表示給定狀態下采取特定動作的預期回報或價值，無量綱；
20、s23，設置折扣因子γ，策略熵因子α，目標熵πφ(at|st)、qθ(st)和α的學習率λφ、λθ和λα，以及一個生產周期的訓練步數nstep，獎勵rt是當前時間步的水平井產量，如公式(5)所示：
21、
22、式中，rt表示第t個時間步的獎勵；qi表示從油層流入水平井筒中第i段的流量，qi由水平井分艙采油油藏井筒耦合模型得到，如公式(6)所示：
23、
24、式中，和分別代表第i段水平井筒中心點和井筒中心點的勢，μ、k、分別代表油藏的粘度、滲透率，pe和pwj分別代表泄油邊界處的壓力和第j段水平井筒中點處的流壓，g表示啟動壓力梯度，re和rw表示泄油半徑和井筒半徑。
25、進一步的，步驟s3包括以下步驟：
26、s31，對連續動作空間進行高斯分布采樣，輸出連續動作at，包括當前時間步下水平井分艙中心位置及長度；
27、s32，判斷at是否滿足步驟s1中設定的分艙約束條件，如果不滿足約束條件，則重復s31，如果滿足約束條件，繼續進行下一步s33；
28、s33，將得到的分艙中心位置及長度應用于油藏模型當中，利用數值模擬器計算t時刻的獎勵rt，并獲取下一時間步的油藏狀態st+1，根據開發要求對水平井不同分艙位置產能設定線性約束條件qi∈[qimin,qimax]，同時設定單個分艙的壓力降約束δpi＜δpmax，同時考慮包括油藏的含水率或地層壓力在內的非線性約束，若滿足約束條件則進行下一步s34，若不滿足約束條件，重復s31；qi表示從油層流入水平井筒中第i段的流量，m3/d；qimin表示水平井第i段對應的流量最小約束，m3/d；qimax表示水平井第i段對應的流量最大約束，m3/d；△pi代表水平井第i段的壓力降，mpa；△pmax表示最大壓力降約束，mpa；
29、s34，收集分艙經驗(st,at,rt,st+1)并保存在歷史經驗庫中。
30、進一步的，步驟s4包括以下步驟：
31、s41，根據歷史經驗庫中的歷史經驗，通過最小化q值損失函數，訓練更新策略價值度量網絡的參數θ，如公式(7)、(8)、(9)所示：
32、
33、
34、θ←θ-λθ▽θjq(θ)(9)
35、式中，表示t本文檔來自技高網...
【技術保護點】
1.一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，步驟S1包括以下步驟：
3.根據權利要求2所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于：步驟S2中，自適應熵深度強化學習策略模型由分艙策略網絡、策略價值度量網絡和目標策略價值度量網絡組成；步驟S2包括以下步驟：
4.根據權利要求3所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，步驟S3包括以下步驟：
5.根據權利要求4所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，步驟S4包括以下步驟：
6.根據權利要求1所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于：步驟S5包括，重復步驟S3和S4，直至自適應熵策略模型收斂，保存訓練后的自適應熵策略模型，應用自適應熵策略模型，給定油藏狀態st′，快速輸出序列分艙優化方案at′～πφ(st′)。
【技術特征摘要】
1.一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于，步驟s1包括以下步驟：
3.根據權利要求2所述的一種基于自適應熵深度強化學習的水平分艙產能優化方法，其特征在于：步驟s2中，自適應熵深度強化學習策略模型由分艙策略網絡、策略價值度量網絡和目標策略價值度量網絡組成；步驟s2包括以下步驟：
4.根據權利要求3所述的一種基于自適...
【專利技術屬性】
技術研發人員：馮高城，魏志勇，萬歡，鄭春峰，陳秋月，李昂，陳維余，關旭東，尹彥君，
申請(專利權)人：中海油能源發展股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。