一種基于強化學習的污水處理控制方法技術

本發明專利技術提供了一種基于強化學習的污水處理控制方法，包括如下步驟：本發明專利技術通過三階段在真實場景中訓練強化學習模型的方式，能有效避免現有的訓練強化學習模型所需要的收集數據、建立虛擬環境的過程，從而有效降低企業在應用強化學習的方式進行自動控制時所需的成本，方便用戶完成從傳統控制倒強化學習控制的過程。

【技術實現步驟摘要】
一種基于強化學習的污水處理控制方法
本專利技術涉及一種基于強化學習的污水處理控制方法。
技術介紹
目前，強化學習在工業控制中的應用逐漸增多，但一般都限于特定的模型，其主要原因在于強化學習的訓練需要環境支持，而在很多污水處理控制方面，完全模擬真實場景的環境所需要的計算量遠遠大于強化學習模型訓練本身所需要的計算量，導致得不償失，而且就目前的企業技術發展而言，原始的數據積累也很成問題。
技術實現思路
為解決上述技術問題，本專利技術提供了一種基于強化學習的污水處理控制方法，該基于強化學習的污水處理控制方法通過三階段在真實場景中訓練強化學習模型的方式，能有效避免現有的訓練強化學習模型所需要的收集數據、建立虛擬環境的過程。本專利技術通過以下技術方案得以實現。本專利技術提供的一種基于強化學習的污水處理控制方法，包括如下步驟：1).模型訓練：在現場控制器控制的過程中，獲取現場控制器的輸入信號及輸出指令，并根據獲取的輸入信號及N個時序前的輸出指令對環境模型建模；2).策略調整：在現場控制器控制的過程中，獲取現場控制器的輸入信號至環境模型，環境模型輸出作為策略模型的輸入，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令輸出控制；3).介入控制：停止現場控制器，采用環境模型獲取輸入、環境模型輸出作為策略模型的輸入、策略模型輸出指令進行控制。所述對環境模型建模采用RNN算法。所述環境模型輸出為概率值向量。所述步驟2)中，策略模型采用如下方式更新：a.獲取當前環境模型輸出，計算當前環境模型輸出與前一模擬輸出的誤差值；b.根據誤差值更新值函數；c.將當前環境模型輸出代入至值函數中計算當前輸出指令值；d.將當前輸出指令值代入至環境模型中計算當前模擬輸出；e.當前模擬輸出更新至前一模擬輸出，將當前輸出指令發送，然后進入下一時序，等待獲取環境模型輸出。所述步驟2)中，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令采用如下方式：a.獲取現場控制器的輸出指令和策略模型的輸出指令；b.將現場控制器的輸出指令和策略模型的輸出指令中的數值取出為現場控制器輸出指令數值和策略模型輸出指令數值；c.將策略模型輸出指令數值乘以系數N后更新為新的策略模型輸出指令數值；d.將現場控制器輸出指令數值乘以系數(1-N)后更新為新的現場控制器輸出指令數值；e.將新的現場控制器輸出指令數值和新的策略模型輸出指令數值疊加得到輸出指令疊加值；f.將輸出指令疊加值封裝為輸出指令發送指令。所述N為0.1～0.2。所述N初始為0.1，每經過M次將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令的步驟后，N自加0.005直到N為0.2。所述M取值由用戶設定，但限定為10～30。本專利技術的有益效果在于：通過三階段在真實場景中訓練強化學習模型的方式，能有效避免現有的訓練強化學習模型所需要的收集數據、建立虛擬環境的過程，從而有效降低企業在應用強化學習的方式進行自動控制時所需的成本，方便用戶完成從傳統控制倒強化學習控制的過程。附圖說明圖1是本專利技術所應用的污水處理控制系統的連接示意圖。具體實施方式下面進一步描述本專利技術的技術方案，但要求保護的范圍并不局限于所述。本專利技術應用于如圖1所示的一種污水處理控制系統的控制，具體為基于強化學習的污水處理控制方法，包括如下步驟：1).模型訓練：在現場控制器控制的過程中，獲取現場控制器的輸入信號及輸出指令，并根據獲取的輸入信號及N個時序前的輸出指令對環境模型建模；2).策略調整：在現場控制器控制的過程中，獲取現場控制器的輸入信號至環境模型，環境模型輸出作為策略模型的輸入，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令輸出控制；3).介入控制：停止現場控制器，采用環境模型獲取輸入、環境模型輸出作為策略模型的輸入、策略模型輸出指令進行控制。所述對環境模型建模采用RNN算法。所述環境模型輸出為概率值向量。所述步驟2)中，策略模型采用如下方式更新：a.獲取當前環境模型輸出，計算當前環境模型輸出與前一模擬輸出的誤差值；b.根據誤差值更新值函數；c.將當前環境模型輸出代入至值函數中計算當前輸出指令值；d.將當前輸出指令值代入至環境模型中計算當前模擬輸出；e.當前模擬輸出更新至前一模擬輸出，將當前輸出指令發送，然后進入下一時序，等待獲取環境模型輸出。所述步驟2)中，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令采用如下方式：a.獲取現場控制器的輸出指令和策略模型的輸出指令；b.將現場控制器的輸出指令和策略模型的輸出指令中的數值取出為現場控制器輸出指令數值和策略模型輸出指令數值；c.將策略模型輸出指令數值乘以系數N后更新為新的策略模型輸出指令數值；d.將現場控制器輸出指令數值乘以系數(1-N)后更新為新的現場控制器輸出指令數值；e.將新的現場控制器輸出指令數值和新的策略模型輸出指令數值疊加得到輸出指令疊加值；f.將輸出指令疊加值封裝為輸出指令發送指令。所述N為0.1～0.2。所述N初始為0.1，每經過M次將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令的步驟后，N自加0.005直到N為0.2。所述M取值由用戶設定，但限定為10～30。本專利技術實質上是通過三個階段完成強化學習模型對現有的現場控制器的控制權交接，環境模型和策略模型均在強化控制模塊中執行，整體而言，是第一步先通過實時采集現有數據進行建模，極大降低收集數據所需的時間和成本，在環境模型完成后就可以對策略模型建模，但策略模型需要實際交互，因此第二步就是通過適當的交互來訓練策略模型，顯然直接讓策略模型進行操控并不現實，會導致系統嚴重故障，而建立虛擬場景則成本過高，因此采用策略模型在適當比例內直接與真實環境交互是個成本低而又能夠被系統容錯機制接受的方式，當環境模型和策略模型都訓練完成，則強化控制模塊的控制已經成熟并可投入使用，此時進入到第三步完成控制交接即可有效利用強化學習根據環境調整控制策略的優勢，實現適應性更強、準確度更高的污水處理控制。本文檔來自技高網...

【技術保護點】
1.一種基于強化學習的污水處理控制方法，其特征在于：包括如下步驟：1).模型訓練：在現場控制器控制的過程中，獲取現場控制器的輸入信號及輸出指令，并根據獲取的輸入信號及N個時序前的輸出指令對環境模型建模；2).策略調整：在現場控制器控制的過程中，獲取現場控制器的輸入信號至環境模型，環境模型輸出作為策略模型的輸入，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令輸出控制；3).介入控制：停止現場控制器，采用環境模型獲取輸入、環境模型輸出作為策略模型的輸入、策略模型輸出指令進行控制。

【技術特征摘要】
1.一種基于強化學習的污水處理控制方法，其特征在于：包括如下步驟：1).模型訓練：在現場控制器控制的過程中，獲取現場控制器的輸入信號及輸出指令，并根據獲取的輸入信號及N個時序前的輸出指令對環境模型建模；2).策略調整：在現場控制器控制的過程中，獲取現場控制器的輸入信號至環境模型，環境模型輸出作為策略模型的輸入，將現場控制器的輸出指令和策略模型的輸出指令合并為最終輸出指令輸出控制；3).介入控制：停止現場控制器，采用環境模型獲取輸入、環境模型輸出作為策略模型的輸入、策略模型輸出指令進行控制。2.如權利要求1所述的基于強化學習的污水處理控制方法，其特征在于：所述對環境模型建模采用RNN算法。3.如權利要求1所述的基于強化學習的污水處理控制方法，其特征在于：所述環境模型輸出為概率值向量。4.如權利要求1所述的基于強化學習的污水處理控制方法，其特征在于：所述步驟2)中，策略模型采用如下方式更新：a.獲取當前環境模型輸出，計算當前環境模型輸出與前一模擬輸出的誤差值；b.根據誤差值更新值函數；c.將當前環境模型輸出代入至值函數中計算當前輸出指令值；d.將當前輸出指令值代入至環境模型中計算當前模擬輸出；e.當前模擬輸出更新至前一模擬輸出，將...

【專利技術屬性】
技術研發人員：黃孝平，文芳一，黃文哲，
申請(專利權)人：南寧學院，
類型：發明
國別省市：廣西,45