【技術實現(xiàn)步驟摘要】
本申請涉及水質(zhì)預警，尤其涉及基于機器學習和問答模型的水質(zhì)預警與決策方法及裝置。
技術介紹
1、現(xiàn)有的水質(zhì)預警和預測模型主要依賴于傳統(tǒng)監(jiān)測數(shù)據(jù)和數(shù)學統(tǒng)計方法，以時間序列分析、回歸分析等方式為核心，對水質(zhì)參數(shù)進行趨勢預測和異常檢測。這些模型通常根據(jù)歷史監(jiān)測數(shù)據(jù)，建立數(shù)學模型來預測水體的未來狀態(tài)，通過設置閾值來判斷是否觸發(fā)預警信號。
2、在操作上，模型首先需要收集和處理水質(zhì)監(jiān)測數(shù)據(jù)，包括ph值、溶解氧、濁度、有機物含量等關鍵指標。然后，利用統(tǒng)計或機器學習方法對這些數(shù)據(jù)進行趨勢分析和模式識別，以期在污染事件發(fā)生前發(fā)出預警。
3、盡管傳統(tǒng)模型能夠有效預測和警報水質(zhì)問題，但通過簡單固定的閾值設置通常缺乏足夠的靈活性和適應性，難以應對非線性、非平穩(wěn)的水質(zhì)變化過程對水質(zhì)預警的挑戰(zhàn)，也往往忽略了水體系統(tǒng)內(nèi)部的復雜相互作用和外部環(huán)境因素的影響。此外，這些模型在預測精度和預警時效性方面仍存在較大的提升空間，特別是在面對突發(fā)水污染事件時，往往難以提供及時有效的決策支持。
4、當前水質(zhì)智能監(jiān)測主要采用以下方法：(1)利用物聯(lián)網(wǎng)技術實現(xiàn)對水質(zhì)監(jiān)測點的實時數(shù)據(jù)采集，包括ph值、溶解氧、濁度等關鍵指標，再通過規(guī)范標準設定閾值，超過閾值自動報警；(2)應用機器學習算法對收集到的數(shù)據(jù)進行深度分析，通過模型預測水質(zhì)變化趨勢，及時發(fā)現(xiàn)異常波動并觸發(fā)預警機制。
5、此外，現(xiàn)有的決策輔助方法通常是基于關鍵詞進行檢索，存在諸多局限，比如無法理解知識信息、缺乏動態(tài)交互、缺少對文本整體的理解等。
6、當前水質(zhì)污染決策輔
技術實現(xiàn)思路
1、本申請旨在至少在一定程度上解決相關技術中的技術問題之一。
2、為此，本申請的第一個目的在于提出一種基于機器學習和問答模型的水質(zhì)預警與決策方法，實現(xiàn)了水質(zhì)預警與決策。
3、本申請的第二個目的在于提出一種基于機器學習和問答模型的水質(zhì)預警與決策裝置。
4、為達上述目的，本申請第一方面實施例提出了一種基于機器學習和問答模型的水質(zhì)預警與決策方法，包括：
5、獲取水質(zhì)監(jiān)測數(shù)據(jù)和水質(zhì)知識文本數(shù)據(jù)，并對獲取的數(shù)據(jù)進行預處理，得到監(jiān)測數(shù)據(jù)集和文本數(shù)據(jù)集；
6、使用監(jiān)測數(shù)據(jù)集構(gòu)建水質(zhì)預測模型，并通過水質(zhì)預測模型預測下一時段的監(jiān)測數(shù)據(jù)；
7、使用監(jiān)測數(shù)據(jù)集，采用隔離森林算法，構(gòu)建異常值檢測模型，將下一時段的監(jiān)測數(shù)據(jù)輸入異常值檢測模型中，輸出異常得分；
8、基于異常得分進行水質(zhì)預警；
9、使用文本數(shù)據(jù)集構(gòu)建問答模型，將用戶問題輸入問答模型，輸出問答結(jié)果。
10、本申請實施例的基于機器學習和問答模型的水質(zhì)預警與決策方法，通過對包含水質(zhì)時序數(shù)據(jù)、空間數(shù)據(jù)、文本數(shù)據(jù)在內(nèi)的多模態(tài)數(shù)據(jù)預處理，利用arx回歸模型和隔離森林算法，構(gòu)建綜合預測預警體系，實現(xiàn)全面準確的報警，再通過自然語言處理技術搭建問答模型，為預警模型添加了額外的決策層，一旦預警模型給出警報，智能問答模型自動為決策者以問答形式提供相關水質(zhì)污染問題知識，對提高決策的科學性、智能性和用戶友好性有重要意義。
11、可選地，在本申請的一個實施例中，對水質(zhì)監(jiān)測數(shù)據(jù)進行預處理，包括：
12、對水質(zhì)監(jiān)測數(shù)據(jù)進行清洗，將不重要且缺失值大于閾值的數(shù)據(jù)刪除，并對缺失值小于閾值或重要的數(shù)據(jù)使用填補方法補全；
13、對清洗后的數(shù)據(jù)中的異常數(shù)據(jù)進行人工標注，并對標注的數(shù)據(jù)進行檢查或刪除，確定數(shù)據(jù)真實；
14、對數(shù)據(jù)進行標準化；
15、對水質(zhì)知識文本數(shù)據(jù)進行預處理，得到文本數(shù)據(jù)集，包括：
16、對文本知識數(shù)據(jù)進行分詞，將其中的句子分解成單獨的詞匯或短語；
17、對文本知識數(shù)據(jù)進行清洗，去除無用數(shù)據(jù)，得到水質(zhì)文本數(shù)據(jù)庫；
18、通過人工標注從水質(zhì)文本知識庫中構(gòu)建問答對，其中，問答對包括問題和答案；
19、將水質(zhì)文本知識庫和問答對組合成文本數(shù)據(jù)集，使每個問答與對應的知識庫條目一一對應。
20、可選地，在本申請的一個實施例中，水質(zhì)預測模型為arx回歸模型，使用監(jiān)測數(shù)據(jù)集構(gòu)建水質(zhì)預測模型，包括：
21、將監(jiān)測數(shù)據(jù)集根據(jù)時段進行劃分，確定水質(zhì)預測模型的輸入時段和預測時段；
22、基于劃分后的輸入時段的數(shù)據(jù)和預測時段的數(shù)據(jù)對arx回歸模型進行訓練，在訓練時將輸入時段的數(shù)據(jù)輸入arx回歸模型中，對預測時段的監(jiān)測數(shù)據(jù)進行預測，在訓練時利用利用貝葉斯信息準則確定arx回歸模型的階數(shù)，通過訓練不斷對arx回歸模型的階數(shù)進行調(diào)整，使其達到最佳階數(shù)，得到水質(zhì)預測模型的最佳參數(shù)。
23、可選地，在本申請的一個實施例中，通過arx回歸模型對下一時段的監(jiān)測數(shù)據(jù)進行預測，表示為：
24、yt＝a1yt-1+a2yt-2+apyt-p+bxt+∈t
25、其中，yt為t時刻的監(jiān)測數(shù)據(jù)，yt-1為t-1時刻的監(jiān)測數(shù)據(jù)，ap是自回歸系數(shù)，xt是外生變量，a1、a2、b是系數(shù)；
26、利用貝葉斯信息準則確定arx回歸模型的階數(shù)，表示為：
27、
28、其中，是估計模型m的似然函數(shù)最大值，是使似然函數(shù)最大化的參數(shù)值，x是監(jiān)測數(shù)據(jù)，n是監(jiān)測數(shù)據(jù)中數(shù)據(jù)點的個數(shù)，k是回歸系數(shù)的個數(shù)，bic最小時，p是arx回歸模型的最佳階數(shù)。
29、可選地，在本申請的一個實施例中，使用監(jiān)測數(shù)據(jù)集，采用隔離森林算法，構(gòu)建異常值檢測模型，包括：
30、隨機從監(jiān)測數(shù)據(jù)集中選擇子樣本，構(gòu)建隔離樹，每棵樹通過隨機選擇遞歸地劃分數(shù)據(jù)，直到達到設定的樹高度限制；
31、調(diào)整隔離樹的參數(shù)，使模型異常檢測性能最佳，得到異常檢測隔離森林模型；
32、將監(jiān)測數(shù)據(jù)輸入異常檢測隔離森林模型，輸出異常得分，包括：
33、使用異常檢測隔離森林模型對監(jiān)測數(shù)據(jù)集中任一時段的樣本進行評估，計算每個樣本在每棵隔離樹中的平均路徑長度；
34、通過每個樣本在每棵隔離樹中的平均路徑長度計算每個樣本的異常得分。
35、可選地，在本申請的一個實施例中，構(gòu)建t棵隔離樹，表示為：
36、iforest＝{t1,2,…,t}
37、
38、其中，l為樹高度限制，j為子樣本大小；
39、每個樣本在每棵隔離樹中的平均路徑長度為：
40、
41、其中，t是樹的棵數(shù)，ht(x)是路徑長度；
42、樣本x的異常得分表示為：
43、
44、其中，c(j)為基于子樣本的二叉搜索樹的平均路徑長度，c(j)表示為：
本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于機器學習和問答模型的水質(zhì)預警與決策方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，對水質(zhì)監(jiān)測數(shù)據(jù)進行預處理，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述水質(zhì)預測模型為ARX回歸模型，使用監(jiān)測數(shù)據(jù)集構(gòu)建水質(zhì)預測模型，包括：
4.如權(quán)利要求3所述的方法，其特征在于，通過ARX回歸模型對下一時段的監(jiān)測數(shù)據(jù)進行預測，表示為：
5.如權(quán)利要求1所述的方法，其特征在于，所述使用監(jiān)測數(shù)據(jù)集，采用隔離森林算法，構(gòu)建異常值檢測模型，包括：
6.如權(quán)利要求5所述的方法，其特征在于，構(gòu)建t棵隔離樹，表示為：
7.如權(quán)利要求6所述的方法，其特征在于，基于異常得分進行水質(zhì)預警，包括：
8.如權(quán)利要求2所述的方法，其特征在于，所述使用所述文本數(shù)據(jù)集構(gòu)建問答模型，包括：
9.如權(quán)利要求8所述的方法，其特征在于，問題向量表示為：
10.一種基于機器學習和問答模型的水質(zhì)預警與決策裝置，其特征在于，包括：
【技術特征摘要】
1.一種基于機器學習和問答模型的水質(zhì)預警與決策方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，對水質(zhì)監(jiān)測數(shù)據(jù)進行預處理，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述水質(zhì)預測模型為arx回歸模型，使用監(jiān)測數(shù)據(jù)集構(gòu)建水質(zhì)預測模型，包括：
4.如權(quán)利要求3所述的方法，其特征在于，通過arx回歸模型對下一時段的監(jiān)測數(shù)據(jù)進行預測，表示為：
5.如權(quán)利要求1所述的方法，其特征在于，所述使用監(jiān)測數(shù)據(jù)集...
【專利技術屬性】
技術研發(fā)人員：劉輝，李韡，姜佩奇，朱曉斌，曾欣，
申請(專利權(quán))人：水利部水利水電規(guī)劃設計總院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。