本申請涉及數據融合領域，尤其涉及基于水庫多源數據的數據融合方法及系統。方法包括：對采集頻率不同的傳感器數據進行粗對齊得到粗對齊數據；根據粗對齊數據訓練深度學習模型，得到預訓練的細對齊時間模型；設置初始偏移量，將疊加初始偏移量的粗對齊數據輸入到分支網絡得到特征向量，堆疊特征向量得到二維矩陣；將二維矩陣輸入到預訓練的細對齊時間模型中，進行模型二次訓練，取最后一次訓練結果中的偏移量參數值作為最優偏移量；將最優偏移量疊加到粗對齊數據完成數據糾正，使傳感器數據的時間戳對齊，將糾正后的數據通過卡爾曼濾波器進行數據融合得到融合后的多源數據。本申請具有提高融合數據精度的效果。
【技術實現步驟摘要】
本申請涉及數據融合領域，尤其涉及基于水庫多源數據的數據融合方法及系統。
技術介紹
1、隨著水庫管理系統的復雜性不斷增加，各類傳感器在水庫中被應用，如水位傳感器、流量傳感器、水質監測儀、氣象站等。這些傳感器網絡構成了自動化監測系統的基石，它們通過高精度傳感器實時收集水庫的水位、流速、水質等關鍵數據。例如，超聲波水位計的測量精度高達±0.2cm，確保了數據的準確性和可靠性。同時，結合gps定位技術，能夠實現對水庫各個區域的全面覆蓋和實時監測。
2、傳感器數據的融合是水庫管理中的關鍵環節，常用方法之一是卡爾曼濾波算法。卡爾曼濾波器是一種狀態濾波器，它通過貝葉斯原理不斷調整濾波器增益矩陣，以減小隨機干擾，使估計的系統狀態趨近于真實狀態。在水庫管理中，卡爾曼濾波器可以幫助融合來自不同傳感器的數據，得到一個更加準確的狀態估計。如授權公告號為cn118709123b的專利文件流域水生態產品時空動態模擬評估方法，公開了確定研究區域并獲取多源數據，預處理多源數據，形成預處理數據集并融合，基于融合后的預處理數據集，針對研究區域構建流域的時空動態圖和水文水生態模擬模型，計算時空動態圖的時空關聯性，形成時空關聯矩陣。
3、但不同的傳感器存在異步采樣、數據頻率不一致且受噪聲影響，導致在利用卡爾曼濾波進行水庫傳感器數據融合時，數據的精度低，難以直接應用于水庫的實時監控和預測任務。
技術實現思路
1、為了解決融合數據精度低的問題，本申請提供基于水庫多源數據的數據融合方法及系統。
<
p>2、第一方面，本申請提供基于水庫多源數據的數據融合方法，采用如下的技術方案：3、基于水庫多源數據的數據融合方法，包括步驟：對采集頻率不同的傳感器數據進行粗對齊得到粗對齊數據；將粗對齊數據輸入到深度學習模型中，進行模型一次訓練，損失函數為均方差損失函數，訓練結束得到預訓練的細對齊時間模型；設置初始偏移量，將疊加初始偏移量的粗對齊數據輸入到分支網絡得到特征向量，堆疊特征向量得到二維矩陣，二維矩陣中行的數量表示傳感器的個數，列的數量表示每個傳感器特征向量的長度；
4、將二維矩陣輸入到預訓練的細對齊時間模型中，進行模型二次訓練，訓練結束后取最后一次訓練結果中的偏移量參數值作為最優偏移量；其中，二次模型訓練的損失函數為：，為損失函數，表示模型輸出值，表示平均值函數，表示經過卡爾曼濾波器處理的實測數據序列，表示經過卡爾曼濾波器處理的預測數據序列，表示輸出預測值；將最優偏移量疊加到粗對齊數據完成數據糾正，使傳感器數據的時間戳對齊，將糾正后的數據通過卡爾曼濾波器進行數據融合得到融合后的多源數據。
5、有益效果為：通過粗對齊對采集時間補齊，通過細對齊糾正數據的偏移問題。以通過時間配準實現多模態傳感器數據的時空同步，進而通過卡爾曼濾波進行數據融合和動態狀態估計，提高水庫水文、水質和生態系統的監測精度及預測能力。
6、可選的，在卡爾曼濾波器處理的實測數據序列以及預測數據序列時：更新初始協方差矩陣得到最優協方差矩陣；使用最優協方差矩陣進行卡爾曼濾波器的數據融合。
7、有益效果為：進行卡爾曼濾波融合時，需要計算協方差矩陣，因為卡爾曼濾波會使得卡爾曼濾波的估計結果更加偏向于小誤差的數據，協方差矩陣更能夠反映不同類型傳感器數據之間的線性關系，進而在時間對齊時，越呈現為正相關的數據其相關性應該進一步的增大，因為數據的相關性越強，同一時刻的變化量越一致，但是不同傳感器之間的波動關系并不一致，進而如果直接采用方差進行傳感器數據一致性評估是不行的，所以使用優化后的協方差矩陣進行卡爾曼濾波器的數據融合。
8、可選的，更新協方差矩陣的方法包括步驟：歸一化傳感器數據，計算相鄰時間點之間的數據差值并構建差值序列；根據任意兩個傳感器對應的差值序列構建二維直方圖；在二維直方圖的數據統計過程中，當滿足均方差損失函數值小于預設閾值時，計算二維直方圖的各數據點的累加值得到頻次，將平均頻次與所有頻次的比值作為更新因子更新協方差矩陣；最優協方差矩陣的表達式為：，其中，表示最優協方差矩陣，表示更新因子，表示初始協方差矩陣。
9、有益效果為：平均頻次與所有頻次的比值反映了不同傳感器之間的波動一致性特征，根據波動一致性特征進行協方差優化，使得在通過卡爾曼濾波獲取更加準確的傳感器數據時能夠是時間同步的，以保證特征的明顯性，有利于水庫監測。
10、可選的，水文數據和水質數據使用神經網絡提取時序特征以得到特征向量；氣象數據使用循環神經網絡提取時序特征以得到特征向量；地形地貌數據以高光譜圖像為輸入，使用卷積神經網絡提取空間特征并展平得到特征向量。
11、有益效果為：粗對齊后的傳感器數據通過不同的分支網絡輸入，經過預處理得到長度一致的一維特征向量。
12、可選的，歸一化傳感器數據中，對于圖像數據，將圖像數據轉化為灰度圖像，對灰度圖像的灰度值進行歸一化。
13、可選的，對采集頻率不同的傳感器數據進行粗對齊，包括：使用所有傳感器在采集數據時的最高采集頻率作為時間基準，對其他采集數據進行插值處理以補齊數據。
14、有益效果為：獲取所有傳感器在采集數據時的最高采集頻率，根據最高采集頻率構建采集數據序列，得到序列中任一傳感器數據對應的時間戳，其他傳感器可能并未采集到對應的數據，以補齊數據。
15、可選的，插值處理的方法為線性插值法、樣條插值法或分段常數插值法。
16、第二方面，本申請提供一種基于水庫多源數據的數據融合系統，采用如下的技術方案：
17、基于水庫多源數據的數據融合系統，包括：處理器和存儲器，所述存儲器存儲有計算機程序指令，當所述計算機程序指令被所述處理器執行時實現根據上述的基于水庫多源數據的數據融合方法。
18、有益效果為：將上述的基于水庫多源數據的數據融合方法生成計算機程序，并存儲于存儲器中，以被處理器加載并執行，從而，根據存儲器及處理器制作系統，方便使用。
19、本申請具有以下技術效果：
20、1、通過transformer對異步數據進行時間對齊，結合自適應卡爾曼濾波算法與分層方法進行數據融合，解決了時間異步的技術問題的同時解決了傳感器異步采樣、數據頻率不一致且受噪聲影響等場景問題，并提高了水庫水文、水質和生態系統的監測精度及預測能力。
21、2、通過優化的協方差矩陣和改進的損失函數，可以使得時間對齊網絡能更加準確地融合多源數據并進行有效的多源數據融合，從而提高水庫數據預測精度。
本文檔來自技高網...
【技術保護點】
1.基于水庫多源數據的數據融合方法，其特征在于，包括步驟：
2.根據權利要求1所述的基于水庫多源數據的數據融合方法，其特征在于，在卡爾曼濾波器處理的實測數據序列以及預測數據序列時：更新初始協方差矩陣得到最優協方差矩陣；使用最優協方差矩陣進行卡爾曼濾波器的數據融合。
3.根據權利要求2所述的基于水庫多源數據的數據融合方法，其特征在于，更新協方差矩陣的方法包括步驟：
4.根據權利要求3所述的基于水庫多源數據的數據融合方法，其特征在于：水文數據和水質數據使用神經網絡提取時序特征以得到特征向量；氣象數據使用循環神經網絡提取時序特征以得到特征向量；地形地貌數據以高光譜圖像為輸入，使用卷積神經網絡提取空間特征并展平得到特征向量。
5.根據權利要求4所述的基于水庫多源數據的數據融合方法，其特征在于，歸一化傳感器數據中，對于圖像數據，將圖像數據轉化為灰度圖像，對灰度圖像的灰度值進行歸一化。
6.根據權利要求1所述的基于水庫多源數據的數據融合方法，其特征在于，對采集頻率不同的傳感器數據進行粗對齊，包括：使用所有傳感器在采集數據時的最高采集頻率作為時間基準，對其他采集數據進行插值處理以補齊數據。
7.根據權利要求6所述的基于水庫多源數據的數據融合方法，其特征在于，插值處理的方法為線性插值法、樣條插值法或分段常數插值法。
8.基于水庫多源數據的數據融合系統，其特征在于，包括：處理器和存儲器，所述存儲器存儲有計算機程序指令，當所述計算機程序指令被所述處理器執行時實現根據權利要求1-7任一項所述的基于水庫多源數據的數據融合方法。
...
【技術特征摘要】
1.基于水庫多源數據的數據融合方法，其特征在于，包括步驟：
2.根據權利要求1所述的基于水庫多源數據的數據融合方法，其特征在于，在卡爾曼濾波器處理的實測數據序列以及預測數據序列時：更新初始協方差矩陣得到最優協方差矩陣；使用最優協方差矩陣進行卡爾曼濾波器的數據融合。
3.根據權利要求2所述的基于水庫多源數據的數據融合方法，其特征在于，更新協方差矩陣的方法包括步驟：
4.根據權利要求3所述的基于水庫多源數據的數據融合方法，其特征在于：水文數據和水質數據使用神經網絡提取時序特征以得到特征向量；氣象數據使用循環神經網絡提取時序特征以得到特征向量；地形地貌數據以高光譜圖像為輸入，使用卷積神經網絡提取空間特征并展平得到特征向量。
5.根據權利要求4所述的基于水...
【專利技術屬性】
技術研發人員：周保康，熊驥，李超，童鐘，王治國，劉思飔，
申請(專利權)人：湖北省水利水電科學研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。