【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種物聯網數據處理方法。
技術介紹
1、隨著物聯網（iot）技術的飛速發展，iot傳感器在智能工業、智能電網、智能交通、環境監測等多個領域得到了廣泛應用。這些傳感器不斷產生海量數據，這些數據不僅是系統運行狀態的重要反映，也是進行智能決策和優化的基礎。然而，由于物聯網環境的復雜性和不確定性，傳感器數據中往往包含大量的噪聲、異常值以及冗余信息，這些問題嚴重影響了數據的質量，進而影響了基于這些數據進行的決策和控制的準確性。
2、在現有的物聯網數據處理方法中，通常采用靜態閾值來判斷數據是否異常。然而，靜態閾值無法適應物聯網環境中數據的動態變化特性，特別是在復雜多變的工業或環境場景中，數據的波動性和不確定性使得靜態閾值方法難以有效識別異常數據點。此外，傳統的數據處理方法往往缺乏對數據內在結構和特性的深入理解，導致在處理海量、多態、動態的物聯網數據時效率低下，且難以保證數據的準確性和可靠性。
3、因此，有必要提供一種物聯網數據處理方法解決上述技術問題。
技術實現思路
1、為解決上述技術問題，本專利技術提供一種物聯網數據處理方法，基于動態閾值篩選出異常數據點，并進行異常數據清洗，從而顯著提高物聯網數據的質量和可靠性。
2、本專利技術提供的一種物聯網數據處理方法，所述處理方法包括以下步驟：
3、基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，其中，所述初始閾值用于判斷所述歷史數據點集中的歷史數據點是否異常；
4、獲取所述iot傳感器的實時數據點并輸入所述編解碼模型進行數據重構，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值；
5、利用滑動窗口更新機制將所述重構誤差按時間順序填入預定義時間長度的預設滑動窗口內；
6、基于所述預設滑動窗口內所有重構誤差的重構標準差和重構均值對所述初始閾值進行更新，得到動態閾值；
7、基于所述動態閾值對每個實時數據點對應的重構誤差進行篩選，得到異常數據點，并對所述異常數據點進行清洗。
8、優選的，所述基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，包括：
9、對所述歷史數據點集進行標準化處理，得到訓練數據；
10、對所述訓練數據進行特征提取，得到特征集；
11、基于所述特征集進行模型訓練，得到編解碼模型，其中，所述編解碼模型包括用于進行數據低維表示的編碼器和用于對低維表示進行重構的解碼器。
12、優選的，所述基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，還包括：
13、在所述編解碼模型的構建過程中，同時獲取由多個包含初始標準差和初始均值的歷史重構誤差組合的歷史重構誤差集合，并根據所述初始標準差和初始均值計算初始閾值，其中，所述初始閾值的計算公式為：
14、，其中，為初始閾值，為初始均值，為初始標準差，為預定義常數。
15、優選的，所述獲取所述iot傳感器的實時數據點并輸入所述編解碼模型進行數據重構，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值，包括：
16、讀取所述iot傳感器輸出的實時數據點并進行標準化處理；
17、通過所述編解碼模型的編碼器對標準化處理后的實時數據點進行編碼，得到實時數據點的低維表示；
18、通過所述編解碼模型的解碼器對實時數據點的低維表示進行重構，得到重構數據點；
19、基于歐幾里得距離對實時數據點與重構數據點間的差異進行度量，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值。
20、優選的，所述利用滑動窗口更新機制將所述重構誤差按時間順序填入預定義時間長度的預設滑動窗口內，包括：
21、通過時間戳排序對重構誤差進行組織，得到按時間順序排列的重構誤差列表；
22、將按時間順序排列的重構誤差列表初步填充至預設滑動窗口內，得到包含預設數量的重構誤差的預設滑動窗口；
23、基于滑動窗口更新機制對初步填充后的預設滑動窗口內的重構誤差進行動態更新，以保持預設滑動窗口內的重構誤差為最新的。
24、優選的，所述基于所述預設滑動窗口內所有重構誤差的重構標準差和重構均值對所述初始閾值進行更新，得到動態閾值，包括：
25、將所述預設滑動窗口內所有重構誤差的重構標準差和重構均值加入至所述歷史重構誤差集合中；
26、通過所述歷史重構誤差集合中所有初始標準差和初始均值，以及所述預設滑動窗口內所有重構誤差的重構標準差和重構均值，計算得到實時均值和實時標準差，其中，所述實時均值的計算公式為：
27、，其中，實時均值，和分別為初始均值和重構均值，和分別為初始均值的第一權重和重構均值的第二權重；
28、所述實時標準差的計算公式為：
29、，其中，和分別為歷史數據點和預設滑動窗口內實時數據點的數量，和分別為初始標準差和重構標準差；
30、基于所述實時標準差和實時均值計算得到動態閾值，其中，所述動態閾值的計算公式為：
31、，其中，為動態閾值，為實時均值，為實時標準差，為預定義常數。
32、優選的，所述第一權重和第二權重的數值分別為0.3和0.7。
33、優選的，所述基于所述動態閾值對所述重構誤差集中每個實時數據點的重構誤差進行篩選，得到異常數據點，并對所述異常數據點進行清洗，包括：
34、將所述動態閾值與所述實時數據點的重構誤差進行比較，若重構誤差超過動態閾值，則該重構誤差對應的實時數據點標識為異常數據點，并去除異常數據點。
35、與相關技術相比較，本專利技術提供的一種物聯網數據處理方法具有如下有益效果：
36、本專利技術基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，其中，所述初始閾值用于判斷所述歷史數據點集中的歷史數據點是否異常；獲取所述iot傳感器的實時數據點并輸入所述編解碼模型進行數據重構，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值；利用滑動窗口更新機制將所述重構誤差按時間順序填入預定義時間長度的預設滑動窗口內；基于所述預設滑動窗口內所有重構誤差的重構標準差和重構均值對所述初始閾值進行更新，得到動態閾值，本專利技術基于動態閾值進行數據清洗顯著提高了物聯網數據的質量和可靠性。
本文檔來自技高網...【技術保護點】
1.一種物聯網數據處理方法，其特征在于，所述處理方法包括以下步驟：
2.根據權利要求1所述的一種物聯網數據處理方法，其特征在于，所述基于IoT傳感器的歷史數據點集生成編解碼模型并定義初始閾值，包括：
3.根據權利要求2所述的一種物聯網數據處理方法，其特征在于，所述基于IoT傳感器的歷史數據點集生成編解碼模型并定義初始閾值，還包括：
4.根據權利要求3所述的一種物聯網數據處理方法，其特征在于，所述獲取所述IoT傳感器的實時數據點并輸入所述編解碼模型進行數據重構，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值，包括：
5.根據權利要求4所述的一種物聯網數據處理方法，其特征在于，所述利用滑動窗口更新機制將所述重構誤差按時間順序填入預定義時間長度的預設滑動窗口內，包括：
6.根據權利要求5所述的一種物聯網數據處理方法，其特征在于，所述基于所述預設滑動窗口內所有重構誤差的重構標準差和重構均值對所述初始閾值進行更新，得到動態閾值，包括：
7.根據權利要求6所述的一種物聯網數據處理方法，其特征在于，所述第一權
8.根據權利要求7所述的一種物聯網數據處理方法，其特征在于，所述基于所述動態閾值對所述重構誤差集中每個實時數據點的重構誤差進行篩選，得到異常數據點，并對所述異常數據點進行清洗，包括：
...【技術特征摘要】
1.一種物聯網數據處理方法，其特征在于，所述處理方法包括以下步驟：
2.根據權利要求1所述的一種物聯網數據處理方法，其特征在于，所述基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，包括：
3.根據權利要求2所述的一種物聯網數據處理方法，其特征在于，所述基于iot傳感器的歷史數據點集生成編解碼模型并定義初始閾值，還包括：
4.根據權利要求3所述的一種物聯網數據處理方法，其特征在于，所述獲取所述iot傳感器的實時數據點并輸入所述編解碼模型進行數據重構，得到重構誤差，并基于所述重構誤差計算得到重構標準差和重構均值，包括：
5.根據權利要求4所述的一種物聯網...
【專利技術屬性】
技術研發人員：喬海曄，丁犇，臧艷輝，徐獻圣，黃燕，辛少權，連佳生，黃坤蓉，
申請(專利權)人：佛山職業技術學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。