【技術實現步驟摘要】
本專利技術屬于物聯網，具體涉及一種物聯時序數據管理及存儲系統和方法。
技術介紹
1、目前物聯時序數據的來源場景主要為物聯網設備的不定時上報，對于在物聯網設備上報過程中產生海量的時序數據，有可能因為設備問題存在著空數據、錯誤數據、重復數據等問題，在業務系統后續對上報數據做降采樣等計算時，容易出現數據計算錯誤。對于設備上報的海量時序數據與日志數據，需要采用高可用、寫多讀少的數據庫或其他技術手段對數據進行接收、存儲及壓縮，以降低數據的存儲成本。
2、現有物聯時序數據的管理和存儲技術方案，對空數據一般采用數據補齊操作。數據存儲方面一般采用分布式存儲技術，例如使用hadoop、cassandra、influxdb或nosql等數據技術來存儲時序數據，且一般將所有數據全部接收，進行存儲，為后續業務所使用。
3、當前物聯網時序數據量大、管理復雜，存儲成本高。現有系統上報的時序數據，存在數據缺失、數據重復等問題，或存儲了經過聚合后就無用的原始數據。
4、第一，現有技術對于空數據采用向前補齊或向后補齊或隨機補齊的方式，對所有元數據來說補齊的數據準確度不高。
5、第二，現有技術一般采用將設備上報數據與其他日志數據寫入同一數據庫集群的方法，這種方法的缺點是單個集群的資源配置上限要求很高，需要永久存儲的數據和需要定期刪除的數據解耦性不好，不易于操作。
技術實現思路
1、本專利技術的目的在于克服現有技術對于空數據采用向前補齊或向后補齊或隨機補齊的方式，對所有元
2、為了實現上述目的，本專利技術提出了一種物聯時序數據管理及存儲系統，所述系統包括物聯網平臺、設備類型庫、永久性數據集群和可刪除數據集群；其中，
3、物聯網平臺，用于接收物聯網設備上報的設備屬性數據，從設備類型庫查詢設備屬性數據的類型，根據類型對數據進行處理，最后存入永久性數據集群或可刪除數據集群；
4、設備類型庫，用于存儲物聯網設備id和類型的對應關系；
5、永久性數據集群，用于保存需要長久留存的數據；
6、可刪除數據集群，用于保存只需短期保存的數據。
7、作為上述系統的一種改進，所述永久性數據集群保存的數據為動態屬性數據；所述動態屬性數據是反映物聯網設備運行情況的數據。
8、作為上述系統的一種改進，所述永久性數據集群還用于對有降采樣需求的源數據設置ttl，經過降采樣后，定期刪除過期數據。
9、作為上述系統的一種改進，所述可刪除數據集群保存的數據為非維護使用的數據；所述非維護使用的數據為與物聯網設備功能無關的臨時數據，包括日志數據、監控數據和設備操作數據。
10、作為上述系統的一種改進，所述可刪除數據集群還用于對非維護使用的數據設置ttl，定期刪除過期數據。
11、作為上述系統的一種改進，所述系統還包括：網關，用于接收物聯網設備上報的數據，寫入emq集群，供物聯網平臺讀取。
12、本申請還提供一種物聯時序數據管理及存儲方法，基于上述方法實現，所述方法包括：
13、步驟s1：物聯網平臺接收物聯網設備上報的設備屬性數據，從設備類型庫中查詢到設備屬性數據的類型；
14、步驟s2：物聯網平臺根據設備屬性數據的類型對數據進行處理；
15、步驟s3：物聯網平臺將處理后的數據存入永久性數據集群或可刪除數據集群。
16、作為上述方法的一種改進，所述方法還包括：
17、步驟s4a：永久性數據集群對需要降采樣的源數據設置ttl策略，經過降采樣后，定期刪除過期數據。
18、作為上述方法的一種改進，所述方法還包括：
19、步驟s4b：可刪除數據集群對非維護使用的數據設置ttl策略，定期刪除過期數據。
20、作為上述方法的一種改進，所述方法在步驟s1之前還包括：
21、網關接收物聯網設備的上報數據，寫入emq集群。
22、與現有技術相比，本專利技術的優勢在于：
23、本專利技術在對臟數據的處理上，通過對不同設備類型上報的數據進行不同的數據處理操作，可以提升補齊數據的準確性，降低丟棄數據的可能，進而提高后續數據展示或者數據降采樣的準確性。在數據存儲方面采用時序數據庫進行數據存儲，并對上報數據進行劃分，將純設備屬性數據和其他數據進行雙集群寫入。對不同維度不同功能的數據設置不同ttl(time?to?live數據保存時間)，減少數據存儲成本，提高數據讀取效率。
本文檔來自技高網...【技術保護點】
1.一種物聯時序數據管理及存儲系統，其特征在于，所述系統包括物聯網平臺、設備類型庫、永久性數據集群和可刪除數據集群；其中，
2.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述永久性數據集群保存的數據為動態屬性數據；所述動態屬性數據是反映物聯網設備運行情況的數據。
3.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述永久性數據集群還用于對有降采樣需求的源數據設置TTL，經過降采樣后，定期刪除過期數據。
4.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述可刪除數據集群保存的數據為非維護使用的數據；所述非維護使用的數據為與物聯網設備功能無關的臨時數據，包括日志數據、監控數據和設備操作數據。
5.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述可刪除數據集群還用于對非維護使用的數據設置TTL，定期刪除過期數據。
6.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述系統還包括：網關，用于接收物聯網設備上報的數據，寫入EMQ集群，供物聯網平臺讀取。<...
【技術特征摘要】
1.一種物聯時序數據管理及存儲系統，其特征在于，所述系統包括物聯網平臺、設備類型庫、永久性數據集群和可刪除數據集群；其中，
2.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述永久性數據集群保存的數據為動態屬性數據；所述動態屬性數據是反映物聯網設備運行情況的數據。
3.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述永久性數據集群還用于對有降采樣需求的源數據設置ttl，經過降采樣后，定期刪除過期數據。
4.根據權利要求1所述的物聯時序數據管理及存儲系統，其特征在于，所述可刪除數據集群保存的數據為非維護使用的數據；所述非維護使用的數據為與物聯網設備功能無關的臨時數據，包括日志數據、監控數據和設備操作數據。
5....
【專利技術屬性】
技術研發人員：田偉強，門艷嬌，趙賀，周卓宏，阿崇廣，楊波，
申請(專利權)人：國家電投集團數字科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。