【技術實現步驟摘要】
本專利技術涉及車聯網數據處理，尤其涉及一種基于tdengine的車聯網數據處理方法及系統。
技術介紹
1、現有的車聯網技術框架常面臨海量數據處理與實時性要求的挑戰。傳統數據庫系統在處理連續產生的車輛時間序列數據（如位置信息、速度、傳感器讀數等）時往往存在效率低下、響應時間長等問題，難以滿足車聯網平臺的動態數據負載和查詢需求。
2、現在常用的數據存儲方案如下：使用關系型數據庫，如：mysql；使用非關系型k-v數據庫，如：mongodb，hbase。現有技術的所存在的問題點：
3、關系型數據庫存在集群吞吐量瓶頸：車聯網業務數據量龐大，對數據庫的吞吐量要求很高。傳統的mysql集群架構往往難以滿足車企的業務需求。這意味著在處理大量車聯網數據時，mysql可能無法提供足夠的性能和擴展性。
4、多列索引匹配規則的問題：在車聯網場景下，數據量達到一定級別時，雖然mysql可以滿足業務的寫需求，但其多列索引需要滿足前綴匹配才能發揮效果。當查詢條件不符合多列索引匹配規則時，可能會導致性能退化。這表明mysql在處理復雜的查詢條件時可能存在效率問題，這對于需要高效查詢歷史數據和實時數據的車聯網應用來說是一個重要限制。
5、傳統大數據模型和查詢語言的不適應性：mongodb和hbase的數據模型并不適合處理時序數據，這在車聯網領域尤為重要。車聯網數據通常包含大量的時間序列數據，如車輛狀態、行駛速度、位置信息等，這些數據需要高效且靈活的存儲和查詢方式來支持實時分析和決策。
6、傳統非關系型
7、傳統非關系型數據庫存在運維支撐成本高和存儲成本高的問題：隨著業務的加速擴張，mongodb和hbase在處理車聯網數據時面臨的支撐成本過高問題逐漸顯現。這包括了硬件成本、運維成本以及可能的技術升級成本等，對于追求成本效益的車聯網應用來說，這是一個不可忽視的問題。以零跑汽車為例，將時序數據存儲在mongodb中會導致過高的存儲成本，因為mongodb會將數據全部存儲在內存中，只能存儲一段時間內的數據。這種高存儲成本不僅增加了運維難度，也限制了數據存儲的時間范圍，不利于長期的數據分析和挖掘。
8、傳統非關系型數據庫存在數據生命周期管理不足的問題：mongodb和hbase很少設置數據生命周期管理，這對于需要長期保存和分析的車聯網數據來說是一個缺點。車聯網數據往往具有一定的歷史價值，合理的數據生命周期管理可以幫助企業節省存儲空間，降低運維成本，同時保證數據的安全性和可訪問性。此外，傳統關系型和非關系型數據庫還存在查詢時間跨度較大時，查詢性能驟降；不支持統計分析查詢；不支持流式計算場景等問題。
技術實現思路
1、針對上述技術問題，本專利技術提供了一種基于tdengine的車聯網數據處理方法及系統。
2、本專利技術是采用以下技術方案實現的：一種基于tdengine的車聯網數據處理方法，包括如下步驟：
3、s1：搭建tdengine時序數據庫，并進行初始化；
4、s2：修改車聯網數據相關服務，追加tdengine相關配置；
5、s3：對tdengine時序數據庫進行多維度測試；
6、s4：監控存儲車聯網數據相關性能指標，待性能指標穩定預設時間后，通過tdengine時序數據庫獨立支撐數據的存儲與查詢。
7、進一步的，步驟s1包括如下子步驟：
8、s11：搭建tdengine時序數據庫，并申請車聯網數據相關資源；
9、s12：設計超級表結構，建立及初始化數據表，以存儲車聯網數據。
10、進一步的，步驟s2包括如下子步驟：
11、s21：修改車聯網數據存儲服務配置，追加tdengine存儲配置；
12、s22：修改車聯網數據查詢服務，追加tdengine查詢邏輯及配置。
13、進一步的，所述多維度測試包括數據集群的擴容及縮容測試、數據節點宕機場景測試、穩定性測試以及性能測試中的一種或多種。
14、進一步的，所述數據集群的擴容及縮容測試包括：
15、在進行數據集群擴容及縮容的測試時，通過模擬不同的數據量和查詢請求，以評估tdengine時序數據庫在不同規模下的性能和穩定性，通過增加或減少數據節點來模擬擴容縮容的情況，同時監控tdengine時序數據庫的響應時間和資源消耗情況。
16、進一步的，所述數據節點宕機場景測試包括：
17、在進行數據節點宕機場景的測試時，通過模擬不同的數據量和查詢請求，以評估tdengine時序數據庫在不同規模下的性能和穩定性，通過增加或減少數據節點來模擬擴容縮容的情況，同時監控tdengine時序數據庫的響應時間和資源消耗情況。
18、進一步的，所述穩定性測試包括：
19、在進行穩定性的測試時，通過模擬不同的數據量和查詢請求，以評估tdengine時序數據庫在不同規模下的性能和穩定性，通過增加或減少數據節點來模擬擴容縮容的情況，同時監控tdengine時序數據庫的響應時間和資源消耗情況；
20、所述穩定性測試還包括：設計測試用例覆蓋各種可能影響系統穩定性的因素，所述影響系統穩定性的因素包括內存使用和連接池控制，并記錄測試結果，以便分析和改進。
21、進一步的，所述性能測試包括：利用tsbs和taosbenchmark工具進行詳細的性能對比測試。
22、進一步的，所述性能指標包括iot出口數據堆積情況、數據庫數據存儲增長情況、數據庫服務器cpu、內存、磁盤空間使用情況以及數據查詢性能中的一種或多種。
23、一種基于tdengine的車聯網數據處理系統，用以實現上述所述的一種基于tdengine的車聯網數據處理方法，包括數據庫搭建模塊、追加模塊、測試模塊以及監控模塊，其中，
24、數據庫搭建模塊，用以搭建tdengine時序數據庫，并進行初始化；
25、追加模塊，用以修改車聯網數據相關服務，追加tdengine相關配置；
26、測試模塊，用以對tdengine時序數據庫進行多維度測試；
27、監控模塊，用以監控存儲車聯網數據相關性能指標，待性能指標穩定預設時間后，通過tdengine時序數據庫獨立支撐數據的存儲與查詢。
28、本專利技術的有益效果在于：使用tdengine提高數據處理效率、數據寫入能力和查詢性能；減少對額外消息隊列系統的依賴，降低系統復雜性和維護成本；高吞吐量和低延遲特性適合高速數據流處理；強大的分析查詢語言便利復雜的時間序列數據分析；顯著優勢在于網絡安全、數據安全和通信安全方面的多層次本文檔來自技高網...
【技術保護點】
1.一種基于TDengine的車聯網數據處理方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于TDengine的車聯網數據處理方法，其特征在于，步驟S1包括如下子步驟：
3.如權利要求2所述的一種基于TDengine的車聯網數據處理方法，其特征在于，步驟S2包括如下子步驟：
4.如權利要求3所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述多維度測試包括數據集群的擴容及縮容測試、數據節點宕機場景測試、穩定性測試以及性能測試中的一種或多種。
5.如權利要求4所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述數據集群的擴容及縮容測試包括：
6.如權利要求4所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述數據節點宕機場景測試包括：
7.如權利要求4所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述穩定性測試包括：
8.如權利要求4所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述性能測試包括：利用T
9.如權利要求1所述的一種基于TDengine的車聯網數據處理方法，其特征在于，所述性能指標包括IoT出口數據堆積情況、數據庫數據存儲增長情況、數據庫服務器CPU、內存、磁盤空間使用情況以及數據查詢性能中的一種或多種。
10.一種基于TDengine的車聯網數據處理系統，用以實現權利要求1~9任意一項所述的一種基于TDengine的車聯網數據處理方法，其特征在于，包括數據庫搭建模塊、追加模塊、測試模塊以及監控模塊，其中，
...【技術特征摘要】
1.一種基于tdengine的車聯網數據處理方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于tdengine的車聯網數據處理方法，其特征在于，步驟s1包括如下子步驟：
3.如權利要求2所述的一種基于tdengine的車聯網數據處理方法，其特征在于，步驟s2包括如下子步驟：
4.如權利要求3所述的一種基于tdengine的車聯網數據處理方法，其特征在于，所述多維度測試包括數據集群的擴容及縮容測試、數據節點宕機場景測試、穩定性測試以及性能測試中的一種或多種。
5.如權利要求4所述的一種基于tdengine的車聯網數據處理方法，其特征在于，所述數據集群的擴容及縮容測試包括：
6.如權利要求4所述的一種基于tdengine的車聯網數據處理方法，其特征在于，所述數據節點宕機場景測...
【專利技術屬性】
技術研發人員：劉宏清，湯希望，蘇金海，王巖，任俊杰，曲明濤，趙海洋，
申請(專利權)人：啟明信息技術股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。