【技術實現步驟摘要】
本專利技術涉及物聯網，特別涉及一種基于開源組件的物聯網數據統計分析系統及其方法。
技術介紹
1、在物聯網領域，數據統計和分析對于理解設備行為、優化系統性能和提高用戶體驗至關重要。現有的技術主要分為兩大類：
2、分析型系統，例如神策、帆軟等，這些系統擅長對大數據進行深入分析，但存在功能繁多且成本高昂的問題。在實際應用中，許多功能并未得到充分利用，導致資源浪費。
3、物聯網平臺，如thingsboard、kaaiot等，這些平臺專注于對單個設備進行分析和控制，但它們在記錄客戶端行為和統計分析方面存在局限，且接入客戶端的數量有限。
4、現有技術的主要缺陷在于：
5、功能過剩導致成本增加，且部分功能在實際應用中并不需要。
6、對單個客戶端的查詢和分析支持不足，用戶體驗受限。
7、在需要同時進行統計分析和對單個設備進行分析調試的場景中，現有產品難以滿足需求。
技術實現思路
1、針對現有技術存在的問題，本專利技術提供一種基于開源組件的物聯網數據統計分析系統及其方法，本專利技術通過開源的kafka、clickhouse、grafana自建數據統計及分析系統，可以同時支持數據統計，及埋點查詢，極大降低了部署成本，以及提升了產品開發過程中分析疑難問題的效率。
2、本專利技術提供一種基于開源組件的物聯網數據統計分析系統，包括：
3、攝像頭模塊，用于捕獲并上報設備狀態信息；
4、app模塊，與攝像
5、私有云接入服務模塊，接收來自攝像頭模塊和app模塊的數據，并將數據發送至kafka消息隊列系統；
6、kafka消息隊列系統，用于異步傳輸數據至私有云數據中心模塊；
7、私有云數據中心模塊，消費kafka消息隊列系統中的數據，并寫入clickhouse數據庫模塊；
8、clickhouse數據庫模塊，用于高效存儲和快速分析大量物聯網數據；
9、grafana數據可視化模塊，用于從clickhouse數據庫中讀取數據，并以圖表形式展示。
10、優選地，所述私有云接入服務模塊包括身份驗證子模塊、消息接收子模塊、消息寫入子模塊；
11、其中，身份驗證子模塊，用于在數據傳輸前對攝像頭模塊和app模塊進行身份驗證，以確保數據來源的合法性和安全性；
12、消息接收子模塊，用于接收來自攝像頭和app模塊的信息；
13、消息寫入子模塊，用于將接收到的信息寫入kafka消息隊列系統。
14、優選地，所述身份驗證子模塊采用以下至少一種機制來確保數據傳輸的安全性：
15、d)基于令牌的認證機制，要求攝像頭模塊或app模塊在發送數據前必須獲取并發送一個有效的訪問令牌；
16、e)ssl/tls加密通信機制，確保攝像頭模塊和app模塊與私有云接入服務模塊之間的數據在傳輸過程中的加密和完整性；
17、f)ip地址過濾機制，僅允許來自預定義ip地址范圍的攝像頭模塊或app模塊發送數據；
18、d)數字證書驗證機制，用于驗證攝像頭模塊或app模塊的身份，確保數據傳輸實體的身份真實性。
19、4、根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述私有云數據中心模塊包括：
20、一個消息消費子模塊，用于消費kafka消息隊列系統中的消息；
21、一個數據寫入子模塊，用于將消息消費子模塊消費的消息寫入clickhouse數據庫；
22、數據處理服務模塊，用于定期分析clickhouse數據庫中的信息，生成統計數據。
23、優選地，所述grafana數據可視化模塊允許用戶通過瀏覽器訪問，以讀取和分析clickhouse數據庫中的埋點數據及統計分析數據。
24、本專利技術還提供一種基于開源組件的物聯網數據統計分析方法，包括如下步驟：
25、步驟一，通過攝像頭模塊和app模塊收集設備狀態信息并上報至私有云接入服務模塊；
26、步驟二，將收集到的信息通過私有云接入服務模塊寫入kafka消息隊列；
27、步驟三，私有云數據中心模塊消費kafka消息隊列中的數據，并將數據存儲至clickhouse數據庫；
28、步驟四，數據處理服務模塊定期從clickhouse數據庫中提取數據進行分析，生成統計數據；
29、步驟五，通過grafana數據可視化模塊展示分析結果和埋點數據；
30、步驟六、用戶通過瀏覽器訪問grafana數據可視化模塊讀取clickhouse數據庫中的埋點數據及統計分析數據，并進行設備開發調試和產品運營監控。
31、優選地，在步驟四中對提取數據進行分析具體步驟包括：根據預設的數據分析規則，對數據進行篩選、聚合和計算。
32、優選地，在設備開發調試遇到疑問時，用戶通過grafana數據可視化模塊查詢設備埋點信息，進行問題分析和調試，包括電量、信號值、通信記錄以及關鍵行為事件，該關鍵行為包括綁定行為、重置行為、被監控事件行為。
33、優選地，在產品運營監控時，用戶定期在grafana數據可視化模塊中查看統計信息，來評估產品性能指標，并基于數據分析評估結果判斷是否需要進行產品優化或調整策略。
34、優選地，所述產品性能指標包括評估產品的日活躍度、月活躍度、設備上傳云端的成功率、監控出圖的成功率的關鍵性能指標。
35、采用本專利技術的技術方案，具有以下有益效果：
36、本專利技術通過kafka、clickhouse、grafna三個開源組件及相應的程序，實現了客戶端埋點數據的可查詢、統計分析的可查詢，極大降低了部署成本，提高了產品研發效率，增強了物聯網產品運行狀態的整體可監測性。
37、本專利技術具備數據處理能力：clickhouse的高寫入并發和快速分析能力，特別適合查詢并發要求低、寫入并發要求高的場景，使得系統能夠高效地處理和分析大量數據，快速生成統計數據和報告。
38、本專利技術將攝像頭、app、私有云接入服務、數據中心和開源組件有效集成，形成了一個協同工作的系統，提高了數據處理的效率。
39、本專利技術的私有云接入服務模塊中的身份驗證子模塊采用多種機制，如基于令牌的認證、ssl/tls加密通信、ip地址過濾和數字證書驗證，確保數據傳輸的安全性。
40、本專利技術系統能夠實時收集和分析數據，快速響應設備狀態變化和用戶操作。
41、本專利技術的grafana數據可視化模塊使用戶能夠通過直觀的圖表和儀表板理解數據分析結果，改善了用戶體驗；通過kafka消息隊列系統的集成，系統能夠平衡數據流，防止過載，提高了系統的穩定性和可靠性。
42、本專利技術具備設備調試與產品優化：用戶可以利用系統進行設備開發調試，并通過定期本文檔來自技高網...
【技術保護點】
1.一種基于開源組件的物聯網數據統計分析系統，其特征在于，包括：
2.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述私有云接入服務模塊包括身份驗證子模塊、消息接收子模塊、消息寫入子模塊；
3.根據權利要求2所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述身份驗證子模塊采用以下至少一種機制來確保數據傳輸的安全性：
4.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述私有云數據中心模塊包括：
5.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述Grafana數據可視化模塊允許用戶通過瀏覽器訪問，以讀取和分析ClickHouse數據庫中的埋點數據及統計分析數據。
6.一種基于開源組件的物聯網數據統計分析方法，其特征在于，包括如下步驟：
7.根據權利要求6所述的基于開源組件的物聯網數據統計分析方法，其特征在于，在步驟四中對提取數據進行分析具體步驟包括：根據預設的數據分析規則，對數據進行篩選、聚合和計算。
8.根據權
9.根據權利要求6所述的基于開源組件的物聯網數據統計分析方法，其特征在于，在產品運營監控時，用戶定期在Grafana數據可視化模塊中查看統計信息，來評估產品性能指標，并基于數據分析評估結果判斷是否需要進行產品優化或調整策略。
10.根據權利要求9所述的基于開源組件的物聯網數據統計分析方法，其特征在于，所述產品性能指標包括評估產品的日活躍度、月活躍度、設備上傳云端的成功率、監控出圖的成功率的關鍵性能指標。
...【技術特征摘要】
1.一種基于開源組件的物聯網數據統計分析系統，其特征在于，包括：
2.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述私有云接入服務模塊包括身份驗證子模塊、消息接收子模塊、消息寫入子模塊；
3.根據權利要求2所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述身份驗證子模塊采用以下至少一種機制來確保數據傳輸的安全性：
4.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述私有云數據中心模塊包括：
5.根據權利要求1所述的基于開源組件的物聯網數據統計分析系統，其特征在于，所述grafana數據可視化模塊允許用戶通過瀏覽器訪問，以讀取和分析clickhouse數據庫中的埋點數據及統計分析數據。
6.一種基于開源組件的物聯網數據統計分析方法，其特征在于，包括如下步驟：
7.根據權利要求6所述的基于開源組件的物聯...
【專利技術屬性】
技術研發人員：吳昕，林錦鵬，陳賢平，陳文浩，
申請(專利權)人：深圳技威時代科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。