System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及物聯網數據存儲,具體是一種物聯異構數據存儲方法及系統。
技術介紹
1、物聯網異構數據存儲是指針對物聯網中不同類型、格式和來源的數據,采用有效的存儲策略和技術進行管理的過程,伴隨著物聯網技術的廣泛應用,海量異構數據的存儲與共享成為了一個關鍵問題。
2、針對上述問題,現有技術中提出了對應的解決方案,如公開專利cn201310198922.3,提出了在數據接口采用統一的存儲方式,有效的支持不同來源、不同類型數據的存儲;利用hbase技術,擴大列導向的存儲機制,使得存儲容量可水平擴展;采用內存映射文件機制,有效的解決了大文件存儲和管理的效率;采用數據冗余存放技術,大大提高系統的可靠性和訪問性能,但由于物聯網設備的特殊性,導致數據種類不斷增加以及同種數據類型中在不同時刻的調用熱度也會不同,如何對物聯網中的不同時刻、不同類型的異構數據進行分類、分時存儲,成為物聯網技術中亟需解決的問題。
3、因此,亟需一種物聯異構數據存儲方法及系統來解決上述問題。
技術實現思路
1、本專利技術的目的在于提供一種物聯異構數據存儲方法及系統,它能解決物聯網中多種類數據的分類、分時存儲的問題,提高了數據調用效率。
2、本專利技術為實現上述目的,通過以下技術方案實現:
3、一方面,提供一種物聯異構數據存儲方法,包括以下步驟:
4、s1:中心網關獲取用戶物聯網設備的處理器信息,所述物聯網設備的處理器信息具體為:物聯網設備的存儲數據種類、處理器型號版
5、s2:根據物聯網設備的存儲數據種類建立數據存儲模型,所述數據存儲模型包括:熱數據存儲模型、溫數據存儲模型以及冷數據存儲模型;
6、s3:在建立的數據存儲模型中分別建立以中心網關為中心節點的樹狀模型,所述樹狀模型包括:中心節點、若干子節點和若干葉子節點;
7、s4:中心網關對接入的物聯網設備的處理器信息以及通過中心網關的數據流進行分析判斷;
8、s5:中心網關根據步驟s4中的分析判斷結果,對數據流進行存儲路徑分配和存儲模型分配。
9、優選的,所述步驟s1中,中心網關獲取用戶物聯網設備的處理器信息,具體為:
10、中心網關與物聯網設備建立長連接,中心網關通過長連接對物聯網設備的存儲數據種類、處理器信息進行獲取和實時更新。
11、優選的,所述步驟s2中,建立數據存儲模型,具體為:
12、中心網關根據物聯網設備中存儲的數據在同一時間段內被調用的頻率建立三級數據存儲模型,所述三級數據存儲模型包括:熱數據存儲模型、溫數據存儲模型以及冷數據存儲模型。
13、優選的,所述步驟s3中,所述建立以中心網關為中心節點的樹狀模型,具體為:
14、中心網關根據接入的物聯網設備采集的數據種類不同、所屬網絡傳輸協議將物聯網設備劃為不同分組,且根據物聯網設備的處理器型號版本、內存大小特征為性能標準作為樹形結構模型中子節點和葉子節點的數據劃分依據,組成以中心網關為中心節點的樹形結構。
15、優選的,所述步驟s4中,中心網關對接入的物聯網設備的處理器信息以及通過中心網關的數據流進行分析判斷,具體為:
16、在同一時間段內,中心網關根據物聯網設備中存儲的數據被調用的頻率,將數據標記為熱數據、溫數據和冷數據;
17、中心網關對接入的物聯網設備的處理器信息進行判斷,并將其中性能高的物聯網設備作為子節點,且對子節點中設置最大可接入閾值。
18、優選的,所述將數據標記為熱數據、溫數據和冷數據,具體包括以下步驟:
19、s41:設定物聯網設備中的數據調用周期和被調用的數據種類,所述數據調用周期記為n0,所述被調用的數據種類記為集合u0={a1,a2,…an},將在調用周期n0中被調用的數據種類集合u0中的所有數據標記為熱數據;
20、s42:將調用周期n0后的下一調用周期記為n1,在調用周期n1中被調用的數據種類記為集合u1:
21、若u1=u0,即u1={a1,a2,…an},則將u1中的所有數據標記為熱數據;
22、若u1≠u0,且u1中的數據種類小于或小于u0中的數據種類,則將u1中與u0中相同的數據種類標記為熱數據,將u0中與u1中不同的數據種類標記為溫數據;
23、s43:將調用周期n1后的下一調用周期記為n2,在調用周期n2中被調用的數據集合記為u2:
24、若u2=u0=u1,即u2={a1,a2,…an},則將u2中的所有數據標記為熱數據;
25、若u2≠u0≠u1,且u2中的數據種類小于u1同時小于u0,則將u2中與u1、u0相同的數據種類標記為熱數據,將u1中與u2中不同的數據種類標記為溫數據,將u0中與u1、u2中均不同的數據種類標記為冷數據;
26、若u2≠u0≠u1,且u2中的數據種類大于u1同時大于u0,則將u2中與u1、u0相同的數據種類標記為熱數據,將u2中與u1、u2中均不同的數據種類標記為溫數據;
27、s44:遵循步驟s41-s43,對調用周期n2后的每一調用周期中的數據集合與前面的調用周期中的數據集合進行比較,依次將數據標記為熱數據、溫數據、冷數據。
28、優選的,所述對調用周期n2后的每一調用周期中的數據集合與前面的調用周期中的數據集合進行比較,具體為:
29、以前三個調用周期為基礎,建立熱數據存儲模型、溫數據存儲模型以及冷數據存儲模型,在第四個調用周期開始,計算一周內同一數據類型被調用的期望值并設置期望值的最大閾值和最小閾值,大于等于最大閾值的數據種類標記為熱數據、小于等于最小閾值的數據種類標記為冷數據,剩余的數據種類標記為溫數據,并對熱數據、溫數據、冷數據的數據種類進行更新。
30、優選的,所述步驟s5,具體包括以下步驟:
31、s51:所述物聯網設備接入中心網關后,優先掛載熱數據存儲模型中的子節點,當熱數據存儲模型中的子節點掛載數量達到最大閾值后,依次掛載到熱數據存儲模型中的葉子節點;
32、s52:將新接入的物聯網設備中采集的數據與步驟s51中存儲到熱數據存儲模型中的物聯網數據在同一時刻做調用頻率比較,
33、若將新接入的物聯網設備中采集的數據的調用頻率大于步驟s51中存儲到熱數據存儲模型中的物聯網數據,則將步驟s51中存儲到熱數據存儲模型中的物聯網數據轉載至溫數據存儲模型;
34、若將新接入的物聯網設備中采集的數據的調用頻率等于步驟s51中存儲到熱數據存儲模型中的物聯網數據,則對新接入的物聯網設備信息與步驟s51中的物聯網設備信息進行比較,性能高者作為子節點;
35、若將新接入的物聯網設備中采集的數據的調用頻率小于步驟s51中存儲到熱數據存儲模型中的物聯網數據,則將新接入的物聯網設備中采集的數據轉載至溫數據存儲模型;
36、本文檔來自技高網...
【技術保護點】
1.一種物聯異構數據存儲方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟S1中,中心網關獲取用戶物聯網設備的處理器信息,具體為:
3.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟S2中,建立數據存儲模型,具體為:
4.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟S3中,所述建立以中心網關為中心節點的樹狀模型,具體為:
5.根據權利要求4所述的一種物聯異構數據存儲方法,其特征在于,所述步驟S4中,中心網關對接入的物聯網設備的處理器信息以及通過中心網關的數據流進行分析判斷,具體為:
6.根據權利要求5所述的一種物聯網異構數據存儲方法,其特征在于,所述將數據標記為熱數據、溫數據和冷數據,具體包括以下步驟:
7.根據權利要求6所述的一種物聯網異構數據存儲方法,其特征在于,所述對調用周期n2后的每一調用周期中的數據集合與前面的調用周期中的數據集合進行比較,具體為:
8.根據權利要求7所述的一種物聯網異構數據存
9.一種物聯異構數據存儲系統,其特征在于,包括:
...【技術特征摘要】
1.一種物聯異構數據存儲方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟s1中,中心網關獲取用戶物聯網設備的處理器信息,具體為:
3.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟s2中,建立數據存儲模型,具體為:
4.根據權利要求1所述的一種物聯異構數據存儲方法,其特征在于,所述步驟s3中,所述建立以中心網關為中心節點的樹狀模型,具體為:
5.根據權利要求4所述的一種物聯異構數據存儲方法,其特征在于,所述步驟s4中,中心網關...
【專利技術屬性】
技術研發人員:張瀟,謝鐘偉,雷強輝,謝育新,侯祥偉,
申請(專利權)人:廣州萬物智聯技術有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。