System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術屬于物聯網,具體涉及一種基于物聯平臺數據處理與轉發系統及方法。
技術介紹
1、當前物聯平臺數據種類多、數據量大,但并不是所有的數據都是有價值的數據,如何獲取并有效利用有價值的數據至關重要。現有對物聯平臺數據的處理方案是基于emqx等中間件內置規則引擎模塊,對數據進行過濾,然后將數據統一發送至大數據平臺,由大數平臺對數據進行處理。
2、現有的開發方法,需開發者熟悉了解中間件的各模塊組件功能,二次開發難度大,且很難滿足業務上的具體需求,只能針對原始數據進行處理,并不能根據延伸出的數據進行處理。很難與物聯平臺進行綁定,從而完成特點場景及動作的觸發。且大數據平臺體量較大較重,維護運行成本較高。
技術實現思路
1、本專利技術的目的在于克服現有的開發方法,需開發者熟悉了解中間件的各模塊組件功能,二次開發難度大,且很難滿足業務上的具體需求,只能針對原始數據進行處理,并不能根據延伸出的數據進行處理。很難與物聯平臺進行綁定,從而完成特點場景及動作的觸發,且大數據平臺體量較大較重,維護運行成本較高的缺陷。
2、為了實現上述目的,本專利技術提出了一種基于物聯平臺數據處理與轉發系統,所述系統包括:
3、物聯平臺,用于創建和管理規則,將規則轉化為任務部署在分布式流式處理平臺運行;還用于依據規則執行動作;和
4、分布式流式處理平臺,用于為任務的運行提供支撐環境。
5、作為上述系統的一種改進,所述系統還包括:
6、消息隊列,用于以
7、作為上述系統的一種改進,所述規則的內容包括:topic類型、轉發字段、轉發條件、轉發目標、執行條件和執行動作;其中,
8、topic類型用來配置規則采集數據的類型;
9、轉發字段為轉發時需要獲取的數據字段;
10、轉發條件為數據轉發時需要滿足的條件;
11、轉發目標為數據要轉發的目的數據源;
12、執行條件為數據觸發執行場景時需要滿足的條件;
13、執行動作為觸發執行場景時具體要執行的動作信息。
14、作為上述系統的一種改進,所述任務包括數據處理任務和數據轉發任務;
15、所述數據處理任務首先對滿足執行條件的數據進行清洗,再根據執行動作對數據進行處理,在數據中增加執行動作命令;
16、所述數據轉發任務是根據轉發條件,將數據的轉發字段轉發到轉發目標。
17、作為上述系統的一種改進,所述數據處理任務的處理過程為:
18、從消息隊列中接收規則中所定義類型的數據;
19、對數據進行清洗;
20、根據定義的規則對接收到的數據進行處理,增加執行動作命令;
21、將處理過后的數據發送至消息隊列中。
22、作為上述系統的一種改進,所述數據轉發任務的執行過程為:
23、從消息隊列中接收指定規則的數據;
24、根據規則中定義的轉發條件和轉發目標,將數據發送至數據源或通過消息隊列發送至數據源。
25、本申請還提供一種基于物聯平臺數據處理與轉發方法,基于上述的系統實現,所述方法包括:
26、步驟s1:物聯平臺將數據發送至分布式流式處理平臺;
27、步驟s2:分布式流式處理平臺接收數據,對數據進行處理,將處理后的數據發送到物聯平臺;
28、分布式流式處理平臺接收數據,將數據轉發到數據源;
29、步驟s3:物聯平臺接收分布式流式處理平臺發送的數據,依據規則執行動作。
30、作為上述方法的一種改進,所述物聯平臺和分布式流式處理平臺之間數據傳遞以消息隊列作為中介,數據先發送到消息隊列,由對方從消息隊列獲取數據。
31、與現有技術相比,本專利技術的優勢在于:
32、本專利技術提供了一種數據處理與轉發的方法,可以對物聯平臺采集到的物聯數據進行實時處理及轉發,并根據不同業務場景進行簡單邏輯處理,提升數據利用率,使數據帶來更多價值。
33、本專利技術不需開發者掌握上述復雜的開發技術及對大數據平臺的運行維護,降低了技術門檻與使用成本,并可實現對數據的處理轉發及特定場景的業務綁定,具備輕量級的特點。
本文檔來自技高網...【技術保護點】
1.一種基于物聯平臺數據處理與轉發系統,其特征在于,所述系統包括:
2.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述系統還包括:
3.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述規則的內容包括:Topic類型、轉發字段、轉發條件、轉發目標、執行條件和執行動作;其中,
4.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述任務包括數據處理任務和數據轉發任務;
5.根據權利要求4所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述數據處理任務的處理過程為:
6.根據權利要求4所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述數據轉發任務的執行過程為:
7.一種基于物聯平臺數據處理與轉發方法,基于權利要求1-6之一所述的任一系統實現,所述方法包括:
8.根據權利要求7所述的基于物聯平臺數據處理與轉發方法,其特征在于,所述物聯平臺和分布式流式處理平臺之間數據傳遞以消息隊列作為中介,數據先發送到消息隊列,由對方從消息隊列獲取數據。
>...【技術特征摘要】
1.一種基于物聯平臺數據處理與轉發系統,其特征在于,所述系統包括:
2.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述系統還包括:
3.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述規則的內容包括:topic類型、轉發字段、轉發條件、轉發目標、執行條件和執行動作;其中,
4.根據權利要求1所述的基于物聯平臺數據處理與轉發系統,其特征在于,所述任務包括數據處理任務和數據轉發任務;
5.根據權利要求4所...
【專利技術屬性】
技術研發人員:門艷嬌,趙賀,周卓宏,阿崇廣,田偉強,楊波,
申請(專利權)人:國家電投集團數字科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。