【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及固廢監(jiān)測，具體為一種基于mqtt協(xié)議的面向固廢監(jiān)測的高效數(shù)據(jù)自動分發(fā)系統(tǒng)。
技術(shù)介紹
1、隨著工業(yè)化進(jìn)程的加快，固體廢物(簡稱"固廢")的產(chǎn)生量不斷增加。為加強(qiáng)固廢污染防治，各地區(qū)紛紛建立了固廢監(jiān)測體系，通過在排放源、處置場所等部署各類傳感器和監(jiān)控設(shè)備，實時采集各項監(jiān)測指標(biāo)數(shù)據(jù)，及時發(fā)現(xiàn)和處置潛在的環(huán)境風(fēng)險。
2、然而，由于固廢監(jiān)測涉及環(huán)節(jié)多、監(jiān)測點(diǎn)分散、數(shù)據(jù)種類繁多，如何實現(xiàn)多源異構(gòu)監(jiān)測數(shù)據(jù)的高效分發(fā)和集成，成為了固廢監(jiān)測信息化建設(shè)的一大技術(shù)難題。傳統(tǒng)的數(shù)據(jù)分發(fā)系統(tǒng)大多采用中心化的結(jié)構(gòu)和靜態(tài)配置的方式，難以適應(yīng)固廢監(jiān)測應(yīng)用中動態(tài)變化的數(shù)據(jù)源和接收端，數(shù)據(jù)分發(fā)的靈活性和可擴(kuò)展性不足。
3、目前，在數(shù)據(jù)分發(fā)領(lǐng)域，發(fā)布-訂閱模式得到了廣泛應(yīng)用。mqtt(message?queuingtelemetry?transport)是一種基于發(fā)布-訂閱模式的輕量級物聯(lián)網(wǎng)通信協(xié)議。mqtt采用topic作為消息的傳輸媒介，發(fā)布者將消息發(fā)布到特定topic，訂閱者通過訂閱topic來獲取消息，從而實現(xiàn)了數(shù)據(jù)在發(fā)布者和訂閱者間的分發(fā)。
4、mqtt具有開銷小、延遲低、可擴(kuò)展性強(qiáng)等優(yōu)勢，非常適合物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等海量設(shè)備的數(shù)據(jù)傳輸場景。目前，mqtt已被廣泛應(yīng)用于智慧城市、車聯(lián)網(wǎng)、電力監(jiān)測等諸多領(lǐng)域[3]。將mqtt引入到固廢監(jiān)測數(shù)據(jù)分發(fā)中，有望解決傳統(tǒng)分發(fā)系統(tǒng)靈活性差、實時性不足等問題。
5、在現(xiàn)有技術(shù)中，存在靜態(tài)topic映射或匹配規(guī)則的局限性、基于topic層級結(jié)構(gòu)的性能瓶頸、數(shù)據(jù)
6、1、現(xiàn)有的mqtt數(shù)據(jù)分發(fā)方案大多采用預(yù)設(shè)的靜態(tài)topic映射或匹配規(guī)則，將數(shù)據(jù)源與topic進(jìn)行一對一或一對多的固定綁定。這種靜態(tài)配置方式無法動態(tài)適應(yīng)數(shù)據(jù)內(nèi)容的變化。當(dāng)數(shù)據(jù)源發(fā)生變化(如新增、刪除或修改監(jiān)測設(shè)備)或者數(shù)據(jù)訂閱需求發(fā)生變化時，需要人工修改topic映射或匹配規(guī)則，操作繁瑣，實時性不足，難以實現(xiàn)自動化的動態(tài)數(shù)據(jù)分發(fā)；
7、2、大多現(xiàn)有方案采用基于topic層級結(jié)構(gòu)的信息分發(fā)模型，通過設(shè)計多層級的topic命名空間來實現(xiàn)數(shù)據(jù)的精細(xì)化路由。然而，當(dāng)topic層級嵌套過深或topic數(shù)量過多時，系統(tǒng)需要消耗大量資源來維護(hù)topic樹形結(jié)構(gòu)，數(shù)據(jù)分發(fā)的路由效率會顯著下降。此外，訂閱者需要訂閱多個層級的topic才能獲取完整數(shù)據(jù)，訂閱復(fù)雜度高，系統(tǒng)的可擴(kuò)展性受限；
8、3、大多現(xiàn)有方案需要預(yù)先配置數(shù)據(jù)源與topic的映射關(guān)系，或者在數(shù)據(jù)源側(cè)直接發(fā)布到指定topic。這導(dǎo)致了數(shù)據(jù)發(fā)布側(cè)與訂閱側(cè)的耦合度較高，缺乏解耦機(jī)制。數(shù)據(jù)源需要感知下游的topic信息，當(dāng)訂閱需求發(fā)生變化時，需要修改數(shù)據(jù)源側(cè)的配置，靈活性和可維護(hù)性較差；
9、4、現(xiàn)有方案大多基于topic名稱進(jìn)行數(shù)據(jù)路由，缺乏對數(shù)據(jù)內(nèi)容語義的理解和利用。topic名稱通常只能表達(dá)有限的元數(shù)據(jù)信息(如設(shè)備編號、采集時間等)，無法充分表征數(shù)據(jù)的業(yè)務(wù)含義。這導(dǎo)致數(shù)據(jù)分發(fā)的語義性不足，難以支持基于數(shù)據(jù)內(nèi)容的智能化路由和過濾，數(shù)據(jù)訂閱的精準(zhǔn)性有待提高；
10、為此，本申請?zhí)岢鲆环N基于mqtt協(xié)議的面向固廢監(jiān)測的高效數(shù)據(jù)自動分發(fā)系統(tǒng)來解決上述問題。
技術(shù)實現(xiàn)思路
1、(一)解決的技術(shù)問題
2、針對現(xiàn)有技術(shù)的不足，本專利技術(shù)旨在解決上述技術(shù)問題，提出一種基于mqtt協(xié)議的面向固廢監(jiān)測的高效數(shù)據(jù)自動分發(fā)系統(tǒng)。該系統(tǒng)利用數(shù)據(jù)中的企業(yè)代碼作為動態(tài)訂閱topic，通過實時解析數(shù)據(jù)并匹配目標(biāo)topic，實現(xiàn)數(shù)據(jù)分發(fā)的自動化、智能化，顯著提升了分發(fā)效率和靈活性。同時，采用輕量級mqtt協(xié)議，支持海量topic和大規(guī)模并發(fā)，可靈活接入新的數(shù)據(jù)源和監(jiān)測對象，具有良好的可擴(kuò)展性，便于與異構(gòu)系統(tǒng)互聯(lián)互通，解決了上述背景中提出的技術(shù)問題。
3、(二)技術(shù)方案
4、為達(dá)到以上目的，本專利技術(shù)采取的技術(shù)方案是：一種基于mqtt協(xié)議的數(shù)據(jù)自動分發(fā)方法，利用數(shù)據(jù)中的特定字段(如企業(yè)代碼)作為動態(tài)訂閱的依據(jù)，通過實時解析數(shù)據(jù)內(nèi)容并計算目標(biāo)topic，實現(xiàn)數(shù)據(jù)分發(fā)的自動化和智能化。
5、優(yōu)選的，所述目標(biāo)topic采用以下topic生成規(guī)則計算數(shù)據(jù)對應(yīng):
6、${prefix}/${enterprisecode}/${monitoringtype}
7、其中，${prefix}表示可配置的topic前綴，${enterprisecode}表示數(shù)據(jù)的企業(yè)代碼，${monitoringtype}表示數(shù)據(jù)的監(jiān)測類型。
8、一種基于mqtt的數(shù)據(jù)自動分發(fā)系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)解析模塊、topic計算模塊、mqtt服務(wù)模塊和數(shù)據(jù)訂閱模塊；數(shù)據(jù)采集模塊采集異構(gòu)數(shù)據(jù)并轉(zhuǎn)換為標(biāo)準(zhǔn)格式，數(shù)據(jù)解析模塊提取數(shù)據(jù)中的關(guān)鍵字段，topic計算模塊根據(jù)關(guān)鍵字段和預(yù)設(shè)規(guī)則實時計算目標(biāo)topic，mqtt服務(wù)模塊將數(shù)據(jù)發(fā)布到目標(biāo)topic，數(shù)據(jù)訂閱模塊通過訂閱topic獲取數(shù)據(jù)。
9、優(yōu)選的，所述數(shù)據(jù)采集模塊支持多種采集方式，包括但不限于mqtt、http、ftp、tcpsocket等。
10、優(yōu)選的，所述數(shù)據(jù)解析模塊從json格式的數(shù)據(jù)中提取關(guān)鍵字段，并將解析結(jié)果以key-value形式臨時存儲在內(nèi)存中。
11、優(yōu)選的，所述topic計算模塊基于可配置的topic生成規(guī)則，實時計算每條數(shù)據(jù)應(yīng)發(fā)布到的目標(biāo)topic。
12、優(yōu)選的，所述mqtt服務(wù)模塊基于mqtt協(xié)議提供數(shù)據(jù)的發(fā)布和訂閱服務(wù)，并維護(hù)topic的樹形結(jié)構(gòu)。
13、一種數(shù)據(jù)訂閱方法，數(shù)據(jù)消費(fèi)者通過訂閱基于企業(yè)代碼、監(jiān)測類型等維度劃分的topic，實現(xiàn)細(xì)粒度的數(shù)據(jù)訂閱，系統(tǒng)自動將匹配topic的數(shù)據(jù)實時推送給訂閱者。
14、(三)有益效果
15、本專利技術(shù)的有益效果在于：
16、該基于mqtt協(xié)議的面向固廢監(jiān)測的高效數(shù)據(jù)自動分發(fā)系統(tǒng)，利用數(shù)據(jù)中的特定字段(如企業(yè)代碼)作為動態(tài)訂閱的依據(jù)，通過實時解析數(shù)據(jù)內(nèi)容并計算目標(biāo)topic，實現(xiàn)了數(shù)據(jù)分發(fā)的自動化和智能化，無需預(yù)設(shè)靜態(tài)規(guī)則，系統(tǒng)可自動適應(yīng)數(shù)據(jù)源和訂閱需求的動態(tài)變化，顯著提高了數(shù)據(jù)分發(fā)的靈活性和實時性；通過采用扁平化的topic設(shè)計，引入基于數(shù)據(jù)內(nèi)容的動態(tài)路由機(jī)制，克服了topic樹形結(jié)構(gòu)的局限性，系統(tǒng)可根據(jù)數(shù)據(jù)的關(guān)鍵字段快速計算目標(biāo)topic，實現(xiàn)高效的數(shù)據(jù)路由，提高了數(shù)據(jù)分發(fā)的性能和可擴(kuò)展性；通過在數(shù)據(jù)內(nèi)容與分發(fā)規(guī)則之間建立映射關(guān)系，實現(xiàn)了數(shù)據(jù)源與訂閱者的解耦，數(shù)據(jù)發(fā)布與訂閱可獨(dú)立變化，系統(tǒng)的耦合度大大降低，提高了系統(tǒng)的靈活性和可維護(hù)性；
17、該基于mqtt協(xié)議的面向固廢監(jiān)測的高效數(shù)據(jù)自動分發(fā)系統(tǒng)，通過充分挖掘了數(shù)據(jù)內(nèi)容的語義信息(如企業(yè)代碼、監(jiān)測類型)，允許訂閱者根據(jù)業(yè)務(wù)需求靈活訂閱特定類別的數(shù)據(jù)，實現(xiàn)了更細(xì)粒度的數(shù)據(jù)分發(fā)，這提高了數(shù)據(jù)訂閱的針對性和準(zhǔn)確性，減少了不必要的數(shù)據(jù)傳輸和處理開銷；本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于MQTT協(xié)議的數(shù)據(jù)自動分發(fā)方法，其特征在于：利用數(shù)據(jù)中的特定字段作為動態(tài)訂閱的依據(jù)，通過實時解析數(shù)據(jù)內(nèi)容并計算目標(biāo)Topic，實現(xiàn)數(shù)據(jù)分發(fā)的自動化和智能化。
2.根據(jù)權(quán)利要求1所述的基于MQTT協(xié)議的數(shù)據(jù)自動分發(fā)方法，其特征在于：所述目標(biāo)Topic采用以下Topic生成規(guī)則計算數(shù)據(jù)對應(yīng):
3.一種基于MQTT的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：包括數(shù)據(jù)采集模塊、數(shù)據(jù)解析模塊、Topic計算模塊、MQTT服務(wù)模塊和數(shù)據(jù)訂閱模塊；數(shù)據(jù)采集模塊采集異構(gòu)數(shù)據(jù)并轉(zhuǎn)換為標(biāo)準(zhǔn)格式，數(shù)據(jù)解析模塊提取數(shù)據(jù)中的關(guān)鍵字段，Topic計算模塊根據(jù)關(guān)鍵字段和預(yù)設(shè)規(guī)則實時計算目標(biāo)Topic，MQTT服務(wù)模塊將數(shù)據(jù)發(fā)布到目標(biāo)Topic，數(shù)據(jù)訂閱模塊通過訂閱Topic獲取數(shù)據(jù)。
4.根據(jù)特征3所述的基于MQTT的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：所述數(shù)據(jù)采集模塊支持多種采集方式，包括但不限于MQTT、HTTP、FTP、TCP?Socket等。
5.根據(jù)特征3所述的基于MQTT的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：所述數(shù)據(jù)解析模塊從JSON格式的數(shù)據(jù)中提取關(guān)鍵字段，并
6.根據(jù)特征3所述的基于MQTT的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：所述Topic計算模塊基于可配置的Topic生成規(guī)則，實時計算每條數(shù)據(jù)應(yīng)發(fā)布到的目標(biāo)Topic。
7.根據(jù)特征3所述的基于MQTT的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：所述MQTT服務(wù)模塊基于MQTT協(xié)議提供數(shù)據(jù)的發(fā)布和訂閱服務(wù)，并維護(hù)Topic的樹形結(jié)構(gòu)。
8.一種數(shù)據(jù)訂閱方法，其特征在于：數(shù)據(jù)消費(fèi)者通過訂閱基于企業(yè)代碼、監(jiān)測類型等維度劃分的Topic，實現(xiàn)細(xì)粒度的數(shù)據(jù)訂閱，系統(tǒng)自動將匹配Topic的數(shù)據(jù)實時推送給訂閱者。
...【技術(shù)特征摘要】
1.一種基于mqtt協(xié)議的數(shù)據(jù)自動分發(fā)方法，其特征在于：利用數(shù)據(jù)中的特定字段作為動態(tài)訂閱的依據(jù)，通過實時解析數(shù)據(jù)內(nèi)容并計算目標(biāo)topic，實現(xiàn)數(shù)據(jù)分發(fā)的自動化和智能化。
2.根據(jù)權(quán)利要求1所述的基于mqtt協(xié)議的數(shù)據(jù)自動分發(fā)方法，其特征在于：所述目標(biāo)topic采用以下topic生成規(guī)則計算數(shù)據(jù)對應(yīng):
3.一種基于mqtt的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：包括數(shù)據(jù)采集模塊、數(shù)據(jù)解析模塊、topic計算模塊、mqtt服務(wù)模塊和數(shù)據(jù)訂閱模塊；數(shù)據(jù)采集模塊采集異構(gòu)數(shù)據(jù)并轉(zhuǎn)換為標(biāo)準(zhǔn)格式，數(shù)據(jù)解析模塊提取數(shù)據(jù)中的關(guān)鍵字段，topic計算模塊根據(jù)關(guān)鍵字段和預(yù)設(shè)規(guī)則實時計算目標(biāo)topic，mqtt服務(wù)模塊將數(shù)據(jù)發(fā)布到目標(biāo)topic，數(shù)據(jù)訂閱模塊通過訂閱topic獲取數(shù)據(jù)。
4.根據(jù)特征3所述的基于mqtt的數(shù)據(jù)自動分發(fā)系統(tǒng)，其特征在于：所述數(shù)據(jù)采集模塊支持多...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馮炫，郭強(qiáng)，白剛，楊明，王森，李小強(qiáng)，胡思佳，
申請(專利權(quán))人：陜西智引科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。