一種綜合監控系統實時數據化簡壓縮方法技術方案

本發明專利技術公開了一種綜合監控系統實時數據化簡壓縮方法，本方案對實時數據進行變量分類處理、數據緩存區構建處理、緩存區數據化簡處理、緩存區數據表壓縮處理中一種或多種處理；本方案可適合于綜合監控中設備種類多、數量多、數據特征多樣的數據壓縮場景，能夠可根據不同數據特征選擇對應最優的壓縮方案。本方案可用于城市地下綜合管廊運維系統和建筑智能化運維管理系統。

【技術實現步驟摘要】
一種綜合監控系統實時數據化簡壓縮方法
本專利技術涉及數據處理技術，具體涉及數據化簡壓縮技術。
技術介紹
綜合監控系統是主要應用于城市綜合管廊運維系統和建筑智能化系統的監控，地下綜合管廊即在城市地下建造一個隧道空間，將電力、通信、燃氣、供熱和給排水等各種工程管線集于一體，為人們的日常生活提供保障；建筑智能化是大型建筑實現智能化的運行維護，如展館、大型酒店、建筑大樓等需要實時監控管理，需要建設綜合監控系統對其進行監控以確保系統穩定運行。由于綜合監控的項目規模較大，包括排水泵、風機、照明、井蓋、出入口控制器、綜合氣體檢測儀、溫濕度檢測儀、液位檢測儀、供配電系統設備、通風空調設備、熱水、蒸汽供給設備等，多種類型的大量設備監控需求導致監控系統實時數據存儲需求迅速增加，如何在滿足監控需求的前提下，壓縮數據存儲空間以降低運營成本成為重要課題。數據壓縮技術包括通用壓縮技術和專用領域的壓縮技術。通用壓縮技術典型算法包括PPM算法、BWT算法和LZ算法，通常以計算機存儲的最小單位“字節”為單元進行壓縮處理，而不管數據本身的特質。專用壓縮技術針對相關
，如多媒體壓縮技術、過程數據壓縮技術等，這些技術充分利用特定領域的數據特征以實現更高效的壓縮。專利號：CN200510115119.4的中國專利技術專利公開了一種實時數據壓縮方法，該方案將過程控制系統的數據分為數值、時間標簽和質量碼三類，基于LZW算法實現無損壓縮。專利號：CN201811508645.0的中國專利技術專利公開了一種高維時序數據壓縮存儲方法，其提出一種對高維數據采用區間合并以減少數據存儲量的方法。然而眾所周知，大型系統監控場景中的設備種類多，數量多，不同設備的實時數據特征存在差異，難以使用一種壓縮方法獲得最佳數據壓縮性能；同時，不同類型設備的監控需求對于有損壓縮和無損壓縮也有區別。
技術實現思路
針對大型系統監控場景中設備種類多，數量多，不同設備實時數據特征存在差異，從而難以使用某種壓縮方法獲得最佳數據壓縮性能的問題，本專利技術的目的在于提出綜合監控系統實時數據化簡壓縮方法，能夠有效的滿足綜合監控要求并壓縮存儲空間。為了達到上述目的，本專利技術提供的綜合監控系統實時數據化簡壓縮方法，所述化簡壓縮方法對實時數據進行變量分類處理、數據緩存區構建處理、緩存區數據化簡處理、緩存區數據表壓縮處理中一種或多種處理；變量分類處理，將需要監控并存儲數據的變量進行匯總，并依據數據采集頻率進行分類，得到多個變量子集，每個變量子集中的變量采集頻率相同；數據緩存區構建處理，將經變量分類處理得到的每個變量子集建立一個具有一定容量的緩存區數據表，用于緩存變量的實時數據，每個變量對應數據表的一個屬性，每個數據表還包含一個時間標簽屬性；緩存區數據化簡處理，將采集到的變量實時數據存儲到該變量所屬子集對應的緩存區數據表中，并可利用其它變量已有的相同時間標簽，達到數據化簡存儲的目的。緩存區數據表壓縮處理，根據每個變量值的數據特征，選取一個適合的壓縮方法，當緩存區某個數據表的實時數據存儲達到規定的容量時，即對該數據表的每一列進行壓縮處理。進一步地，所述變量分類處理過程包括：(1)構造變量集合：針對綜合監控系統，將需要監控并存儲數據的變量匯總為集合A＝{x1,x2,x3,…,xn}；(2)劃分變量子集：輸入：變量集合A＝{x1,x2,x3,…,xn}輸出：變量子集A1,A2,…；step1令k＝1，k是一個子集編號的索引，令，變量子集Ak＝{x1}，并將x1從A中移除，轉step2；step2：若A非空，遍歷集合A中的每個變量，若其數據采集頻率與Ak中的變量采集頻率相同，則將其從A中移除，并加入Ak，轉step3；step3：若A非空，令k＝k+1，從A中移除一個變量，并加入Ak，返回step2。若A為空，劃分結束。進一步地，所述數據緩存區構建過程包括：(1)對于變量子集Ak，對每個變量進行數據采集，采集的數據包括時間標簽和變量值；(2)對于變量子集Ak，建立一個實時數據緩存區Buffer_Ak，存儲p+1列×m行的數據表，記Ak中的變量個數為p，m為該緩存區的長度。(3)建立Buffer_Ak與Ak中變量的對應關系，其中第一列為時間標簽，第2列到第p+1列分別對應Ak中的一個變量。進一步地，所述緩存區數據化簡處理過程包括：Step1：對于變量子集Ak中的變量Varible_temp，將采集的數據中時間標簽與數值進行分解，記為Time_temp和Value_temp；Step2：將Time_temp與緩存區Buffer_Ak中第一列的每個時間標簽進行比較：若Buffer_Ak若存在相同的時間標簽，則將Value_temp存儲到該時間標簽所對應的行與該變量所對應的列確定的數據表的位置上；否則轉step3；Step3：記Buffer_Ak中時間標簽的行數為row_time，若row_time<m，m為緩存區Buffer_Ak的數據表長度，則將Time_temp存儲到row_time+1行與第1列確定的數據表的位置上；將Value_temp存儲到row_time+1行與該變量所對應的列確定的數據表的位置上；否則轉step4Step4：采用緩存區數據表壓縮方法對第1行到第m的數據進行壓縮，將Value_temp存儲到第1行與該變量所對應的列確定的數據表的位置上。進一步地，所述緩存區數據表壓縮處理過程，包括：(1)針對變量子集Ak中p個變量的不同數據特征和管控需求，為每個變量選擇一個壓縮方法；(2)對Ak的緩存區數據表Buffer_Ak的每一列，使用選好的壓縮方法進行壓縮。本專利技術提供的方案通過數據緩存區和數據化簡，可將時間標簽進行一次化簡，節省了存儲空間，并可根據不同數據特征選擇不同的壓縮方法，將變量值進行二次壓縮，再次節省了存儲空間。本方案通過一次化簡、二次壓縮，節省存儲空間，在具體應用時，能夠很好的適用于綜合監控中設備種類多、數量多、數據特征多樣的數據壓縮場景。本方案具體可用于城市地下綜合管廊運維系統和建筑智能化運維管理系統。附圖說明以下結合附圖和具體實施方式來進一步說明本專利技術。圖1為本實例中進行綜合監控系統實時數據化簡壓縮的流程實例圖。具體實施方式為了使本專利技術實現的技術手段、創作特征、達成目的與功效易于明白了解，下面結合具體圖示，進一步闡述本專利技術。本方案針對綜合監控場景中的設備種類多，數量多，不同設備的實時數據特征存在差異的情況，給出一種綜合監控系統實時數據化簡壓縮的方案，本方案通過數據緩存區和數據化簡，以將時間標簽進行一次化簡，并可根據不同數據特征選擇不同的壓縮，由此實現對多種設備的不同種類的大量數據進行實時的化簡壓縮。具體的，本綜合監控系統實時數據化簡壓縮方案可對實時數據進行變量分類處理、數據緩存區構建處理、緩存區本文檔來自技高網...

【技術保護點】
1.綜合監控系統實時數據化簡壓縮方法，其特征在于，所述化簡壓縮方法對實時數據進行變量分類處理、數據緩存區構建處理、緩存區數據化簡處理、緩存區數據表壓縮處理中一種或多種處理；/n變量分類處理，將需要監控并存儲數據的變量進行匯總，并依據數據采集頻率進行分類，得到多個變量子集，每個變量子集中的變量采集頻率相同；/n數據緩存區構建處理，將經變量分類處理得到的每個變量子集建立一個具有一定容量的緩存區數據表，用于緩存變量的實時數據，每個變量對應數據表的一個屬性，每個數據表還包含一個時間標簽屬性；/n緩存區數據化簡處理，將采集到的變量實時數據存儲到該變量所屬子集對應的緩存區數據表中，并可利用其它變量已有的相同時間標簽；/n緩存區數據表壓縮處理，根據每個變量值的數據特征，選取對應的壓縮方法，當緩存區某個數據表的實時數據存儲達到規定的容量時，即對該數據表的每一列進行壓縮處理。/n

【技術特征摘要】
1.綜合監控系統實時數據化簡壓縮方法，其特征在于，所述化簡壓縮方法對實時數據進行變量分類處理、數據緩存區構建處理、緩存區數據化簡處理、緩存區數據表壓縮處理中一種或多種處理；
變量分類處理，將需要監控并存儲數據的變量進行匯總，并依據數據采集頻率進行分類，得到多個變量子集，每個變量子集中的變量采集頻率相同；
數據緩存區構建處理，將經變量分類處理得到的每個變量子集建立一個具有一定容量的緩存區數據表，用于緩存變量的實時數據，每個變量對應數據表的一個屬性，每個數據表還包含一個時間標簽屬性；
緩存區數據化簡處理，將采集到的變量實時數據存儲到該變量所屬子集對應的緩存區數據表中，并可利用其它變量已有的相同時間標簽；
緩存區數據表壓縮處理，根據每個變量值的數據特征，選取對應的壓縮方法，當緩存區某個數據表的實時數據存儲達到規定的容量時，即對該數據表的每一列進行壓縮處理。


2.根據權利要求1所述的綜合監控系統實時數據化簡壓縮方法，其特征在于，所述變量分類處理包括：
(1)構造變量集合：針對綜合監控系統，將需要監控并存儲數據的變量匯總為集合A＝{x1,x2,x3,…,xn}；
(2)劃分變量子集：
輸入：變量集合A＝{x1,x2,x3,…,xn}
輸出：變量子集A1,A2,…；
step1令k＝1，k是一個子集編號的索引，令，變量子集Ak＝{x1}，并將x1從A中移除，轉step2；
step2：若A非空，遍歷集合A中的每個變量，若其數據采集頻率與Ak中的變量采集頻率相同，則將其從A中移除，并加入Ak，轉step3；
step3：若A非空，令k＝k+1，從A中移除一個變量，并加入Ak，返回step2。若A為空，劃分結束。


3.根據權利要求1所述的綜合監控系統實時數據化簡壓縮方法，其特征在于，所述數據緩存區構建包括：
(1)對于變量子集...

【專利技術屬性】
技術研發人員：王展英，許成，胡偉，張宗衛，江文清，吳忠輝，陳雷，金遼東，趙瑜，張婷，
申請(專利權)人：上海智大電子有限公司，中國二十冶集團有限公司，
類型：發明
國別省市：上海;31