監測數據壓縮方法技術

本發明專利技術提供一種監測數據壓縮方法，用于對旋轉門壓縮算法進行改進，其改進之處在于，對于原始數據中的非敏感數據使用容差參數ΔE較大的寬松標準，對于原始數據中的敏感數據使用容差參數ΔE較小的嚴格標準，即嚴格標準的容差參數小于寬松標準的容差參數；在寬松或嚴格的不同標準范圍內，根據數據的波動大小來自動調整容差參數ΔE。進一步地，用壓縮周期的步長來表征當前數據的變化波動趨勢。壓縮周期的步長變大時，增大容差參數ΔE，壓縮周期的步長變小時，減小容差參數ΔE。本發明專利技術能有效降低監測數據的存儲量，同時能保證較低的壓縮誤差。

Monitoring data compression method

The invention provides a monitoring data compression method for improving the rotary door compression algorithm. The improvement lies in the loose standard with larger tolerance parameter_E for the non-sensitive data in the original data and the strict standard with smaller tolerance parameter_E for the sensitive data in the original data. The tolerance parameters are smaller than the tolerance parameters of the loose standard, and the tolerance parameter_E is automatically adjusted according to the fluctuation of the data within the loose or strict range of different standards. Further, the step length of the compression cycle is used to characterize the trend of the fluctuation of the current data. When the step size of compression period increases, the tolerance parameter_E increases, the step size of compression period decreases, and the tolerance parameter_E decreases. The invention can effectively reduce the storage amount of monitoring data while ensuring low compression error.

【技術實現步驟摘要】
監測數據壓縮方法
本專利技術涉及一種監測數據壓縮方法，應用于壓縮各類物聯網監測設備產生的監測數據。
技術介紹
隨著物聯網技術的發展，各類物聯網監測設備不斷增加，這些設備持續地將監測到的數據上傳至服務器或保存在本地。這些監測數據具有無限增長的特性，海量的歷史數據對存儲效率與成本造成很大壓力。同時，歷史監測數據隨著時間的久遠，價值也越來越低。因此，如何減少監測數據所需的存儲空間，是物聯網應用中降低成本與提高效率的重要問題。目前常用的壓縮算法為旋轉門壓縮算法。該算法是一種線性擬合算法，用于對時序數據進行壓縮。將能擬合成一條線段的連續數據點中，只保存首尾兩個數據點，中間的數據點用兩點連成的線段表示。其中以ΔE作為壓縮的容差參數，被舍棄的數據點與線段的垂直距離不能超過ΔE。對于單個數據來說，其壓縮誤差不會大于ΔE。在旋轉門壓縮算法中，容差參數ΔE是決定壓縮誤差與壓縮率的因素。而ΔE的值在數據壓縮中是固定的，對于具有不同變化趨勢特點的數據使用相同的參數進行壓縮顯然不是最高效的做法。
技術實現思路
本專利技術的目的在于克服現有技術中存在的不足，提供一種監測數據壓縮方法，實現使用較少資源開銷的情況下，能有效降低監測數據的存儲量，同時能保證較低的壓縮誤差，壓縮數據解壓后能保留原始數據所具有的變化趨勢。本專利技術采用的技術方案是：針對旋轉門壓縮算法中容差參數ΔE為一個固定值存在的問題，本專利技術基于兩個方面的因素來動態的調整容差參數ΔE的值，一是數據點的敏感程度，二是數據變化波動大小；對于監測數據而言，大多數情況下人們更加關心超過警戒值的異常數據，而對在正常范圍內小幅度波動的數據不那么關心。在本專利技術中，數據的敏感度區間可由用戶靈活設置。對于原始數據中的非敏感數據使用容差參數ΔE較大的寬松標準，對于原始數據中的敏感數據使用容差參數ΔE較小的嚴格標準，即嚴格標準的容差參數小于寬松標準的容差參數，以此來提高低敏感度數據的壓縮率和高敏感度數據的壓縮精度。在寬松或嚴格的不同標準范圍內，根據數據的波動大小來自動調整容差參數ΔE，做到進一步精準壓縮。因為旋轉門壓縮算法的壓縮原理就是將變化波動小于某一值的一組連續數據用一條線段來擬合表示，所以一次壓縮周期的步長就表示了數據波動相對穩定的連續長度。可以用壓縮周期的步長來表征當前數據的變化波動趨勢，當步長較大時說明數據具有長時間穩定的趨勢，反之則說明數據波動較大。在改進的算法中，數據當前壓縮周期的步長大于上一壓縮周期步長時說明數據波動在趨于穩定，以系數k按比例增大ΔE可取得更好的壓縮率；反之則說明數據波動趨于變化，以系數k按比例減小ΔE以降低壓縮誤差。本專利技術的優點在于：1)允許用戶設置數據的敏感區間，對用戶敏感的數據壓縮后能保留更高的精度，對于非敏感數據則側重于提高壓縮率，能夠更合理的分配壓縮的側重點。2)根據相鄰壓縮周期的步長變化，動態的調整下一壓縮周期的容差參數值，可以減少波動較小的平穩數據的記錄量，提高了數據的壓縮率。3)沒有引入復雜的數學計算，算法時空復雜度較低，非常適用于海量監測數據的壓縮。附圖說明圖1為旋轉門壓縮算法的示意圖。圖2為本專利技術的監測數據壓縮方法流程圖。具體實施方式下面結合具體附圖和實施例對本專利技術作進一步說明。圖1為對原始數據采用旋轉門壓縮算法進行壓縮的示意圖；本專利技術將以此為例對一個壓縮周期進行詳細說明，不對本專利技術構成約束。圖1中，A點為數據開始記錄點，在A點上方和下方分別取兩點A+和A-，橫坐標與A點相同，縱坐標與A點相差一個容差參數ΔE。從A點開始向后遍歷數據，分別從A+和A-點向下一數據點B畫線，得到A+B與A-B兩扇門，∠AA+B與∠AA-B為兩扇門的夾角。用同樣的方式去處理后面的數據點，對于后面的數據點，需要滿足兩扇門的角度只能增大不能減小且要保證兩扇門的兩夾角之和不能超過180°。如對于數據點C，需要將下面這扇門打開更大的角度來包含住C點，上面那扇門不變。因為兩扇門夾角不超過180°，所以本壓縮周期繼續，直到處理到E點時，此時上面的那扇門為A+D，要想包含E點需要把下面的那扇門打開至A-E的位置。這樣兩扇門的夾角和就會超過180°，因此需要結束本次壓縮周期，記錄上一數據點D作為此周期的結束點，并將E點作為起點開始新的壓縮周期。使用這樣的方式，只記錄了A、D兩點的值，舍棄了中間的數據點B、C，達到壓縮數據的目的。該壓縮周期包含A、B、C、D四個點，所以此次壓縮周期的壓縮步長為4。圖2為本專利技術改進后的算法流程圖，參照此圖詳細介紹改進算法的實現方法與具體步驟；與算法相關的參數及表示形式如下：ΔE：容差參數；k：ΔE的調整系數(0＜k＜1)；ΔEL-min：寬松標準容差范圍下限；ΔEL-max：寬松標準容差范圍上限；ΔES-min：嚴格標準容差范圍下限；ΔES-max：嚴格標準容差范圍上限；Smax：單個壓縮周期的最大步長；S：本次壓縮周期的步長；S1：上次壓縮周期的步長；M：敏感數據區間；T：當前壓縮周期的壓縮類型，類型分為敏感數據對應的嚴格壓縮與非敏感數據對應的寬松壓縮兩類；算法具體步驟：步驟1：讀取待壓縮數據，根據數據是否在敏感區間M內，判斷數據是否為敏感數據；若數據敏感度(即敏感數據或非敏感數據)與當前壓縮類型相對應，進行步驟2；若不一致，進行步驟5；步驟2：判斷當前壓縮周期步長是否超過最大步長Smax，若未超過進行步驟3，若超過進行步驟4；步驟3：根據旋轉門算法判斷待壓縮數據是否能夠被當前壓縮周期壓縮，若能夠，本壓縮周期步長加1，進行步驟6；若不能夠則跳至步驟4；步驟4：記錄上一個原始數據作為當前壓縮周期的結尾數據(也就是要結束當前壓縮周期)；根據S與S1的大小比較來調整ΔE；當S≥S1時，ΔE＝ΔE*(1+k)；當S＜S1時，ΔE＝ΔE*(1-k)；調整后ΔE的值不能超出相應的容差范圍；若當前壓縮類型為寬松壓縮，ΔE要滿足ΔEL-min≤ΔE≤ΔEL-max；若當前壓縮類型為嚴格壓縮，ΔE要滿足ΔES-min≤ΔE≤ΔES-max；然后將當前S的值賦給S1，更新S1的值，再將S置為1，將調整后的ΔE作為容差參數，當前原始數據作為壓縮首數據，開始新一輪壓縮周期，進行步驟1；步驟5：記錄上一個原始數據作為當前壓縮周期的結尾數據(也就是要結束當前壓縮周期)；根據當前數據的敏感度選擇相應的壓縮標準，將使用的壓縮標準類型賦值給T；重置參數ΔE，若為寬松標準，ΔE＝(ΔEL-min+ΔEL-max)/2；若為嚴格標準，ΔE＝(ΔES-min+ΔES-max)/2；將S1和S初始化為1；使用這些參數，從當前數據開始，啟動新的壓縮周期，進行步驟1；步驟6：判斷是否還有新數據，若有執行步驟1，若無則記錄本壓縮周期首尾數據，結束壓縮周期，退出。本專利技術提出的方法根據數據敏感度的不同而采用不同的容差參數標準進行數據壓縮，同時在壓縮過程中根據壓縮周期的步長變化來動態地調整容差參數的值。最后所應說明的是，以上具體實施方式僅用以說明本專利技術的技術方案而非限制，盡管參照實例對本專利技術進行了詳細說明，本領域的普通技術人員應當理解，可以對本專利技術的技術方案進行修改或者等同替換，而不脫離本專利技術技術方案的精神和范圍，其均應涵蓋在本專利技術的權利要求范圍當中。本文檔來自技高網...

【技術保護點】
1.一種監測數據壓縮方法，用于對旋轉門壓縮算法進行改進，其特征在于，對于原始數據中的非敏感數據使用容差參數ΔE較大的寬松標準，對于原始數據中的敏感數據使用容差參數ΔE較小的嚴格標準，即嚴格標準的容差參數小于寬松標準的容差參數；在寬松或嚴格的不同標準范圍內，根據數據的波動大小來自動調整容差參數ΔE。

【技術特征摘要】
1.一種監測數據壓縮方法，用于對旋轉門壓縮算法進行改進，其特征在于，對于原始數據中的非敏感數據使用容差參數ΔE較大的寬松標準，對于原始數據中的敏感數據使用容差參數ΔE較小的嚴格標準，即嚴格標準的容差參數小于寬松標準的容差參數；在寬松或嚴格的不同標準范圍內，根據數據的波動大小來自動調整容差參數ΔE。2.如權利要求1所述的監測數據壓縮方法，其特征在于，用壓縮周期的步長來表征當前數據的變化波動趨勢。3.如權利要求2所述的監測數據壓縮方法，其特征在于，壓縮周期的步長變大時，增大容差參數ΔE，壓縮周期的步長變小時，減小容差參數ΔE。4.如權利要求1所述的監測數據壓縮方法，其特征在于，該方法的具體步驟包括：定義參數：ΔE：容差參數；k：ΔE的調整系數(0＜k＜1)；ΔEL-min：寬松標準容差范圍下限；ΔEL-max：寬松標準容差范圍上限；ΔES-min：嚴格標準容差范圍下限；ΔES-max：嚴格標準容差范圍上限；Smax：單個壓縮周期的最大步長；S：本次壓縮周期的步長；S1：上次壓縮周期的步長；M：敏感數據區間；T：當前壓縮周期的壓縮類型，類型分為敏感數據對應的嚴格壓縮與非敏感數據對應的寬松壓縮兩類；步驟1：讀取待壓縮數據，根據數據是否在敏感區間M內，判斷數據是否為敏感數據；若數據敏感度與當前壓縮類型相對應，進行步驟2；若不一致，進行步驟...

【專利技術屬性】
技術研發人員：張涵笑，慕福奇，呂欣巖，
申請(專利權)人：江蘇中科羿鏈通信技術有限公司，
類型：發明
國別省市：江蘇,32