一種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮/解壓縮方法技術(shù)

本發(fā)明專利技術(shù)公開了一種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮/解壓縮方法，屬于數(shù)據(jù)壓縮領(lǐng)域。其中方法包括：首先對(duì)數(shù)據(jù)進(jìn)行小波分解，采用閾值對(duì)高頻和低頻小波系數(shù)進(jìn)行篩選，然后對(duì)篩選后的高頻小波系數(shù)對(duì)應(yīng)的數(shù)據(jù)采用SPIHT算法進(jìn)行有損壓縮，對(duì)篩選后的低頻小波系數(shù)對(duì)應(yīng)的數(shù)據(jù)采用LZ77算法進(jìn)行無(wú)損壓縮，最終得到壓縮結(jié)果。在上位機(jī)中采用dSPIHT和dLZ77方法對(duì)數(shù)據(jù)進(jìn)行解壓縮。本發(fā)明專利技術(shù)的壓縮方法能夠在保證信息完整的前提下，降低壓縮比，對(duì)于大量管道的毫秒級(jí)數(shù)據(jù)的存儲(chǔ)節(jié)約了空間，提高數(shù)據(jù)傳輸?shù)乃俣龋槐景l(fā)明專利技術(shù)的解壓縮方法既能夠保證解壓速度，也能夠保證還原信息的準(zhǔn)確性和完整性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
【專利說(shuō)明】 所屬
本專利技術(shù)屬于數(shù)據(jù)壓縮領(lǐng)域，具體涉及一種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮/解壓 縮方法。
技術(shù)介紹
隨著國(guó)內(nèi)外油氣管道鋪設(shè)越來(lái)越長(zhǎng)、輸送量逐步加大，油氣管道的輸送安全及高 效得到了更大的重視。在油氣管線的多年使用中，難免會(huì)受到外界環(huán)境、內(nèi)部環(huán)境的腐蝕和 磨損，以及其他意想不到的損傷，這些都會(huì)造成油氣在輸送過(guò)程中發(fā)生泄漏。一旦發(fā)生泄 漏，不但會(huì)造成經(jīng)濟(jì)的巨大損失、能源的巨大浪費(fèi)，更會(huì)污染環(huán)境甚至危及人類自身安全。 由于管道泄漏檢測(cè)都采用在線檢測(cè)系統(tǒng)，被檢測(cè)的管道長(zhǎng)度可達(dá)數(shù)十公里之長(zhǎng)，并且管道 內(nèi)檢測(cè)設(shè)備較多，因此泄漏檢測(cè)過(guò)程中所采集到的原始毫秒級(jí)數(shù)據(jù)量較大，然而用于存儲(chǔ) 數(shù)據(jù)的空間有限且存儲(chǔ)設(shè)備體積較小。因此，無(wú)論是進(jìn)行數(shù)據(jù)存儲(chǔ)還是將采集到的數(shù)據(jù)進(jìn) 行傳輸，都需要進(jìn)行數(shù)據(jù)壓縮處理。無(wú)損壓縮方法中主要有霍夫曼編碼、算術(shù)編碼、行程編 碼以及字典編碼等可以實(shí)現(xiàn)數(shù)據(jù)完全無(wú)損地壓縮，但壓縮比很高；有損壓縮方法主要有小 波變換壓縮算法，但是有損壓縮帶來(lái)的重要信息的大量丟失是無(wú)法接受的。
技術(shù)實(shí)現(xiàn)思路
針對(duì)現(xiàn)有方法存在的不足，本專利技術(shù)提出一種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮/解 壓縮方法。 本專利技術(shù)的技術(shù)方案是這樣實(shí)現(xiàn)的： -種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮方法，包括如下步驟： 步驟1 :采集管道實(shí)時(shí)毫秒級(jí)運(yùn)行信號(hào)，并將其轉(zhuǎn)換為數(shù)字電信號(hào)； 步驟2 :對(duì)步驟1的管道運(yùn)行數(shù)字電信號(hào)進(jìn)行多小波變換，得到具有高頻小波系數(shù) 部分和低頻小波系數(shù)部分的小波系數(shù)矩陣；方法為： 選擇CL4多小波作為多小波變換的小波基，利用CL4多小波對(duì)管道運(yùn)行數(shù)字電信 號(hào)進(jìn)行多小波分解，得到具有高頻小波系數(shù)部分和低頻小波系數(shù)部分的小波系數(shù)矩陣； 對(duì)小波系數(shù)矩陣設(shè)置閾值n,，并利用閾值n,將小波系數(shù)矩陣中數(shù)值較小的小波 系數(shù)舍棄，某一尺度j下閾值1的設(shè)置公式如下： n.j=入Xmax{|d.j(p) |}，p = 1，2, ...，N 其中j為尺度因子；N為數(shù)據(jù)長(zhǎng)度；d^p)是小波分解后的高頻小波系數(shù)部分；p為 采集時(shí)刻；A為比例系數(shù)； 步驟3 :針對(duì)高頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)，采用改進(jìn)的SPIHT算法進(jìn)行有 損壓縮；具體包括如下步驟： 步驟3-1 :初始化過(guò)程； 包括：建立三個(gè)有序表：不重要系數(shù)表LIP、重要系數(shù)表LSP和不重要集合表LIS; 對(duì)高頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)進(jìn)行逐層小波分解，共進(jìn)行M次，其中第 二層至第M層小波分解得到的數(shù)據(jù)可以看做是第一層小波分解得到的后代； 將分解得到的第一層所有數(shù)據(jù)同時(shí)放入不重要系數(shù)表LIP和不重要集合表LIS 中； 將重要系數(shù)表LSP置為空集； 初始量化閾值T= 2n，其中n為閾值指數(shù)，《 = [_10匕max扣(/}1丨」，0彡i彡m-l，m為 經(jīng)過(guò)M層小波分解后得到的小波系數(shù)的總個(gè)數(shù)，c(i)為逐層分解過(guò)程中得到的小波系數(shù)； 步驟3-2 :采用排序掃描的方法，找到重要的高頻小波系數(shù)； 方法為：1)利用重要性判斷方法分別判斷不重要系數(shù)表LIP中每個(gè)小波系數(shù)是否 重要，是，則向排序位流Sn輸入重要性判斷結(jié)果" 1"和符號(hào)位，然后將該小波系數(shù)添加到重 要系數(shù)表LSP的尾部，從不重要系數(shù)表LIP中將該小波系數(shù)刪除；否，則向排序位流Sn輸入 重要性判斷結(jié)果"〇"，表明該系數(shù)不重要； 所述排序位流Sn是記錄小波系數(shù)重要性和符號(hào)位的隊(duì)列； 2)以D(i)表示不重要集合表LIS中小波系數(shù)的后代的集合，其中i為小波系數(shù)的 序號(hào)；分別判斷不重要集合表LIS中每個(gè)小波系數(shù)對(duì)應(yīng)后代的重要性，方法為：首先利用重 要性判斷方法判斷D(i)的重要性，若不重要，則向排序位流Sn輸入重要性判斷結(jié)果"0";若 重要，向排序位流Sn輸入重要性判斷結(jié)果" 1"，并且將集合D(i)分裂為直接后代0 (i)(與 該層直接相連的）和間接后代L(i); 然后，再次利用重要性判斷方法對(duì)直接后代0(i)的兩個(gè)系數(shù)分別進(jìn)行重要性判 斷，并向排序位流Sn輸入重要性判斷結(jié)果和符號(hào)位，將重要小波系數(shù)的后代集合添加到重 要系數(shù)表LSP的尾部，不重要的小波系數(shù)添加到不重要系數(shù)表LIP的尾部； 再然后，檢查間接后代L(i)是否為空集，若非空，則將間接后代L(i)添加到不重 要集合表LIS的尾部，若間接后代L(i)為空集，則將L(i)從不重要集合表LIS中刪除； 又然后，利用重要性判斷方法判斷不重要集合表LIS中間接后代L(i)的重要性， 若不重要，則向排序位流Sn輸入表示不重要的符號(hào)"0"，若重要，則向排序位流Sn輸入表示 重要性的符號(hào)"1";將間接后代L(i)的直接后代添加到不重要集合表LIS的尾部，將間接 后代L(i)從不重要集合表LIS中刪除； 所述重要性判斷方法為：如果小波系數(shù)大于等于閾值T，則該小波系數(shù)關(guān)于閾值T 是重要的，否則是不重要的； 步驟3-3 :精細(xì)掃描得到本級(jí)壓縮結(jié)果：將重要系數(shù)表LSP中的每個(gè)系數(shù)，除最近 一次排序掃描新加入到LSP的小波系數(shù)外，計(jì)算重要系數(shù)表LSP中的每個(gè)小波系數(shù)的壓縮 值，即對(duì)應(yīng)的二進(jìn)制數(shù)，并且將該二進(jìn)制數(shù)對(duì)應(yīng)于2~n權(quán)位處的符號(hào)'1'或'0'送到精細(xì)位 流Rn;所述精細(xì)位流Rn用于記錄壓縮的二進(jìn)制的值； 步驟3-4 :將閾值指數(shù)減1，且在排序位流Sn和精細(xì)位流Rn中插入除0和1外的 任何數(shù)字作為特殊值用來(lái)區(qū)分每級(jí)壓縮的標(biāo)志，轉(zhuǎn)至步驟3-2 ; 步驟3-5 :重復(fù)執(zhí)行步驟3-2至步驟3-4,直到n= 0時(shí)，壓縮結(jié)束，得到最終的高 頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果； 步驟4 :針對(duì)低頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)，基于LZ77編碼方法進(jìn)行無(wú)損 壓縮； 步驟4-1 :根據(jù)數(shù)據(jù)規(guī)模，確定滑動(dòng)窗口的大小及預(yù)置區(qū)的大小； 步驟4-2 :將低頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)按順序放入預(yù)置區(qū)中，此狀態(tài) 為壓縮開始前的狀態(tài)； 步驟4-3 :對(duì)于壓縮開始前的狀態(tài)，由于此時(shí)滑動(dòng)窗口中暫無(wú)數(shù)據(jù)，因此滑動(dòng)窗口 中沒(méi)有可供與預(yù)置區(qū)匹配的字符串，故將低頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)的第一個(gè)元 素作為壓縮結(jié)果； 步驟4-4:將預(yù)置區(qū)里的所有數(shù)據(jù)向前移動(dòng)一個(gè)字符，滑動(dòng)窗口向前移動(dòng)一個(gè)字 符； 步驟4-5 :從當(dāng)前壓縮位置開始，在滑動(dòng)窗口中查找最大匹配字符串，如找到，則 輸出編碼三元組（off，len，c)，其中off為最大匹配字符串相對(duì)滑動(dòng)窗口邊界的偏移量， len為最大匹配字符串的長(zhǎng)度，c為滑動(dòng)窗口區(qū)中最后一個(gè)字符的下一個(gè)字符；否則，輸出 編碼二兀組（0, 0,c); 步驟4-6 :將預(yù)置區(qū)里的所有數(shù)據(jù)向前滑動(dòng)len+1個(gè)字符及滑動(dòng)窗口向前移動(dòng) len+1個(gè)字符，轉(zhuǎn)至步驟4-5 ; 步驟4-7 :重復(fù)執(zhí)行步驟4-5至步驟4-6,直至預(yù)置區(qū)中沒(méi)有數(shù)據(jù)，壓縮結(jié)束，得到 最終的低頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果； 與所述的毫秒級(jí)管道數(shù)據(jù)的復(fù)合壓縮方法對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)的解壓縮方法， 包括如下步驟： 步驟J1 :讀取毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果，包括：低頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí) 管道數(shù)據(jù)壓縮結(jié)果和高頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果； 步驟J2 :針對(duì)毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果進(jìn)行解壓縮，得到原始管道毫秒級(jí)在線數(shù) 據(jù)，包括如下步驟： 步驟J2. 1 :針對(duì)高頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果，采用dS本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種管道毫秒級(jí)在線數(shù)據(jù)的復(fù)合壓縮方法，其特征在于：包括如下步驟：步驟1：采集管道實(shí)時(shí)毫秒級(jí)運(yùn)行信號(hào)，并將其轉(zhuǎn)換為數(shù)字電信號(hào)；步驟2：對(duì)步驟1的管道運(yùn)行數(shù)字電信號(hào)進(jìn)行多小波變換，得到具有高頻小波系數(shù)部分和低頻小波系數(shù)部分的小波系數(shù)矩陣；步驟3：針對(duì)高頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)，采用改進(jìn)的SPIHT算法進(jìn)行有損壓縮，得到最終的高頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果；步驟4：針對(duì)低頻小波系數(shù)部分對(duì)應(yīng)的數(shù)字電信號(hào)，基于LZ77編碼方法進(jìn)行無(wú)損壓縮，得到最終的低頻小波系數(shù)部分對(duì)應(yīng)的毫秒級(jí)管道數(shù)據(jù)壓縮結(jié)果。

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張化光，馬大中，馮健，李曉瑜，胡旭光，劉金海，汪剛，陳楊，
申請(qǐng)(專利權(quán))人：東北大學(xué)，
類型：發(fā)明
國(guó)別省市：遼寧;21