【技術實現步驟摘要】
本專利技術涉及電力物聯網數據處理，具體為一種基于邊緣物聯代理的電力數據壓縮存儲方法及系統。
技術介紹
1、傳統壓縮存儲方法得到的電力數據量龐大，占用大量硬件空間且投資大。而基于深度學習和數據驅動下的壓縮感知理論可以擯棄傳統“先采樣后處理”的方式，采樣和壓縮同時進行，通過少量數據重建原始信號，極大減輕硬件負擔，大大降低電力數據信息存儲、處理和傳輸成本，表現為壓縮比高、傳輸速度快和數據并行量大的特點，有利于新技術推廣應用。在信號重構過程中，該方法可學習稀疏信號之間關聯性，以最小時間和空間代價實現信號的恢復。此外數據并行處理可以加速輔助邊緣側與云端設備處理速度，對電力數據進行特征分析從而減少數據的冗余性與傳輸信道壓力并增加數據并行量，實現超實時通訊。在輔助電力公司獲取實時動態數據實際過程中，智能電網所產生的數據一直都有存儲的，在過去環境下分析數據的大概需要一個周期，極大地耗費人力和物力，實時監控有效地解決了該問題，讓智能電網數據處理又快又精準。但是受多種因素的影響，這種周密數據也存在諸多的缺陷，非常有可能讓網絡出現癱瘓現象，導致服務器出現故障，這樣一來，就無法從時間上保證快速和精準，想要改善這種情況是當前的一個極大挑戰。
2、另外，在數據傳輸過程中，在信道側往往會受到對抗攻擊，若不能抵御這種攻擊同樣會造成數據泄密，因此保護信道側通信安全與保證電力數據安全同樣重要。hash校驗方法將散列函數用于通道數據前后，通過比對前后值可知數據內容是否被篡改，但如何有效地應用hash校驗方法于高頻電力數據確保散列函數值的唯一現在仍是一個亟
3、在這些復雜的情況下，我們采用深度學習網絡實現對電力數據的建模以及特征學習，并結合自適應算術編碼和比特編碼完成電力數據的無損壓縮，提升高頻電力數據的壓縮效率，節省存儲及傳輸過程中的資源消耗，并在邊緣物聯代理上部署電力數據壓縮存儲微應用，以解決電力數據在存儲、傳輸中遇到的問題。
技術實現思路
1、鑒于上述存在的問題，提出了本專利技術。
2、因此，本專利技術解決的技術問題是：現有脆弱水印方法應用于高頻電力數據中存在技術弊端，如隱藏信息占用空間大、實時傳輸性差等問題，因此如何將脆弱水印方法成功應用于高頻電力數據中是一個技術難點。
3、為解決上述技術問題，本專利技術提供如下技術方案：一種基于邊緣物聯代理的電力數據壓縮存儲方法，包括：采集電力數據，對數據建模，學習電力特征。
4、對電力數據進行無損壓縮和安全加密，上傳至平臺端。
5、在平臺端接收數據并解析，重構數據結構，生成最終數據表格。
6、作為本專利技術所述的基于邊緣物聯代理的電力數據壓縮存儲方法的一種優選方案，其中：所述采集電力數據，對數據建模，學習電力特征包括，采集電流、電壓功率數據，對于長度為n的電力數據，建模為具有長度為n的電力數據，表示為：
7、x＝{x1,x2,...,xn}
8、其中，xi表示超平面法向量。
9、根據雙向lstm模型學習電力特征，lstm隱藏單元表示為：
10、it＝σ(wi·[ht-1,xt]+bi),
11、ft＝σ(wf·[ht-1,xt]+bf),
12、ct＝ft·ct-1+it·tanh(wc·[ht-1,xt]+bc),
13、ot＝σ(wo·[ht-1,xt]+bo),
14、ht＝ot·tanh(ct).
15、其中，t表示時刻，w表示權重矩陣，it表示輸入門，ft表示遺忘門，ct表示細胞狀態，ot表示輸出門，ht，表示隱藏狀態。
16、作為本專利技術所述的基于邊緣物聯代理的電力數據壓縮存儲方法的一種優選方案，其中：所述根據雙向lstm模型學習電力特征包括，在雙向lstm模型中使用one-hot將字符序列編碼為k維向量序列，將k維向量序列作為網絡的輸入，輸出下一個字符的概率分布。
17、網絡中全連接層用于將隱藏輸出轉換電力數據字典長度的輸出空間，softmax函數接收全連接層的輸出并輸出下一個預測數據的概率分布，預測的概率分布表示為：
18、p(xi)＝softmax(wxi+b)
19、其中，w表示本層權重。
20、在訓練過程中，loss采用交叉熵表示為：
21、
22、其中，y(xij)表示真實概率分布，p(xij)表示預測概率分布，m表示同一批次下的樣本數。
23、作為本專利技術所述的基于邊緣物聯代理的電力數據壓縮存儲方法的一種優選方案，其中：所述對電力數據進行無損壓縮和安全加密包括，熵反映出壓縮算法對包含不同n個字符的切割段x的壓縮性能。使用熵作為另一個性能度量進行計算，表示為：
24、
25、其中，p(x)表示熵計算值。
26、若壓縮前的熵大于壓縮后的熵，則壓縮算法是有效的。若輸出字符串長度大且重復次數低時，壓縮后的熵越大，壓縮效果越好。
27、將壓縮的數據采用脆弱水印嵌入算法進行安全加密。
28、作為本專利技術所述的基于邊緣物聯代理的電力數據壓縮存儲方法的一種優選方案，其中：所述上傳至平臺端包括，將壓縮的數據采用脆弱水印嵌入算法進行安全加密后，并通過mqtt協議上傳至平臺端。
29、將水印信息通過矩陣編碼技術轉換為可嵌入的形式，在載體中嵌入電力數據的表格中，數字信號的任何輕微變化都會引起抽取的水印產生畸變，根據抽取水印的畸變程度可以確定數字信號是否被篡改或破壞。
30、使用mqtt協議上傳壓縮后的電量數據上報到平臺端，首先，確定數據包的結構，包括電壓、電流、采集時間、相別、功率。設計mqtt主題結構。
31、為不同的數據類型和目的設計清晰的主題命名規則，對于實時性要求高的電壓和電流數據，選擇qos1，時間戳選擇qos0。
32、上傳過程中實施身份驗證和授權機制，確保只有合法的客戶端可以發布、訂閱主題。
33、作為本專利技術所述的基于邊緣物聯代理的電力數據壓縮存儲方法的一種優選方案，其中：所述在平臺端接收數據并解析包括，將壓縮后的表格每一行內容重新格式化為原始的電力數據報文格式，并采用hash校驗于通道前后數據進行散列函數后保證數據通道前后未被篡改從而保證信道和模型的安全性。
34、平臺首先接收一個外部傳入的壓縮包，包內封裝了待處理的數據。通過deflate解壓縮算法還原數據到其原始的、未壓縮的狀態。
35、解壓縮后，數據被組織為鍵值對形式，鍵為列的標識符，值是該列數據的壓縮編本文檔來自技高網...
【技術保護點】
1.一種基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于，包括：
2.如權利要求1所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述采集電力數據，對數據建模，學習電力特征包括，采集電流、電壓功率數據，對于長度為n的電力數據，建模為具有長度為n的電力數據，表示為：
3.如權利要求2所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述根據雙向LSTM模型學習電力特征包括，在雙向LSTM模型中使用one-hot將字符序列編碼為K維向量序列，將K維向量序列作為網絡的輸入，輸出下一個字符的概率分布；
4.如權利要求3所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述對電力數據進行無損壓縮和安全加密包括，熵反映出壓縮算法對包含不同N個字符的切割段X的壓縮性能；使用熵作為另一個性能度量進行計算，表示為：
5.如權利要求4所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述上傳至平臺端包括，將壓縮的數據采用脆弱水印嵌入算法進行安全加密后，并通過MQTT協議上傳至平臺端；
6.如權利要求5所述
7.如權利要求6所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述生成最終數據表格包括，當所有列的數據都經過了解壓和解析，將數據組織成表格形式，每一行代表一條記錄，每一列則對應一種數據屬性，便于數據分析、報表生成和進一步的數據處理任務。
8.一種采用如權利要求1-7任一所述方法的一種基于邊緣物聯代理的電力數據壓縮存儲系統，其特征在于：
9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。
...【技術特征摘要】
1.一種基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于，包括：
2.如權利要求1所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述采集電力數據，對數據建模，學習電力特征包括，采集電流、電壓功率數據，對于長度為n的電力數據，建模為具有長度為n的電力數據，表示為：
3.如權利要求2所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述根據雙向lstm模型學習電力特征包括，在雙向lstm模型中使用one-hot將字符序列編碼為k維向量序列，將k維向量序列作為網絡的輸入，輸出下一個字符的概率分布；
4.如權利要求3所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述對電力數據進行無損壓縮和安全加密包括，熵反映出壓縮算法對包含不同n個字符的切割段x的壓縮性能；使用熵作為另一個性能度量進行計算，表示為：
5.如權利要求4所述的基于邊緣物聯代理的電力數據壓縮存儲方法，其特征在于：所述上傳至平臺端包括，將壓縮的數據采用脆弱水印嵌入算法進行安全加密后，并通過mqtt協議上傳至平臺端；
【專利技術屬性】
技術研發人員：施健，邱玉祥，劉軍，魏訓虎，潘安順，蔡世龍，
申請(專利權)人：南京南瑞信息通信科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。