一種基于網絡信令記錄的實時處理保障方法及系統技術方案

本發明專利技術公開了一種基于網絡信令記錄的實時處理保障方法及系統，本方案通過對海量網絡信令數據進行過濾、小區維度分組、分多種統計維度、多種時間粒度計算用戶數指標和各種業務量指標、按小區維度合并、按鍵key分組、按鍵key合并、分布式緩存的實時處理后，實現了對多種維度下的用戶數指標和各種業務量指標的實時統計分析，從而快速有效的發掘網絡信令數據中的價值，快速的發現問題、定位問題。解決了現階段采用傳統方式無法對海量信令數據實時有效的分析的問題。

【技術實現步驟摘要】

本專利技術涉及大數據處理領域，尤其涉及一種基于網絡信令記錄的實時處理保障方法及系統。
技術介紹
近年，隨著通信技術的飛速發展，網絡逐漸改變著人類的生產生活方式，人們對網絡的依賴程度越來越高。對電信運營商而言，終端產生的信令數據規模也越來越大。數據采集、數據處理、數據存儲帶來了進一步的挑戰。如何快速有效的發現網絡信令數據中所蘊含的價值，成為了電信運營商亟待解決的問題。隨著信令數據規模越來越大，傳統的數據處理模式暴露出了很多問題：首先，采用傳統的集中存儲和集中計算的方式已經無法滿足日益增長的海量數據所帶來的挑戰；其次，傳統數據庫讀寫性能已無法滿足大數據的存儲和分析要求；第三，傳統的離線分析技術處理時延比較大，無法及時有效的挖掘和利用數據中蘊含的價值，無法及時定位問題、調整資源配置，使數據失去了時效性。
技術實現思路
本專利技術的目的在于提供一種基于網絡信令記錄的實時處理保障方法及系統，解決現有技術無法滿足對海量網絡信令數據的實時分析處理的問題。為了實現上述目的，本專利技術提供了一種基于網絡信令記錄的實時處理保障方法，包括以下步驟：采集網絡信令數據；將所述網絡信令數據按多種維度進行分組；將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；將所述實時指標按鍵key進行分組；讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。所述多種維度包括全網、地市、小區、網元、設備和熱點中的一個或多個。所述多種時間粒度包括分1分鐘、5分鐘和1小時的一個或多個。所述將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算步驟，包括：根據指標算法，采用分布式流計算系統計算各類實時指標的值；將計算得到的所述實時指標生成鍵值對key-value形式的數據；將鍵key相同的所述實時指標的值value進行緩沖合并。所述實時指標包括：用戶數指標；所述將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算步驟，包括：先對用戶IMSI號碼反轉，并對反轉的IMSI號碼計算哈希值；取哈希值的前8個字節，并用HyperLogLog算法對用戶數進行去重統計，得到用戶數指標的值。所述將所述網絡信令數據按多種維度進行分組步驟，包括：按小區維度分組。所述鍵key為維度標識、維度、時間粒度、時間的組合。所述讀取分布式緩存中與所述計算后的實時指標相匹配的數據進行增量合并步驟，包括：微批量讀取分布式緩存中與所述計算后的實時指標小區維度相同的數據進行增量合并。所述讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并，包括：微批量讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。所述實時指標還包括業務量指標；所述業務量指標包括流量、http成功率、http時延。在執行所述將所述網絡信令數據按多種維度進行分組步驟前，根據數據類型，過濾所述網絡信令數據中的無用字段。所述采集網絡信令數據步驟，包括：基于消息通知機制，采集網絡信令數據。將所述讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并步驟和所述讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并步驟所得到的數據合并結果，均以異步微批量的方式寫入分布式緩存中；外部應用可隨時的從分布式緩存中讀取所述合并的結果數據，進行包括實時性能預警、區域場景保障、實時人流監控的分析和使用。對應于本專利技術提供的上述方法，本專利技術還提供了一種基于網絡信令的實時處理保障系統，其特征在于，包括：數據采集模塊、第一分組模塊、計算模塊、第一合并模塊、第二分組模塊、第二合并模塊、分布式緩存模塊；所述數據采集模塊，用于采集網絡信令數據；所述第一分組模塊，用于將所述過濾后的網絡信令數據按多種維度分組；所述計算模塊，用于將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；所述第一合并模塊，用于讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；所述第二分組模塊，用于將所述實時指標按鍵key進行分組；所述第二合并模塊，用于讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并；所述分布式緩存模塊，用于緩存所述增量合并的數據結果。通過采用本專利技術提供的一種基于網絡信令記錄的實時處理保障方法及系統，由于本方案在采集網絡信令數據時，采用的是消息通知機制，當有數據生成時，則發送通知消息,采集系統收到通知后立即開始采集，避免在采集程序中通過掃描等其它機制時發生數據的時延，從而可降低數據采集過程的時延；由于內存中的對象經過網絡傳輸時需要先進行序列化,再將對象轉換成可傳輸的二進制數據.根據這一點，本方案根據數據類型過濾網絡信令數據中的無效字段，從而減小網絡信令中的字段數，網絡信令中的字段數減少，則序列化過程中需要序列化的字段數也相應地減少，需要序列化的字段數減少則序列化后的二進制數據也相應地減少；因此，本方案根據數據類型過濾網絡信令數據中的無效字段，減小了數據傳輸中的序列化開銷和網絡開銷；由于小區維度的數據相較于上層維度的數據,具有在單位時間內隨機，分散的特點，不會出現單位時間如1秒內，數據集中在某幾個小區的情況，因此數據維度越細,越隨機分散數據，越能夠保證數據的均勻分布；本方案正是根據這一點，將數據流按小區維度分組，使數據在各模塊處理單元上均勻分布，避免了高并發下由于數據單點、熱點集中而造成系統瓶頸；且本方案將數據流按小區維度分組，使同一小區數據的讀寫操作都在同一模塊處理單元內進行,避免出現多個模塊處理單元操作同一份數據的情況,從而保證按小區維度分組后對小區數據合并時數據的一致性；同樣地，本方案將數據流按鍵按key分組，使同一鍵key數據分到同一處理單元，不會出現相同key的數據被多個模塊處理單元操作的情況，從而第二次分組后對數據合并時保證數據一致性。另外，由于本方案根據指標算法，通過分布式流計算系統，分全網、地市、小區、網元、設備和熱點等多種維度和1分鐘、5分鐘和1小時等多種時間粒度計算去重用戶數、業務量指標，并將計算的指標以鍵值對key-value形式在本地內存中緩沖合并，因此提高了系統吞吐量、降低了網絡開銷和分布式緩存系統的負荷；此外還有，本方案采用微批量讀取，增量合并，微批量異步寫入的方式，將本地緩存的數據同分布式緩存中的數據做合并，其中，微批量操作不同于批量操作，批量操作在提升性能的同時會較大地增大處理時延，而微批量操作在提升性能時,不會造成較大的時延；因此，以上微批量讀取，增量合并，微批量異步寫入的方式在保證系統吞吐量的同時降低數據處理時延。附圖說明圖1是本專利技術提供的一種基于網絡信令記錄的實時處理保障方法的流程圖；圖2是本專利技術實施例提供的一種基于網絡信令記錄的實時處理保障系統的結構示意圖。具體實施方式下面通過附圖和實施例，對本專利技術的技術方法做進一步的詳細描述。如圖1所示，本專利技術提供的一種基于網絡信令記錄的實時處理保障方法的具體過程為：S101：采集網絡信令數據；基于消息通知機制，通過數據采集服務實時從數據源采集包括GN信令、Iups信令、LTE信令和Volte信令在內的各種網絡信令；當有網絡信令數據生成時,數據采集服務則根據通本文檔來自技高網...

【技術保護點】
一種基于網絡信令記錄的實時處理保障方法，其特征在于，包括以下步驟：采集網絡信令數據；將所述網絡信令數據按多種維度進行分組；將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；將所述實時指標按鍵key進行分組；讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。

【技術特征摘要】
1.一種基于網絡信令記錄的實時處理保障方法，其特征在于，包括以下步驟：采集網絡信令數據；將所述網絡信令數據按多種維度進行分組；將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；將所述實時指標按鍵key進行分組；讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。2.根據權利要求1所述的方法，其特征在于，所述多種維度包括全網、地市、小區、網元、設備和熱點中的一個或多個。3.根據權利要求2所述的方法，其特征在于，所述多種時間粒度包括分1分鐘、5分鐘和1小時的一個或多個。4.根據權利要求3所述的方法，其特征在于，所述將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算步驟，包括：根據指標算法，采用分布式流計算系統計算各類實時指標的值；將計算得到的所述實時指標生成鍵值對key-value形式的數據；將鍵key相同的所述實時指標的值value進行緩沖合并。5.根據權利要求4所述的方法，其特征在于，所述實時指標包括用戶數指標；所述將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算步驟，包括：先對用戶IMSI號碼反轉，并對反轉的IMSI號碼計算哈希值；取哈希值的前8個字節，并用HyperLogLog算法對用戶數進行去重統計，得到用戶數指標的值。6.根據權利要求1、3、4或5任一權利要求所述的方法，其特征在于，所述將所述網絡信令數據按多種維度進行分組步驟，包括：按小區維度分組。7.根據權利要求1所述的方法，其特征在于，所述鍵key為維度標識、維度、時間粒度、時間的組合。8.根據權利要求6所述的方法，其特征在于，所述讀取分布式緩存中與所述計算后的實時指標相匹配的數據進行增量合并步驟，包括：微批量讀取分布式緩存中與所述計算后的實時指標小區維度相同的數據進行增量合并。9.根據權利要求1...

【專利技術屬性】
技術研發人員：婁瑤佳，蔡蓉，楊燕翊，虞馳，卞臻，毛廣，段建平，
申請(專利權)人：杭州東方通信軟件技術有限公司，
類型：發明
國別省市：浙江;33