移動網故障隱患智能定位系統技術方案

移動網故障隱患智能定位系統的目的在于，利用大數據實時處理、機器學習技術等技術，實現全自動的運營商網絡故障定位功能。通過可視化界面來配置定義處理流程和判斷規則，將運維人員的經驗固化到系統中，在提高系統靈活性的同時也使系統具備基礎的判斷智能。通過機器學習使系統具備主動學習和自動更新的功能。通過實時計算使系統具備秒級或分鐘級的快速精準的響應能力。

【技術實現步驟摘要】

移動通信軟件開發人工智能機器學習大數據處理技術。
技術介紹
近年來隨著移動互聯網手機用戶的快速發展，2/3/4G網絡規模和業務量隨之迅速膨脹，由于手機用戶往往是隨時隨地都在上網，而且流量資費也比較高，因此手機用戶比固定寬帶用戶更加敏感網絡質量，而且在網絡發生故障時手機用戶的投訴也更加及時和激烈，這無疑對移動運營商提供的網絡服務質量提出了更高的保障要求。然而，網絡規模的快速發展必然造成網絡調整和工程量不斷、網絡設備數激增、網絡結構更加復雜化，要確保網絡設備全天候運行穩定對每一個移動運營商的維護人員都不是一件容易的事情！而且隨著網絡結構的復雜化，發生故障時，維護人員往往需要消耗大量的時間在故障定位上，雖然目前運營商已有一些自動化手段實現告警推送，但對于匯聚網元(如：DNS、CE、FW、SW、AR、BR)故障定位的時間往往占故障處理總時長的70％以上，經常出現過重大故障定位時間超過1個小時，用戶投訴一小時數萬宗的情況，給運營商帶來極大的經濟損失。匯聚網元在出故障或人為數據定義錯誤的時候通常影響面大且沒有告警可以參考，定位故障點時，需人工結合網絡拓撲和各種網元設備的多個甚至幾十個性能指標進行經驗性判斷分析，給出最可疑的網元節點，再針對性排查分析最終找到故障點，因此，故障定位效率較低，對維護人員經驗和能力依賴性大。而對于運營商來講，培養一個網絡維護專家至少要5年的工作經驗沉淀，單是人才培養成本至少1人100萬以上。為讓移動運營商減少網絡故障投訴量、提高客戶滿意度，就必須幫助移動運營商解決網絡故障定位難的問題，提升網絡故障隱患處理速度。為此，本專利技術提出將網絡性能指標異動情況、網管統計等動態數據與網絡拓撲等靜態信息關聯整合，采用大數據處理技術，將維護人員的故障處理維護經驗(知識庫)映射固化到系統中，建立一套5分鐘內快速精準的故障隱患智能定位系統(IntelligentFailureLocatingSystem)，實現“先于用戶發現問題，先于投訴解決問題”的目標。隨著網絡的升級發展，網絡維護方式也在不斷演進，從拼人力的人工時代經過維護人員的努力，已經成功向自動化時代轉變，目前已經有大批的系統予以支撐，給精細化維護提供了條件和基礎。但是在數據業務不斷發展的今天，現有的自動化手段同樣面臨挑戰——先于用戶發現問題，先于投訴解決問題。網絡維護亟需借助大數據技術，探索從自動化向智能化時代演進之路，以順應網絡的發展。維護能力的智能化可以明顯提升網絡設備故障、隱患和用戶投訴的處理效率。隨著網絡的不斷發展和擴容，新網絡通信技術的加入，勢必會對本系統帶來新的挑戰。因此，基于大數據技術的移動網故障隱患智能定位系統需要具備一定自動學習能力和便捷的人機交互模式(方便調整網絡拓撲配置)，不斷維持系統的“學習成長”。
技術實現思路
本專利技術的目的在于，利用大數據實時處理、機器學習技術等技術，實現全自動的運營商網絡故障定位功能。通過可視化界面來配置定義處理流程和判斷規則，將運維人員的經驗固化到系統中，在提高系統靈活性的同時也使系統具備基礎的判斷智能。通過機器學習使系統具備主動學習和自動更新的功能。通過實時計算使系統具備秒級或分鐘級的快速精準的響應能力。1.大數據指標計算利用信令數據或信令數據衍生物作為數據源，通過實時流計算引擎源源不斷地讀取數據，然后在通用的大數據實時處理平臺上，通過針對行業業務優化的特定算法進行拆解，分組，匯總生成各類指標，供后續的智能定位分析模塊使用。2.智能定位分析智能定位分析包括運維人員經驗的映射固化和機器學習。前者是通過靈活的配置界面，將人工的處理和判斷流程映射到機器中，從而使機器具備運維人員的大部分處理能力，節省時間和金錢。后者則是采用人工智能技術，讓機器從歷史數據中學習故障判斷規則，并在生產過程中不斷提升和優化判斷能力。【附圖說明】附圖1是故障智能定位總體架構圖附圖2是實時計算平臺處理流程圖附圖3是智能定位分析處理流程圖附圖4是故障判斷規則機器學習流程圖【具體實施方式】1.采用實時計算框架和消息隊列批處理的做法是先收集齊大量數據，然后再集中處理。實時計算(也稱作流處理)的做法則是持續接收消息(消息是由事件產生的)，每個消息被接收后都會被立刻處理。這種做法的好處是能夠及時處理數據。批處理和流式處理的區別類似于手扶梯與升降梯載人方式的的關系。“消息”是數據傳輸中的數據單位。“消息隊列”是在消息的傳輸過程中保存消息的容器。消息隊列管理器在將消息從它的源中繼到它的目標時充當中間人。實時計算系統常常采用消息隊列作為其接收源數據的手段，同時在實時計算系統內部也大量采用消息隊列在各個處理環節之間傳遞數據。在故障隱患定位系統中采用消息隊列，源數據通過網絡直接送達實時系統進行處理，沒有經過數據庫，這種做法能有效提高實時性。2.采用橫向擴展框架所謂橫向擴展，是指當一個集群的處理能力不能滿足要求時，只要增加一些新的節點，集群的能力就能得到有效的提升(例如呈線性提升)。由于硬件性能的限制，縱向擴展(Scaleup)的程度是有限。但采用集群方式，橫向擴展的空間可以很大。3.人工經驗映射固化人工經驗映射固化主要包括流程定義和判斷規則配置。一成不變的流程和判斷規則是無法適應情勢的變化的，我們提供一個靈活實用的流程定義引擎和一個能滿足絕大部分行業生產需求的規則引擎，當業務場景變化或者有新需求時，只需變更引擎配置，就能改變系統功能，不需要修改代碼。4.機器學習所謂機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經驗學習中改善具體算法的性能。通過機器學習，可以從網元歷史指標中發掘出人的經驗以外的其他的規律，這些機器發現的新規律，可以自動更新到實時計算平臺的算法配置規則中，從而使實時計算平臺具備更豐富的判斷能力，同時也節省了大量的人力投入。【技術方案】利用優化開源的storm實時流處理技術結合kafka消息隊列來實現可配置化的網絡數據指標分析功能，總體架構方案圖見說明書附圖1。1.實時計算平臺原始清單作為輸入，數據會經過如下步驟：a.清洗過濾單元：該單元主要將數據進行清洗，清除一些垃圾數據，并且過濾掉不符合條件的數據。b.關聯分析單元：該單元主要將需要關聯的數據根據一定的關聯規則進行參數關聯，得到真正要統計的維度名稱。c.分組匯聚單元：則將要統計的維度值進行分組預處理，預處理完成后相同的維度值將被本文檔來自技高網...

【技術保護點】
一種利用大數據解決方案來智能定位移動網網元故障隱患。通過實時運算平臺和機器學習引擎來實現故障定位。

【技術特征摘要】
1.一種利用大數據解決方案來智能定位移動網網元故障隱患。通過實時運算平臺和機
器學習引擎來實現故障定位。
2.如權利要求1所述的實時計算平臺，其特征在于利用實時流處理技術將網絡信令數
據(或網絡信令衍生數據)進行實時采集并流入實時運算平臺，實時計算平臺將對流數據進
行拆解，過濾，關聯，分組，匯總等處理后形成特定周期的統計數據，將當前周期的統計數據
跟上個周期(或一段周期內)的數據根據特定算法流程進行對比，獲取到數據異動情況。實
時計算平臺還用于根據機器學習的訓練結果進行分類判斷，以支持實時判斷功能。
3.如權...

【專利技術屬性】
技術研發人員：蔡群，陳琛，
申請(專利權)人：廣州衡昊數據科技有限公司，
類型：發明
國別省市：廣東;44