基于日志端口流量的流量負載監(jiān)控系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了基于日志端口流量的流量負載監(jiān)控系統(tǒng)，包括以下步驟：步驟一、構(gòu)建最優(yōu)流量負載算法，并嵌套存儲于系統(tǒng)中；步驟二、獲取系統(tǒng)中的系統(tǒng)日志、以及端口流量數(shù)據(jù)信息；步驟三、根據(jù)步驟二獲得的數(shù)據(jù)信息，結(jié)合已存儲于所述系統(tǒng)中的最優(yōu)流量負載算法，構(gòu)建出系統(tǒng)負載流量分析結(jié)果；步驟四、通過分析步驟二和步驟三輸出的數(shù)值，預測出未來流量負載預測圖。本發(fā)明專利技術(shù)通過挖掘低層次網(wǎng)絡(luò)協(xié)議運行狀態(tài)信息與應用層端口流量之間的關(guān)系，找到穩(wěn)定、可信的網(wǎng)絡(luò)傳輸層接口流量的統(tǒng)計方法，實現(xiàn)對應用系統(tǒng)流量的智能監(jiān)控及告警，能夠有效解決當前應用系統(tǒng)流量負載不受監(jiān)控的問題。

Traffic load monitoring system based on log port traffic

【技術(shù)實現(xiàn)步驟摘要】
基于日志端口流量的流量負載監(jiān)控系統(tǒng)
本專利技術(shù)涉及數(shù)據(jù)監(jiān)測領(lǐng)域，尤其涉及基于日志端口流量的應用系統(tǒng)及流量負載監(jiān)控系統(tǒng)。
技術(shù)介紹
涉及信息網(wǎng)絡(luò)故障溯源及業(yè)務(wù)系統(tǒng)流量負載監(jiān)測，其關(guān)鍵與難點包括兩個方面：一方面，網(wǎng)絡(luò)故障之間存在深層次的關(guān)聯(lián)，如網(wǎng)絡(luò)設(shè)備的CPU利用率過高可能導致丟包，并進一步導致鏈路傳輸質(zhì)量差，如何從不同的信息、狀態(tài)表征中獲得真正的故障，定位的故障的源頭，需要在加強監(jiān)控的基礎(chǔ)上，從告警時間、設(shè)備上下位關(guān)系、網(wǎng)絡(luò)監(jiān)控路徑等各方面進行識別，這是項目的關(guān)鍵難點之一；另一方面，應用系統(tǒng)的負載沒有直接手段可以獲得，需要通過其依賴的信息網(wǎng)絡(luò)設(shè)備間接獲得。而信息網(wǎng)絡(luò)的連接層級及關(guān)聯(lián)非常復雜，從角色分析，涵蓋TCP/IP各層的設(shè)備，如鏈路層的交換機、網(wǎng)絡(luò)層的路由器，以及傳輸層到應用層的防火墻、負載均衡設(shè)備，等。不同網(wǎng)絡(luò)設(shè)備的網(wǎng)絡(luò)報文以不同的形式記錄，如何將這些記錄進行綜合分析、整合，形成穩(wěn)定可信的應用系統(tǒng)流量負載，是本專利技術(shù)的難點及關(guān)鍵點。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的提供基于日志端口流量的流量負載監(jiān)控系統(tǒng)，能夠及時、全面、準確的了解當前網(wǎng)絡(luò)和業(yè)務(wù)系統(tǒng)的運行狀態(tài)，確保網(wǎng)管系統(tǒng)及時、高效的進行數(shù)據(jù)采集、分析及預警；對系統(tǒng)的采集、消息處理、數(shù)據(jù)存儲和部署模式，進行云化架構(gòu)技術(shù)研究，實現(xiàn)網(wǎng)管系統(tǒng)彈性擴展及高效、穩(wěn)定運行；最終實現(xiàn)信息網(wǎng)絡(luò)應用系統(tǒng)流量負載監(jiān)控，完善信息網(wǎng)絡(luò)關(guān)鍵節(jié)點的監(jiān)控覆蓋水平。為實現(xiàn)上述目的，本專利技術(shù)提供了基于日志端口流量的流量負載監(jiān)控系統(tǒng)，包括以下步驟：步驟一、構(gòu)建最優(yōu)流量負載算法，并嵌套存儲于系統(tǒng)中；步驟二、獲取系統(tǒng)中的系統(tǒng)日志、以及端口流量數(shù)據(jù)信息；步驟三、根據(jù)步驟二獲得的數(shù)據(jù)信息，結(jié)合已存儲于所述系統(tǒng)中的最優(yōu)流量負載算法，構(gòu)建出系統(tǒng)負載流量分析結(jié)果；步驟四、通過分析步驟二和步驟三輸出的數(shù)值，預測出未來流量負載預測圖。系統(tǒng)日志是記錄系統(tǒng)中硬件、軟件和系統(tǒng)問題的信息，同時還可以監(jiān)視系統(tǒng)中發(fā)生的事件。用戶可以通過它來檢查錯誤發(fā)生的原因，或者尋找受到攻擊時攻擊者留下的痕跡。系統(tǒng)日志包括系統(tǒng)日志、應用程序日志和安全日志。在本專利技術(shù)的一個優(yōu)選實施例中，所述系統(tǒng)日志是運用flume監(jiān)控采集，端口流量是通過snmp協(xié)議采集應用系統(tǒng)宿主機所連交換機或路由器物理端口流量信息獲得。Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。簡單網(wǎng)絡(luò)管理協(xié)議（SNMP），由一組網(wǎng)絡(luò)管理的標準組成，包含一個應用層協(xié)議（applicationlayerprotocol）、數(shù)據(jù)庫模型（databaseschema）和一組資料物件。該協(xié)議能夠支持網(wǎng)絡(luò)管理系統(tǒng)，用以監(jiān)測連接到網(wǎng)絡(luò)上的設(shè)備是否有任何引起管理上關(guān)注的情況。在本專利技術(shù)的一個優(yōu)選實施例中，所述步驟一中構(gòu)建最優(yōu)流量負載算法中輸入數(shù)據(jù)包括但不限于數(shù)據(jù)為流量TCP表數(shù)據(jù)、日志表數(shù)據(jù)、端口表數(shù)據(jù)，主要包括以下字段：tcp連接數(shù)、日志行數(shù)、輸入字節(jié)數(shù)、輸出字節(jié)數(shù)、模型ID、輪次、時間。模型在實際應用時，對數(shù)據(jù)量并無太大要求。即上行流量預測模型、下行流量預測模型在實際應用時，對數(shù)據(jù)量不做嚴格要求。在本專利技術(shù)的一個優(yōu)選實施例中，所述步驟一中構(gòu)建最優(yōu)流量負載算法包括以下兩個階段：構(gòu)建模型訓練算法和構(gòu)建模型應用算法，利用歷史數(shù)據(jù)通過多項式回歸分析算法分別訓練出上行流量預測和下行流量預測的最優(yōu)模型，并進行存儲。多項式回歸的最大優(yōu)點就是可以通過增加自變量的高次項對實測點進行逼近，直至滿意為止。事實上，多項式回歸可以處理相當一類非線性問題，它在回歸分析中占有重要的地位，因為任一函數(shù)都可以分段用多項式來逼近。因此，在通常的實際問題中，不論因變量與其他自變量的關(guān)系如何，我們總可以用多項式回歸來進行分析。正常情況下，多項式回歸分析可以轉(zhuǎn)化成多元線性回歸分析進行處理。在本專利技術(shù)的一個優(yōu)選實施例中，所述構(gòu)建模型訓練算法中的配置文件包括[degree]、[date]、[hbase]三個模塊：[degree]主要是用來設(shè)置多項式回歸分析時模型的最高次方，次方越高，計算內(nèi)存越大，對服務(wù)器的要求越高，當然也越可能找到最優(yōu)次方；[date]主要是用來配置讀取Hbase數(shù)據(jù)庫數(shù)據(jù)時，從何時開始取數(shù)據(jù)，同時，數(shù)據(jù)量獲取的上限是多少；[hbase]主要是配置存儲流量TCP表數(shù)據(jù)、日志表數(shù)據(jù)、端口表數(shù)據(jù)的Hbase數(shù)據(jù)庫的地址端口信息。在本專利技術(shù)的一個優(yōu)選實施例中，所述構(gòu)建模型應用算法的配置文件包括[date]、[database]、[hbase]三個模塊：[date]主要是用來配置讀取Hbase數(shù)據(jù)庫數(shù)據(jù)時，從何時開始取數(shù)據(jù)，同時，數(shù)據(jù)量獲取的上限是多少；[database]主要是用來配置流量負載模型預測的結(jié)果數(shù)據(jù)寫入oracle數(shù)據(jù)表時，oracle數(shù)據(jù)庫地址端口等相關(guān)信息；[hbase]主要是配置流量TCP表數(shù)據(jù)、日志表數(shù)據(jù)、端口表數(shù)據(jù)的Hbase數(shù)據(jù)庫的地址端口信息。在本專利技術(shù)的一個優(yōu)選實施例中，在服務(wù)器及算法可承受的范圍內(nèi)，構(gòu)建最優(yōu)流量負載算法時選用更大的數(shù)據(jù)量，同時需對測試集與訓練集的劃分比例進行調(diào)試。采用上述方式，可以保證在得到最優(yōu)訓練模型的同時，對測試集數(shù)據(jù)有最高的解釋能力，算法會自動存儲最優(yōu)次方模型作為應用模型與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果是：通過挖掘低層次網(wǎng)絡(luò)協(xié)議運行狀態(tài)信息與應用層端口流量之間的關(guān)系，找到穩(wěn)定、可信的網(wǎng)絡(luò)傳輸層接口流量的統(tǒng)計方法，實現(xiàn)對應用系統(tǒng)流量的智能監(jiān)控及告警，能夠有效解決當前應用系統(tǒng)流量負載不受監(jiān)控的問題。附圖說明圖1為本專利技術(shù)的訓練最優(yōu)模型并存儲的流程圖。圖2為本專利技術(shù)的模型應用得到預測值的流程圖。圖3為本專利技術(shù)的應用系統(tǒng)日志信息圖。圖4為本專利技術(shù)的應用系統(tǒng)TCP信息圖。圖5為本專利技術(shù)的應用系統(tǒng)端口流量信息圖。圖6為本專利技術(shù)的應用系統(tǒng)負載流量分析結(jié)果圖。圖7為本專利技術(shù)的應用系統(tǒng)流量負載預測圖。具體實施方式下面結(jié)合附圖所示的各實施方式對本專利技術(shù)進行詳細說明，但應當說明的是，這些實施方式并非對本專利技術(shù)的限制，本領(lǐng)域普通技術(shù)人員根據(jù)這些實施方式所作的功能、方法、或者結(jié)構(gòu)上的等效變換或替代，均屬于本專利技術(shù)的保護范圍之內(nèi)。基于日志端口流量的流量負載監(jiān)控系統(tǒng)，包括以下步驟：步驟一、構(gòu)建最優(yōu)流量負載算法，并嵌套存儲于系統(tǒng)中；步驟二、獲取系統(tǒng)中的系統(tǒng)日志、以及端口流量數(shù)據(jù)信息；步驟三、根據(jù)步驟二獲得的數(shù)據(jù)信息，結(jié)合已存儲于所述系統(tǒng)中的最優(yōu)流量負載算法，構(gòu)建出系統(tǒng)負載流量分析結(jié)果；步驟四、通過分析步驟二和步驟三輸出的數(shù)值，預測出未來流量負載預測圖。流量負載算法的算法主要使用了多項式回歸分析算法。研究一個因變量與一個或多個自變量間多項式本文檔來自技高網(wǎng)...

【技術(shù)保護點】
1.基于日志端口流量的流量負載監(jiān)控系統(tǒng)，其特征在于，包括以下步驟：/n步驟一、構(gòu)建最優(yōu)流量負載算法，并嵌套存儲于系統(tǒng)中；/n步驟二、獲取系統(tǒng)中的系統(tǒng)日志、以及端口流量數(shù)據(jù)信息；/n步驟三、根據(jù)步驟二獲得的數(shù)據(jù)信息，結(jié)合已存儲于所述系統(tǒng)中的最優(yōu)流量負載算法，構(gòu)建出系統(tǒng)負載流量分析結(jié)果；/n步驟四、通過分析步驟二和步驟三輸出的數(shù)值，預測出未來流量負載預測圖。/n

【技術(shù)特征摘要】
1.基于日志端口流量的流量負載監(jiān)控系統(tǒng)，其特征在于，包括以下步驟：
步驟一、構(gòu)建最優(yōu)流量負載算法，并嵌套存儲于系統(tǒng)中；
步驟二、獲取系統(tǒng)中的系統(tǒng)日志、以及端口流量數(shù)據(jù)信息；
步驟三、根據(jù)步驟二獲得的數(shù)據(jù)信息，結(jié)合已存儲于所述系統(tǒng)中的最優(yōu)流量負載算法，構(gòu)建出系統(tǒng)負載流量分析結(jié)果；
步驟四、通過分析步驟二和步驟三輸出的數(shù)值，預測出未來流量負載預測圖。


2.根據(jù)權(quán)利要求1所述的基于日志端口流量的流量負載監(jiān)控系統(tǒng)，其特征在于，所述系統(tǒng)日志是運用flume監(jiān)控采集，端口流量是通過snmp協(xié)議采集應用系統(tǒng)宿主機所連交換機或路由器物理端口流量信息獲得。


3.根據(jù)權(quán)利要求1所述的基于日志端口流量的流量負載監(jiān)控系統(tǒng)，其特征在于，所述步驟一中構(gòu)建最優(yōu)流量負載算法中輸入數(shù)據(jù)包括但不限于數(shù)據(jù)為流量TCP表數(shù)據(jù)、日志表數(shù)據(jù)、端口表數(shù)據(jù)，主要包括以下字段：tcp連接數(shù)、日志行數(shù)、輸入字節(jié)數(shù)、輸出字節(jié)數(shù)、模型ID、輪次、時間。


4.根據(jù)權(quán)利要求1所述的基于日志端口流量的流量負載監(jiān)控系統(tǒng)，其特征在于，所述步驟一中構(gòu)建最優(yōu)流量負載算法包括以下兩個階段：構(gòu)建模型訓練算法和構(gòu)建模型應用算法，利用歷史數(shù)據(jù)通過多項式回歸分析算法分別訓練出上行流量預測和下行流量預測的最優(yōu)模型，并進行存儲。


5.根據(jù)權(quán)利要求4所述的基于日志端口流量的流量負載監(jiān)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳飛，李霆，羅富財，謝毅，陳倩，吳樹霖，粟仁杰，陳紅，
申請(專利權(quán))人：國網(wǎng)福建省電力有限公司，
類型：發(fā)明
國別省市：福建;35