數據監控方法及裝置制造方法及圖紙

本發明專利技術公開了一種數據監控方法，包括：獲取預設時間閾值內服務器網卡的數據流量，所述數據流量包括數據流入量和數據流出量；根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡。本發明專利技術提出的數據監控方法及裝置，能夠監測到數據流量的異常情況。

【技術實現步驟摘要】

本專利技術涉及數據處理
，特別是指一種數據監控方法及裝置。
技術介紹
Hadoop和hive是目前業界廣泛使用的數據存儲以及查詢的分布式解決方案。HIVE，是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql(Structured Query Language，結構化查詢語言)查詢功能，可以將sql語句轉換為MapReduce(映射化簡)任務進行運行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。HDFS(Hadoop分布式文件系統)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。HDFS放寬了一部分POSIX(Portable Operating System Interface，可移植操作系統接口)標準的約束，來實現流式讀取文件系統數據的目的。現有技術中HDFS中的數據監控包括對數據進行驗平(即，數據量的平衡性驗證，用于驗證數據量處于平衡狀態，屬于系統數據監控方式的一種)。但在實現本專利技術的過程中，專利技術人發現現有技術至少存在以下問題：現有技術中的數據驗平方式，僅能判斷數據量的平衡，不能判斷監控到數據流量過高或過低時的異常情況。流量過高會導致數據接收延時、積壓，影響后續日志解析等操作，數據的及時性會受到影響，如果流量超過接收機的負載能力會導致數據丟失設置會宕機；而當流量過低對數據接收不會造成影響，但可以說明數據存在上報存在不準確的可能性。
技術實現思路
有鑒于此，本專利技術的目的在于提出一種數據監控方法及裝置，能夠監測到數據流量的異常情況。基于上述目的本專利技術實施例提供的數據監控方法，包括：獲取預設時間閾值內服務器網卡的數據流量，所述數據流量包括數據流入量和數據流出量；根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，驗證所述數據流量是否平衡。在一些實施方式中，根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡包括：判斷所述預設時間閾值內所述數據流入量、和/或所述數據流出量是否處于預設流量閾值范圍內；若所述數據流入量、和/或所述數據流出量處于預設流量閾值范圍內，說明所述數據流入量、和/或所述數據流出量平衡。在一些實施方式中，根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡包括：計算所述數據流出量和數據流入量的比值；判斷預設時間閾值內所述比值是否處于預設流量比值閾值范圍內；若所述比值處于預設流量比值閾值范圍內，說明所述數據流入量和所述數據流出量的比平衡。在一些實施方式中，所述預設流量閾值包括預設流入量閾值和預設流出量閾值；所述預設流入量閾值對應于所述數據流入量，所述預設流出量閾值對應于所述數據流出量。在一些實施方式中，所述的方法還包括：若所述數據流入量高于所述預設流量閾值范圍中的最大值，判定所述數據流量不平衡；增加臨時接收機；若增加臨時接收機后仍不能平衡數據流量，判斷出現數據流量不平衡的業務線接口；修改接收機配置，停止接收數據流量不平衡的業務線接口的上報數據。在一些實施方式中，所述的方法還包括：若所述數據流入量低于所述預設流量閾值范圍中的最小值，判定所述數據
流量不平衡；判斷出現數據流量不平衡的業務線接口；發送數據流量不平衡的提示信息到與所述出現數據流量不平衡的業務線接口相關的業務方。在一些實施方式中，所述的方法還包括：若所述數據流出量高于所述預設流量閾值范圍中的最大值或低于所述預設流量閾值范圍中的最小值，判定所述數據流量不平衡；將出現數據流量不平衡的時間段的日志文件重新寫入分布式文件系統。在一些實施方式中，所述的方法還包括：若所述數據流出量高于所述預設流量閾值范圍中的最大值、所述數據流入量高于所述預設流量閾值范圍中的最大值且所述數據流入量和所述數據流出量的比值處于預設流量比值閾值范圍內，判定所述數據流量平衡。本專利技術實施例的另一方面，還提供了一種數據監控裝置，包括：流量獲取模塊，用于獲取預設時間閾值內服務器網卡的數據流量，所述數據流量包括數據流入量和數據流出量；平衡判定模塊，用于根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡。在一些實施方式中，所述平衡判定模塊，具體用于：判斷所述預設時間閾值內所述數據流入量、和/或所述數據流出量是否處于預設流量閾值范圍內；若所述數據流入量、和/或所述數據流出量處于預設流量閾值范圍內，說明所述數據流入量、和/或所述數據流出量平衡。在一些實施方式中，所述平衡判定模塊，具體用于：計算所述數據流出量和數據流入量的比值；判斷預設時間閾值內所述比值是否處于預設流量比值閾值范圍內；若所述比值處于預設流量比值閾值范圍內，說明所述數據流入量和所述數據流出量的比平衡。在一些實施方式中，所述預設流量閾值包括預設流入量閾值和預設流出量閾值；所述預設流入量閾值對應于所述數據流入量，所述預設流出量閾值對應于所述數據流出量。在一些實施方式中，所述平衡判定模塊，具體用于：若所述數據流入量高于所述預設流量閾值范圍中的最大值，判定所述數據流量不平衡；增加臨時接收機；若增加臨時接收機后仍不能平衡數據流量，判斷出現數據流量不平衡的業務線接口；修改接收機配置，停止接收數據流量不平衡的業務線接口的上報數據。在一些實施方式中，所述平衡判定模塊，具體用于：若所述數據流入量低于所述預設流量閾值范圍中的最小值，判定所述數據流量不平衡；判斷出現數據流量不平衡的業務線接口；發送數據流量不平衡的提示信息到與所述出現數據流量不平衡的業務線接口相關的業務方。在一些實施方式中，所述平衡判定模塊，具體用于：若所述數據流出量高于所述預設流量閾值范圍中的最大值或低于所述預設流量閾值范圍中的最小值，判定所述數據流量不平衡；將出現數據流量不平衡的時間段的日志文件重新寫入分布式文件系統。在一些實施方式中，所述平衡判定模塊，具體用于：若所述數據流出量高于所述預設流量閾值范圍中的最大值、所述數據流入量高于所述預設流量閾值范圍中的最大值且所述數據流入量和所述數據流出量的比值處于預設比值閾值范圍內，判定所述數據流量平衡。從上面所述可以看出，本專利技術實施例提供的數據監控方法，通過直接調用服務器網卡上報的數據流入量、數據流出量、和/或計算二者的數據量比值，判斷數據流入量、數據流出量和/或數據量比值是否處于相應的閾值范圍內，從而根據判斷結果進行數據流量驗平，一方面，直接利用服務器網卡上報的數據，無需增加其他流量監控設備，另一方面，能夠對數據流量的異常情況進行監控。附圖說明圖1為本專利技術提供的數據監控方法的第一個實施例的流程示意圖；圖2為本專利技術提供的數據監控方法的第二個實施例的流程示意圖；圖3為本專利技術提供的數據監控方法的第三個實施例的流程示意圖；圖4為本專利技術提供的數據監控方法的第四個實施例的流程示意圖；圖5為本專利技術提供的數據監控方法的第五本文檔來自技高網...

【技術保護點】
一種數據監控方法，其特征在于，包括：獲取預設時間閾值內服務器網卡的數據流量，所述數據流量包括數據流入量和數據流出量；根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡。

【技術特征摘要】
1.一種數據監控方法，其特征在于，包括：獲取預設時間閾值內服務器網卡的數據流量，所述數據流量包括數據流入量和數據流出量；根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡。2.根據權利要求1所述的方法，其特征在于，根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡包括：判斷所述預設時間閾值內所述數據流入量、和/或所述數據流出量是否處于預設流量閾值范圍內；若所述數據流入量、和/或所述數據流出量處于預設流量閾值范圍內，說明所述數據流入量、和/或所述數據流出量平衡。3.根據權利要求1或2所述的方法，其特征在于，根據所述數據流量、預設流量閾值、和/或預設流量比值閾值，判定所述數據流量是否平衡包括：計算所述數據流出量和數據流入量的比值；判斷預設時間閾值內所述比值是否處于預設流量比值閾值范圍內；若所述比值處于預設流量比值閾值范圍內，說明所述數據流入量和所述數據流出量的比平衡。4.根據權利要求1所述的方法，其特征在于：所述預設流量閾值包括預設流入量閾值和預設流出量閾值；所述預設流入量閾值對應于所述數據流入量，所述預設流出量閾值對應于所述數據流出量。5.根據權利要求2所述的方法，其特征在于，還包括：若所述數據流入量高于所述預設流量閾值范圍中的最大值，判定所述數據流量不平衡，增加臨時接收機；若增加臨時接收機后所述數據流入量高于所述預設流量閾值范圍中的最大值，確定出現數據流量不平衡的業務線接口；修改接收機配置，停止接收所述出現數據流量不平衡的業務線接口的上報數據。6.根據權利要求2所述的方法，其特征在于，還包括：若所述數據流入量低于所述預設流量閾值范圍中的最小值，判定所述數據
\t流量不平衡；確定出現數據流量不平衡的業務線接口；發送數據流量不平衡的提示信息到與所述出現數據流量不平衡的業務線接口相關的業務方。7.根據權利要求2所述的方法，其特征在于，還包括：若所述數據流出量高于所述預設流量閾值范圍中的最大值或低于所述預設流量閾值范圍中的最小值，判定所述數據流量不平衡；將出現數據流量不平衡的時間段的日志文件重新寫入分布式文件系統。8.根據權利要求2所述的方法，其特征在于，還包括：若所述數據流出量高于所述預設流量閾值范圍中的最大值、所述數據流入量高于所述預設流量閾值范圍中的最大值且所述數據流入量和所述數據流出量的比值處于預設流量比值閾值范圍內，判定所述數...

【專利技術屬性】
技術研發人員：唐武兵，
申請(專利權)人：樂視控股北京有限公司，樂視網信息技術北京股份有限公司，
類型：發明
國別省市：北京;11