本發明專利技術公開了一種時間序列數據分析方法及裝置,用以準確高效地將多行時間序列數據合并為一個事件。所述方法包括:在時間序列數據中查找起始符;根據預設的第一特征信息對所述起始符之后的時間序列數據進行匹配;將匹配得到的時間序列數據合并為同一事件,得到分析結果。
【技術實現步驟摘要】
一種時間序列數據分析方法及裝置
本專利技術涉及互聯網
,特別涉及一種時間序列數據分析方法及裝置。
技術介紹
在信息技術飛速發展的今天,人們在各種社會和經濟活動中產生大量的數字信 息,企業信息技術基礎設施建設規模不斷擴大,IT監控、運維系統也得到廣泛運用,同時各 種傳感器、智能家電產生的數據,以及各種交易系統(證券交易系統、電子商務交易系統) 產生的日志數量巨大,格式也不盡相同,很難得到利用。 由于日志的格式多種多樣,想要利用日志價值首先需要對日志進行準確識別,對 于多行日志,如果不能正確識別出多行屬于同一事件,則大大影響數據分析的準確性和有 效性。 現有技術大部分將每行日志視為一條事件,或者需要用戶抓住每條日志的特點進 行處理。例如使用awk,將每條以[日期時間]為開頭的日志正確顯示。 awk_FI, {if($0 ?廠/[2009-05-01/){printf/n%s,$0}else{printf % s,$0}}END{printf/n}'testl.logIsed-n' 2, $p' >test2.log 但是,大部分日志都是不分行的,即一行日志對應一個事件。但某些日志是多行 的,如Java程序的traceback,幾十行日志對應一個事件。在處理這種日志的時候,需要把 traceback的幾十行日志歸并為一個事件來處理。為此,日志分析技術人員常常需要學習掌 握相關技術編寫程序或正則表達式以對多行日志進行處理,浪費大量時間和人力物力。
技術實現思路
本專利技術提供一種時間序列數據分析方法及裝置,用以準確高效地將多行時間序列 數據合并為一個事件。 本專利技術提供一種時間序列數據分析方法,包括: 在時間序列數據中查找起始符; 根據預設的第一特征信息對所述起始符之后的時間序列數據進行匹配; 將匹配得到的時間序列數據合并為同一事件,得到分析結果。 可選的,所述方法還包括: 顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是否正確; 當根據用戶操作確認所述分析結果不正確時,獲取用戶輸入的第二特征信息; 根據所述第二特征信息對所述起始符之后的時間序列數據進行匹配; 將根據所述第二特征信息匹配得到的時間序列數據合并為同一事件。 可選的,所述方法還包括: 顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是否正確; 當根據用戶操作確認所述分析結果不正確時,生成第三特征信息; 根據所述第三特征信息對所述起始符之后的時間序列數據進行匹配; 將根據所述第三特征信息匹配得到的時間序列數據合并為同一事件 可選的,所述第一特征信息、第二特征信息或第三特征信息包括以下至少一種信 息:正則表達式,非字母、非數字的特殊字符,和文本特征模板。 本專利技術提供一種時間序列數據分析裝置,包括: 查找模塊,用于在時間序列數據中查找起始符; 匹配模塊,用于根據預設的第一特征信息對所述起始符之后的時間序列數據進行 匹配; 合并模塊,用于將匹配得到的時間序列數據合并為同一事件,得到分析結果。 可選的,所述裝置還包括: 顯示模塊,用于顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是 否正確; 獲取模塊,用于當根據用戶操作確認所述分析結果不正確時,獲取用戶輸入的第 二特征信息; 所述匹配模塊,用于根據所述第二特征信息對所述起始符之后的時間序列數據進 行匹配; 所述合并模塊,用于將根據所述第二特征信息匹配得到的時間序列數據合并為同 一事件。 可選的,所述裝置還包括: 顯示模塊,用于顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是 否正確; 生成模塊,用于當根據用戶操作確認所述分析結果不正確時,生成第三特征信 息; 所述匹配模塊,用于根據所述第三特征信息對所述起始符之后的時間序列數據進 行匹配; 所述合并模塊,用于將根據所述第三特征信息匹配得到的時間序列數據合并為同 一事件。 本實施例中,通過將多行日志合并為一個事件,提高數據分析的準確性和有效性。 并且,用戶操作方便,無需自行編寫程序,也不需要掌握正則表達式的寫法以及其他語句的 運用,只需要輸入每行日志的換行符即可實現對多行日志的分析合并。 本專利技術的其它特征和優點將在隨后的說明書中闡述,并且,部分地從說明書中變 得顯而易見,或者通過實施本專利技術而了解。本專利技術的目的和其他優點可通過在所寫的說明 書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。 下面通過附圖和實施例,對本專利技術的技術方案做進一步的詳細描述。 【附圖說明】 附圖用來提供對本專利技術的進一步理解,并且構成說明書的一部分,與本專利技術的實 施例一起用于解釋本專利技術,并不構成對本專利技術的限制。在附圖中: 圖1是本專利技術實施例時間序列數據分析方法的流程圖; 圖2是本專利技術另一實施例時間序列數據分析方法的流程圖; 圖3是本專利技術另一實施例時間序列數據分析方法的流程圖; 圖4是本專利技術另一實施例時間序列數據分析裝置的框圖; 圖5是本專利技術另一實施例時間序列數據分析裝置的框圖; 圖6是本專利技術另一實施例時間序列數據分析裝置的框圖。 【具體實施方式】 以下結合附圖對本專利技術的優選實施例進行說明,應當理解,此處所描述的優選實 施例僅用于說明和解釋本專利技術,并不用于限定本專利技術。 本專利技術實施例中,主要是對時間序列數據進行分析。時間序列數據即為在不同時 間點上收集到的數據,這類數據反映了某一事物、現象等隨時間的變化狀態或程度。例如, 我國國內生產總值從1949到2009的變化就是時間序列數據。本專利技術實施例中的時間序列 數據不僅包括日志,還包括各種傳感器、智能家電以及各種交易系統(電商、銀行、互聯網 金融)等產生的帶有時間戳的所有數據。 圖1是本專利技術實施例時間序列數據分析方法的流程圖,如圖1所示,該時間序列數 據分析方法,包括: 步驟S11,在時間序列數據中查找起始符; 步驟S12,根據預設的第一特征信息對起始符之后的時間序列數據進行匹配; 步驟S13,將匹配得到的時間序列數據合并為同一事件,得到分析結果。 例如,一個多行日志為: [MonMay26 21:06:09 20 14] [error][client157. 55. 33. 47]PHP Warning:date(): Exceptionmessage1234 CallStackO [MonMay26 21:06:102014] [error][client157.55.33.47].. 可以認為換行符為[,則系統會自動生成正則表達式\[[?]*\].* 識別后的日志為: [MonMay26 21 : 06 : 092014] [error][client157. 55. 33. 47]PHP Warning:date():Exceptionmessage1234CallStack() [MonMay26 21:06:102014] [error][client157.55.33.47].. 又例如,一個tomcat多行日志: 03 本文檔來自技高網...
【技術保護點】
一種時間序列數據分析方法,其特征在于,包括:在時間序列數據中查找起始符;根據預設的第一特征信息對所述起始符之后的時間序列數據進行匹配;將匹配得到的時間序列數據合并為同一事件,得到分析結果。
【技術特征摘要】
1. 一種時間序列數據分析方法,其特征在于,包括: 在時間序列數據中查找起始符; 根據預設的第一特征信息對所述起始符之后的時間序列數據進行匹配; 將匹配得到的時間序列數據合并為同一事件,得到分析結果。2. 如權利要求1所述的方法,其特征在于,所述方法還包括: 顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是否正確; 當根據用戶操作確認所述分析結果不正確時,獲取用戶輸入的第二特征信息; 根據所述第二特征信息對所述起始符之后的時間序列數據進行匹配; 將根據所述第二特征信息匹配得到的時間序列數據合并為同一事件。3. 如權利要求1所述的方法,其特征在于,所述方法還包括: 顯示提示信息,所述提示信息用于提示用戶確認所述分析結果是否正確; 當根據用戶操作確認所述分析結果不正確時,生成第三特征信息; 根據所述第三特征信息對所述起始符之后的時間序列數據進行匹配; 將根據所述第三特征信息匹配得到的時間序列數據合并為同一事件。4. 如權利要求1-3中任一所述的方法,其特征在于,所述第一特征信息、第二特征信息 或第三特征信息包括以下至少一種信息:正則表達式,非字母、非數字的特殊字符,和文本 特征模板。5...
【專利技術屬性】
技術研發人員:陳軍,梁玫娟,
申請(專利權)人:北京優特捷信息技術有限公司,
類型:發明
國別省市:北京;11
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。