【技術實現步驟摘要】
本專利技術涉及一種基于數據特征的數據過濾及采集方法、系統和介質，屬于物聯網終端。
技術介紹
1、?物聯網終端管控中為了更好的用戶體驗，將終端的用戶行為數據經過采集、過濾、上報，然而在終端機頂盒通過apk集成fluent?bit來進行數據的無埋點采集，由于數據的特性，android的底層logcat在上報原始數據的時候，按照一定的格式規范（即【日期】【時間】【進程id】【線程id】【日志級別】【日志標簽】【:】【日志正文】實例如：05-30?13:16:44.9077477?7477?d?idmsiiotonpublish:?get?method?getdevicebasicinfo），在有些時候同一個日志標簽（idmsiiotonpublish）會產生非常多的日志，這就意味著在同一時刻除了我們需要的必要的數據之外還有許多額外不需要的臟數據，從而浪費更多的資源。
技術實現思路
1、本專利技術目的是提供了一種基于數據特征的數據過濾及采集方法、系統和介質，通過集成網絡協議添加數據特征、數據過濾條件來達到數據流量的降低效果，從而提高數據的采集效率。
2、本專利技術為實現上述目的，通過以下技術方案實現：
3、在服務端的web配置界面設置fluent?bit的日志采集規則，并將配置文件保存至oss服務，所述日志采集規則包括日志級別、日志標簽、數據特征；
4、將終端設備通電并與服務端建立連接，下載服務端oss中的配置文件；
5、對下載完成的配置文件
6、使用重構的logcat?lib根據傳來的日志標簽、日志級別和數據特征喚醒對應數據采集服務；
7、將logcat?lib過濾后的原始日志緩存到log.log文件中；
8、fluent?bit在收到logcat?lib生成的數據后結合應用程序下載的日志采集規則的正則表達式，對讀取的文件內容進行解析，獲得json結果，將json結果通過應用程序進行處理、分流。
9、優選的，fluent?bit的采集規則采用正表達式匹配。
10、優選的，所述數據采集服務在service啟動后通過應用程序中的jni接口喚醒，并根據采集的日志標簽、日志級別和數據特征實現logcat?lib。
11、優選的，所述logcat?lib過濾包括采集、過濾、格式化。
12、本專利技術的優點在于：提高了終端數據采集時終端的性能，減少不必要的臟數據上報，針對android的原生logcat的全量的上報數據，通過集成網絡協議添加數據特征、數據過濾條件來達到數據流量的降低效果，從而提高數據的采集效率。
本文檔來自技高網...【技術保護點】
1.一種基于數據特征的數據過濾及采集方法，其特征在于，包括
2.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于，FluentBit的采集規則采用正表達式匹配。
3.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于，所述數據采集服務在Service啟動后通過應用程序中的JNI接口喚醒，并根據采集的日志標簽、日志級別和數據特征實現Logcat?lib。
4.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于，所述Logcat?lib過濾包括采集、過濾、格式化。
5.一種基于數據特征的數據過濾及采集系統，其特征在于，包括：
6.一種用于基于數據特征的數據過濾及采集裝置，包括處理器和存儲有程序指令的存儲器，其特征在于，所述處理器被配置為在運行所述程序指令時，執行如權利要求1至4任一項所述的基于數據特征的數據過濾及采集方法。
7.一種存儲介質，存儲有程序指令，其特征在于，所述程序指令在運行時，執行如權利要求1至4任一項所述的基于數據特征的數據過濾及采集方法。
【技術特征摘要】
1.一種基于數據特征的數據過濾及采集方法，其特征在于，包括
2.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于，fluentbit的采集規則采用正表達式匹配。
3.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于，所述數據采集服務在service啟動后通過應用程序中的jni接口喚醒，并根據采集的日志標簽、日志級別和數據特征實現logcat?lib。
4.根據權利要求1所述的基于數據特征的數據過濾及采集方法，其特征在于...
【專利技術屬性】
技術研發人員：李向佳，
申請(專利權)人：浪潮智能物聯技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。