【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)處理，尤其涉及一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法、裝置、終端及存儲介質(zhì)。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)的發(fā)展，各行各業(yè)也都開展了互聯(lián)網(wǎng)業(yè)務(wù)，且目前對于用戶行為的分析也大多采用互聯(lián)網(wǎng)的流量數(shù)據(jù)分析獲得，目前基本實(shí)施方法是在流量分析過程中，對用戶感興趣的一類統(tǒng)計(jì)指標(biāo)進(jìn)行分析統(tǒng)計(jì)，并將產(chǎn)生的統(tǒng)計(jì)數(shù)據(jù)存儲在數(shù)據(jù)倉庫中，提供查詢接口給用戶，用戶再根據(jù)條件查詢到具體的統(tǒng)計(jì)數(shù)據(jù)。然而專利技術(shù)人發(fā)現(xiàn)，現(xiàn)有技術(shù)在對某一類指標(biāo)進(jìn)行統(tǒng)計(jì)時(shí)，常會產(chǎn)生大量無關(guān)的統(tǒng)計(jì)數(shù)據(jù)，使得分析效率慢，如用戶需要統(tǒng)計(jì)端口為80、8080的流量總量，現(xiàn)有技術(shù)數(shù)據(jù)倉庫的實(shí)現(xiàn)方法是全量統(tǒng)計(jì)所有端口的流量總量，將統(tǒng)計(jì)后的記錄存儲在數(shù)據(jù)庫中，然后從中查詢出80、8080端口的流量總量。再如客戶需要統(tǒng)計(jì)某一分鐘內(nèi)ip為192.168.1.1的流量總量，現(xiàn)有技術(shù)數(shù)據(jù)倉庫的實(shí)現(xiàn)方法是全量統(tǒng)計(jì)每一分鐘內(nèi)所有ip的流量總量，將統(tǒng)計(jì)后的記錄存儲在數(shù)據(jù)庫中，然后從中查詢出某一分鐘內(nèi)ip為192.168.1.1的流量總量。當(dāng)用戶的需求越來越精準(zhǔn)，數(shù)據(jù)倉庫需要統(tǒng)計(jì)計(jì)算和查詢的數(shù)據(jù)量就越大，且不能隨著客戶的需求而自適應(yīng)，進(jìn)而影響用戶的使用體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本申請實(shí)施例提供一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法、裝置、終端及存儲介質(zhì)，可以有效解決不能快速獲得用戶定制化需求的問題等。
2、第一方面，本申請實(shí)施例提供一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，包括：
3、加載至少一個定制化的統(tǒng)計(jì)日志，并分析每個所述統(tǒng)計(jì)日志中包含的
4、判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)；其中，所述元數(shù)據(jù)為解析網(wǎng)絡(luò)流量數(shù)據(jù)包獲得；
5、若一所述統(tǒng)計(jì)日志中的所有所述維度和所述指標(biāo)都存在對應(yīng)所述元數(shù)據(jù)，則將對應(yīng)所述統(tǒng)計(jì)日志作為命中統(tǒng)計(jì)日志，并從所述元數(shù)據(jù)中取對應(yīng)值賦給所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)；
6、對所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)進(jìn)行歸一化處理，得到定制化統(tǒng)計(jì)記錄。
7、在一些實(shí)施例中，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和指標(biāo)是否存在所配置的元數(shù)據(jù)之前，還包括：
8、分析每個所述統(tǒng)計(jì)日志獲得的所有所述維度和所述指標(biāo)，并對獲得的所有所述維度和所述指標(biāo)進(jìn)行去重處理，然后將去重后的所述維度和所述指標(biāo)保存至目標(biāo)數(shù)組中；
9、遍歷所述目標(biāo)數(shù)組中的所述維度和所述指標(biāo)。
10、在一些實(shí)施例中，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)，包括：
11、判斷所述目標(biāo)數(shù)組中的剩余所述維度對應(yīng)的所述元數(shù)據(jù)是否存在；
12、若存在，則提取所述維度對應(yīng)的元數(shù)據(jù)；其中，剩余所述維度為所有所述維度去除標(biāo)注不判斷標(biāo)識的維度后剩余的維度；
13、若不存在，則對包含對應(yīng)所述維度的所述統(tǒng)計(jì)日志標(biāo)注命中失敗的標(biāo)識；
14、所有維度遍歷結(jié)束后，判斷所述目標(biāo)數(shù)組中的剩余所述指標(biāo)對應(yīng)的所述元數(shù)據(jù)是否存在；其中，所述剩余所述指標(biāo)為所有所述指標(biāo)去除標(biāo)注不判斷標(biāo)識的指標(biāo)后剩余的指標(biāo)；
15、若存在，則提取所述指標(biāo)對應(yīng)的元數(shù)據(jù)；
16、若不存在，則對包含對應(yīng)所述指標(biāo)的所述統(tǒng)計(jì)日志標(biāo)注命中失敗的標(biāo)識。
17、在一些實(shí)施例中，所述則對包含對應(yīng)所述維度的所述統(tǒng)計(jì)日志標(biāo)注命中失敗的標(biāo)志之后，還包括：
18、判斷命中失敗的所述統(tǒng)計(jì)日志中的剩余所述維度是否包含在其余所述統(tǒng)計(jì)日志中；
19、若剩余所述維度不包含在其余所述統(tǒng)計(jì)日志中，則對所述維度標(biāo)注不判斷標(biāo)識；
20、判斷命中失敗的所述統(tǒng)計(jì)日志中的所述指標(biāo)是否包含在其余所述統(tǒng)計(jì)日志中；
21、若命中失敗的所述統(tǒng)計(jì)日志中的所述指標(biāo)不包含在其余所述統(tǒng)計(jì)日志中，則對所述指標(biāo)標(biāo)注不判斷標(biāo)識。
22、在一些實(shí)施例中，所述將所述統(tǒng)計(jì)日志中的所有所述維度和所述指標(biāo)都存在所配置的元數(shù)據(jù)的統(tǒng)計(jì)日志作為命中統(tǒng)計(jì)日志之后，還包括：
23、判斷每個所述命中統(tǒng)計(jì)日志中是否包含時(shí)間周期維度；
24、若不包含所述時(shí)間周期維度，則提取所述命中統(tǒng)計(jì)日志設(shè)置的時(shí)間周期，并判斷所述時(shí)間周期是否滿足條件。
25、在一些實(shí)施例中，所述對所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)進(jìn)行歸一化處理，得到定制化統(tǒng)計(jì)記錄，包括：
26、分析所有所述命中統(tǒng)計(jì)日志，將所述維度相同的所述命中統(tǒng)計(jì)日志合并；
27、對每個所述指標(biāo)根據(jù)對應(yīng)的指標(biāo)計(jì)算規(guī)則進(jìn)行計(jì)算，并對應(yīng)至不同的所述命中統(tǒng)計(jì)日志，得到定制化統(tǒng)計(jì)記錄。
28、在一些實(shí)施例中，所述將去重后的所述維度和指標(biāo)保存至目標(biāo)數(shù)組中，包括：
29、將去重后的所述維度和指標(biāo)分別保存在維度一維數(shù)組和指標(biāo)一維數(shù)組中，并記錄每個所述維度和每個所述指標(biāo)的索引下標(biāo)。
30、第二方面，本申請實(shí)施例提供一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析裝置，包括：
31、分析模塊，用于加載至少一個定制化的統(tǒng)計(jì)日志，并分析每個所述統(tǒng)計(jì)日志中包含的維度和指標(biāo)；
32、判斷模塊，用于判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)；其中，所述元數(shù)據(jù)為解析網(wǎng)絡(luò)流量數(shù)據(jù)包獲得；
33、統(tǒng)計(jì)模塊，若一所述統(tǒng)計(jì)日志中的所有所述維度和所述指標(biāo)都存在對應(yīng)所述元數(shù)據(jù)，則將對應(yīng)所述統(tǒng)計(jì)日志作為命中統(tǒng)計(jì)日志，并從所述元數(shù)據(jù)中取對應(yīng)值賦給所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)；
34、處理模塊，用于對所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)進(jìn)行歸一化處理，得到定制化統(tǒng)計(jì)記錄。
35、第三方面，本申請實(shí)施例提供一種終端設(shè)備，所述終端設(shè)備包括處理器和存儲器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述計(jì)算機(jī)程序以實(shí)施上述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法。
36、第四方面，本申請實(shí)施例提供一種可讀存儲介質(zhì)，其存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在處理器上執(zhí)行時(shí)，實(shí)施上述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法。
37、本申請的實(shí)施例具有如下有益效果：本申請通過對符合用戶需求的定制化統(tǒng)計(jì)日志中的維度和指標(biāo)進(jìn)行分析，進(jìn)而可以避免無關(guān)指標(biāo)數(shù)據(jù)的處理，處理結(jié)果更精準(zhǔn)，且通過用戶定義的統(tǒng)計(jì)日志可以滿足不同用戶的需求。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)之前，還包括：
3.根據(jù)權(quán)利要求2所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求3所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述則對包含對應(yīng)所述維度的所述統(tǒng)計(jì)日志標(biāo)注命中失敗的標(biāo)志之后，還包括：
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述將所述統(tǒng)計(jì)日志中的所有所述維度和所述指標(biāo)都存在所配置的元數(shù)據(jù)的統(tǒng)計(jì)日志作為命中統(tǒng)計(jì)日志之后，還包括：
6.根據(jù)權(quán)利要求1所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述對所述命中統(tǒng)計(jì)日志中的所述維度和所述指標(biāo)進(jìn)行歸一化處理，得到定制化統(tǒng)計(jì)記錄，包括：
7.根據(jù)權(quán)利要求2所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述將去重后的所述維度和指標(biāo)保存至目標(biāo)數(shù)組中，包
8.一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析裝置，其特征在于，包括：
9.一種終端設(shè)備，其特征在于，所述終端設(shè)備包括處理器和存儲器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述計(jì)算機(jī)程序以實(shí)施權(quán)利要求1-7中任一項(xiàng)所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法。
10.一種可讀存儲介質(zhì)，其特征在于，其存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在處理器上執(zhí)行時(shí)，實(shí)施根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法。
...【技術(shù)特征摘要】
1.一種基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)之前，還包括：
3.根據(jù)權(quán)利要求2所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述判斷每個所述統(tǒng)計(jì)日志的所述維度和所述指標(biāo)是否存在所配置的元數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求3所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述則對包含對應(yīng)所述維度的所述統(tǒng)計(jì)日志標(biāo)注命中失敗的標(biāo)志之后，還包括：
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于網(wǎng)絡(luò)流量的數(shù)據(jù)分析方法，其特征在于，所述將所述統(tǒng)計(jì)日志中的所有所述維度和所述指標(biāo)都存在所配置的元數(shù)據(jù)的統(tǒng)計(jì)日志作為命中統(tǒng)計(jì)日志之后，還包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：袁慶，
申請(專利權(quán))人：北京科來數(shù)據(jù)分析有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。