【技術(shù)實現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)采集，適用于金融科技、數(shù)字醫(yī)療等領(lǐng)域，尤其涉及一種數(shù)據(jù)采集方法和裝置、計算機設(shè)備及存儲介質(zhì)。
技術(shù)介紹
1、前端網(wǎng)頁的性能和用戶體驗感影響用戶使用頻率，所以需要定期采集前端網(wǎng)頁上的數(shù)據(jù)進行分析。例如，在保險服務(wù)網(wǎng)頁上，需要定期采集保險服務(wù)網(wǎng)頁上用戶的點擊事件，當(dāng)用戶進入保險服務(wù)網(wǎng)頁時采集點擊事件相關(guān)的數(shù)據(jù)，以通過采集的數(shù)據(jù)分析保險服務(wù)網(wǎng)頁的性能和用戶體驗感。
2、相關(guān)技術(shù)中，前端網(wǎng)頁的數(shù)據(jù)采集主要是通過嵌入代碼方式實現(xiàn)，通過代碼監(jiān)聽用戶點擊行為相關(guān)的數(shù)據(jù)。但是，嵌入代碼方式需要給每一個組件的埋點都設(shè)置相應(yīng)的代碼，需要耗費大量的人力，且數(shù)據(jù)采集效率低下。因此，如何降低數(shù)據(jù)采集的人力，提高數(shù)據(jù)采集的效率，成為了亟待解決的技術(shù)問題。
技術(shù)實現(xiàn)思路
1、本申請實施例的主要目的在于提出一種數(shù)據(jù)采集方法和裝置、計算機設(shè)備及存儲介質(zhì)，旨在降低數(shù)據(jù)采集的人力，提高數(shù)據(jù)采集的效率。
2、為實現(xiàn)上述目的，本申請實施例的第一方面提出了一種數(shù)據(jù)采集方法，所述方法包括：
3、獲取目標(biāo)前端網(wǎng)頁的數(shù)據(jù)采集配置參數(shù)；其中，所述數(shù)據(jù)采集配置參數(shù)包括：采集網(wǎng)頁信息和采集模式信息；
4、根據(jù)所述采集網(wǎng)頁信息和所述采集模式信息對預(yù)設(shè)的原始采集模塊進行配置處理，得到目標(biāo)采集模塊；其中，所述目標(biāo)采集模塊包括至少一個目標(biāo)數(shù)據(jù)采集單元；
5、獲取所述目標(biāo)前端網(wǎng)頁的原始網(wǎng)頁層級和所述原始網(wǎng)頁層級的層級設(shè)置信息；
6、基于所述層級設(shè)置信息從所述原始
7、通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)。
8、在一些實施例，所述采集網(wǎng)頁信息包括：網(wǎng)頁接口信息、采集層級信息和采集屬性信息，所述原始采集模塊包括至少一個原始數(shù)據(jù)采集單元；
9、所述根據(jù)所述采集網(wǎng)頁信息和所述采集模式信息對預(yù)設(shè)的原始采集模塊進行配置處理，得到目標(biāo)采集模塊，包括：
10、根據(jù)所述網(wǎng)頁接口信息和所述采集層級信息對每一所述原始數(shù)據(jù)采集單元進行采集地址配置，得到初步數(shù)據(jù)采集單元；
11、根據(jù)所述采集屬性信息對所述初步數(shù)據(jù)采集單元進行采集屬性配置，得到候選數(shù)據(jù)采集單元；
12、根據(jù)所述采集模式信息和所述采集層級信息對每一所述候選數(shù)據(jù)采集單元進行采集模式配置，得到所述目標(biāo)數(shù)據(jù)采集單元；
13、將所述目標(biāo)數(shù)據(jù)采集單元進行拼接處理，得到所述目標(biāo)采集模塊。
14、在一些實施例，所述根據(jù)所述采集模式信息和所述采集層級信息對每一所述候選數(shù)據(jù)采集單元進行采集模式配置，得到所述目標(biāo)數(shù)據(jù)采集單元，包括：
15、根據(jù)所述采集層級信息獲取所述目標(biāo)前端網(wǎng)頁中每一層級的層級功能信息；
16、根據(jù)所述層級功能信息從所述采集模式信息中篩選出目標(biāo)模式信息；
17、根據(jù)所述目標(biāo)模式信息對每一所述候選數(shù)據(jù)采集單元進行采集模式配置，得到所述目標(biāo)數(shù)據(jù)采集單元。
18、在一些實施例，在所述通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)之后，所述方法還包括：
19、根據(jù)預(yù)設(shè)的上報觸發(fā)規(guī)則對所述目標(biāo)數(shù)據(jù)進行上報觸發(fā)評估，得到上報觸發(fā)評估信息；其中，所述上報觸發(fā)評估信息表征將所述目標(biāo)數(shù)據(jù)上報或者不上報；
20、若所述上報觸發(fā)評估信息表征為將所述目標(biāo)數(shù)據(jù)上報，則將所述目標(biāo)數(shù)據(jù)上報至目標(biāo)平臺。
21、在一些實施例，所述上報觸發(fā)規(guī)則包括：觸發(fā)事件信息和觸發(fā)節(jié)點信息；
22、所述根據(jù)所述上報觸發(fā)規(guī)則對所述目標(biāo)數(shù)據(jù)進行上報觸發(fā)評估，得到上報觸發(fā)評估信息，包括：
23、對所述目標(biāo)數(shù)據(jù)進行解析處理，得到數(shù)據(jù)解析信息；
24、根據(jù)所述數(shù)據(jù)解析信息和所述觸發(fā)節(jié)點信息從所述目標(biāo)數(shù)據(jù)中提取出目標(biāo)事件信息；
25、將所述目標(biāo)事件信息和所述觸發(fā)事件信息進行比對處理，得到事件比對信息；
26、根據(jù)所述事件比對信息對所述目標(biāo)數(shù)據(jù)進行上報觸發(fā)評估，得到所述上報觸發(fā)評估信息。
27、在一些實施例，所述若所述上報觸發(fā)評估信息表征為將所述目標(biāo)數(shù)據(jù)上報，則將所述目標(biāo)數(shù)據(jù)上報至目標(biāo)平臺，包括：
28、若所述上報觸發(fā)評估信息表征為將所述目標(biāo)數(shù)據(jù)上報，獲取所述目標(biāo)數(shù)據(jù)的采集單元信息；
29、對所述目標(biāo)數(shù)據(jù)進行加密處理，得到加密數(shù)據(jù)；
30、根據(jù)所述采集單元信息對所述加密數(shù)據(jù)進行優(yōu)先級設(shè)置，得到數(shù)據(jù)優(yōu)先級信息；
31、根據(jù)所述數(shù)據(jù)優(yōu)先級信息將所述加密數(shù)據(jù)上報至所述目標(biāo)平臺。
32、在一些實施例，在所述通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)之后，所述方法還包括：
33、接收配置更新請求；
34、根據(jù)所述配置更新請求對所述數(shù)據(jù)采集配置參數(shù)進行參數(shù)更新，得到更新采集配置參數(shù)；
35、根據(jù)所述更新采集配置參數(shù)對所述目標(biāo)數(shù)據(jù)采集單元進行配置更新，得到更新數(shù)據(jù)采集單元；
36、通過所述更新數(shù)據(jù)采集單元對所述目標(biāo)前端網(wǎng)頁進行數(shù)據(jù)采集，得到更新數(shù)據(jù)。
37、為實現(xiàn)上述目的，本申請實施例的第二方面提出了一種數(shù)據(jù)采集裝置，所述裝置包括：
38、參數(shù)獲取模塊，用于獲取目標(biāo)前端網(wǎng)頁的數(shù)據(jù)采集配置參數(shù)；其中，所述數(shù)據(jù)采集配置參數(shù)包括：采集網(wǎng)頁信息和采集模式信息；
39、配置模塊，用于根據(jù)所述采集網(wǎng)頁信息和所述采集模式信息對預(yù)設(shè)的原始采集模塊進行配置處理，得到目標(biāo)采集模塊；其中，所述目標(biāo)采集模塊包括至少一個目標(biāo)數(shù)據(jù)采集單元；
40、信息獲取模塊，用于獲取所述目標(biāo)前端網(wǎng)頁的原始網(wǎng)頁層級和所述原始網(wǎng)頁層級的層級設(shè)置信息；
41、層級篩選模塊，用于基于所述層級設(shè)置信息從所述原始網(wǎng)頁層級中篩選出目標(biāo)網(wǎng)頁層級；
42、數(shù)據(jù)采集模塊，用于通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)。
43、為實現(xiàn)上述目的，本申請實施例的第三方面提出了一種計算機設(shè)備，所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第一方面所述的方法。
44、為實現(xiàn)上述目的，本申請實施例的第四方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面所述的方法。
45、本申請?zhí)岢龅臄?shù)據(jù)采集方法和裝置、計算機設(shè)備及存儲介質(zhì)，其通過按照目標(biāo)前端網(wǎng)頁配置好的采集網(wǎng)頁信息和采集模式信息將原始采集模塊配置成目標(biāo)采集模塊，然后從目標(biāo)前端網(wǎng)頁的原始網(wǎng)頁層級中選出允許數(shù)據(jù)采集的目標(biāo)網(wǎng)頁層級。當(dāng)需要數(shù)據(jù)采集時，通過目標(biāo)采集模塊中每一目標(biāo)數(shù)據(jù)采集單元完成目標(biāo)網(wǎng)頁層級的數(shù)據(jù)采集，無需提前針對目標(biāo)前端網(wǎng)頁的組件逐個配置代碼，使得數(shù)據(jù)采集操作更加簡易。因此，數(shù)據(jù)采集操作僅需要提前完成采集模塊的采集配本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種數(shù)據(jù)采集方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集網(wǎng)頁信息包括：網(wǎng)頁接口信息、采集層級信息和采集屬性信息，所述原始采集模塊包括至少一個原始數(shù)據(jù)采集單元；
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述采集模式信息和所述采集層級信息對每一所述候選數(shù)據(jù)采集單元進行采集模式配置，得到所述目標(biāo)數(shù)據(jù)采集單元，包括：
4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，在所述通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)之后，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述上報觸發(fā)規(guī)則包括：觸發(fā)事件信息和觸發(fā)節(jié)點信息；
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述若所述上報觸發(fā)評估信息表征為將所述目標(biāo)數(shù)據(jù)上報，則將所述目標(biāo)數(shù)據(jù)上報至目標(biāo)平臺，包括：
7.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，在所述通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)之后，所述方法還包括：
8.一種
9.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7任一項所述的數(shù)據(jù)采集方法。
10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的數(shù)據(jù)采集方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)采集方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集網(wǎng)頁信息包括：網(wǎng)頁接口信息、采集層級信息和采集屬性信息，所述原始采集模塊包括至少一個原始數(shù)據(jù)采集單元；
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述采集模式信息和所述采集層級信息對每一所述候選數(shù)據(jù)采集單元進行采集模式配置，得到所述目標(biāo)數(shù)據(jù)采集單元，包括：
4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，在所述通過每一所述目標(biāo)數(shù)據(jù)采集單元對所述目標(biāo)網(wǎng)頁層級進行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)之后，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述上報觸發(fā)規(guī)則包括：觸發(fā)事件信息和觸發(fā)節(jié)點信息；
6.根據(jù)權(quán)利要求4所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁嘉欽，
申請(專利權(quán))人：中國平安人壽保險股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。