【技術實現步驟摘要】
本申請涉及大數據，特別是涉及一種數據采集方法、裝置、平臺、設備、存儲介質和產品。
技術介紹
1、隨著數字家庭領域的快速發展，連接家庭網關的設備數量日益增多，家庭網關逐漸成為數字家庭的中樞樞紐。大量不同來源和類型的業務數據通過家庭網關匯總后上傳至數據采集服務器。
2、相關技術中，數據采集服務器按照固定流程依次處理所有上報的數據，不同類型的數據共享相同的計算和網絡資源，導致關鍵數據可能因資源競爭而延遲處理。當數據量驟增或發生網絡擁堵時，所有數據的接收和處理流程均會受到影響，導致系統的穩定性和可靠性降低。
技術實現思路
1、基于此，有必要針對上述技術問題，提供一種能夠提升穩定性和可靠性的數據采集方法、裝置、平臺、設備、存儲介質和產品。
2、第一方面，本申請提供了一種數據采集方法。該方法包括：
3、接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；
4、將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；
5、基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。
6、在其中一個實施例中，所述基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理，包括：
7、確定所述緩存隊列的優先級級別；
8、基于所述緩存隊列的優先級級別確定所述緩存隊列的
9、在其中一個實施例中，所述基于所述隊列處理順序對所述緩存隊列的業務數據包進行數據處理，包括：
10、基于所述隊列處理順序從多個緩存隊列中確定目標緩存隊列；
11、獲取所述目標緩存隊列中業務數據包的二級數據類型；所述二級數據類型是通過所述業務數據包的二級數據標識確定的；
12、基于所述二級數據類型，采用時間片輪轉算法將所述目標緩存隊列的業務數據包對應的數據推入數據庫中。
13、在其中一個實施例中，該方法還包括：
14、獲取最高優先級級別對應的一級數據類型的類型數；
15、調用與所述類型數相同個數的服務端對所述緩存隊列中的業務數據包進行并行處理；
16、其中，相同一級數據類型的業務數據包發送至同一個服務端進行數據處理。
17、在其中一個實施例中，所述接收來自網關的業務數據包之前，包括：
18、確定不同地理區域分別對應的訪問地址；
19、將地理區域與訪問地址之間的映射關系同步至dns服務器，以使所述dns服務器在接收到網關的訪問請求時，將所述網關所在地理區域對應的訪問地址發送至所述網關。
20、第二方面，本申請還提供了一種數據采集平臺，該平臺包括：
21、數據解壓解密模塊，用于：接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；
22、數據解析模塊，與所述數據解壓解密模塊連接，用于基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。
23、第三方面，本申請還提供了一種數據采集裝置。該裝置包括：
24、接收模塊，用于接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；
25、匹配模塊，用于基于目標匹配規則和所述一級數據標識，確定與所述業務數據包匹配的目標優先級；
26、隊列模塊，用于將所述業務數據包推入與所述目標優先級對應的緩存隊列中；其中，業務數據包的優先級級別和優先級級別對應的緩存隊列的處理順序呈正相關。
27、第四方面，本申請還提供了一種計算機設備。該計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現以下步驟：
28、接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；
29、將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；
30、基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。
31、第五方面，本申請還提供了一種計算機可讀存儲介質。該計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現以下步驟：
32、接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；
33、將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；
34、基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。
35、第六方面，本申請還提供了一種計算機程序產品。該計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現以下步驟：
36、接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；
37、將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；
38、基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。
39、上述數據采集方法、裝置、平臺、設備、存儲介質和產品，通過接收來自網關的業務數據包；所述業務數據包包括一級數據標識，所述一級數據標識用于指示所述業務數據包的一級數據類型；將所述業務數據包推入與所述業務數據包的一級數據類型對應的緩存隊列中；基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理；所述緩存隊列的優先級級別是通過所述一級數據類型確定的。本申請提供的基于家庭網關或其他物聯網終端的數據采集的方法，通過一級數據標識將業務數據包分為不同的一級數據類型，并將不同一級數據類型的業務數據包推入不同的緩存隊列中，并按照一級數據類型標記優先級級別，從而能夠基于緩存隊列的優先級別對不同緩存隊列中的業務數據包進行數據處理，提高了數據采集的性能及可擴展性，對多類型的數據采取優先級設置，在不增加計算資源和網絡資源的前提下提高重點數據采集的實時性。
本文檔來自技高網...【技術保護點】
1.一種數據采集方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理，包括：
3.根據權利要求2所述的方法，其特征在于，所述基于所述隊列處理順序對所述緩存隊列的業務數據包進行數據處理，包括：
4.根據權利要求1所述的方法，其特征在于，所述方法還包括：
5.根據權利要求1至4任意一項所述的方法，其特征在于，所述接收來自網關的業務數據包之前，包括：
6.一種數據采集平臺，其特征在于，所述平臺包括：
7.一種數據采集裝置，其特征在于，所述裝置包括：
8.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至6中任一項所述的方法的步驟。
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。
10.一種計算機程序產品，包括計算機程序，其特征在于
...【技術特征摘要】
1.一種數據采集方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述基于所述緩存隊列的優先級別對所述緩存隊列中的業務數據包進行數據處理，包括：
3.根據權利要求2所述的方法，其特征在于，所述基于所述隊列處理順序對所述緩存隊列的業務數據包進行數據處理，包括：
4.根據權利要求1所述的方法，其特征在于，所述方法還包括：
5.根據權利要求1至4任意一項所述的方法，其特征在于，所述接收來自網關的業務數據包之前，包括：
6.一種數據采集平臺，其特征在于...
【專利技術屬性】
技術研發人員：李振府，侯象飛，趙江平，曹沖，
申請(專利權)人：天翼數字生活科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。