【技術實現步驟摘要】
本申請涉及數據處理，尤其涉及一種數據生產方法、裝置、設備以及存儲介質。
技術介紹
1、現有的數據生產方法往往解決如何針對大型數據集進行數據挖掘從而得到生產數據，無法實現生產數據的快速迭代更新。
2、因此，現有數據生產方法在對大型數據集進行數據生產時，存在無法快速迭代更新的問題。
3、上述內容僅用于輔助理解本申請的技術方案，并不代表承認上述內容是現有技術。
技術實現思路
1、本申請的主要目的在于提供一種數據生產方法、裝置、設備以及存儲介質，旨在解決現有數據生產方法在對大型數據集進行數據生產時，存在無法快速迭代更新的技術問題。
2、為實現上述目的，本申請提出一種數據生產方法，所述方法應用于數據管理平臺，所述數據管理平臺包括機器集群，所述方法包括：
3、接收用戶的數據生產需求；
4、基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務；
5、基于所述第一數據生產任務，創建數據調度隊列；
6、基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果。
7、在一實施例中，所述第一數據生產任務包括目標數據版本信息和目標原始數據信息，第一數據生產任務類型由所述數據生產需求確定得到，所述第一數據生產任務類型包括第一類型與第二類型，所述基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務的步驟，包括：
8、當所述第一數據生產任務類型是第一類型時，根據數
9、當所述第一數據生產任務類型是第二類型時，根據數據生產需求與預設的數據版本列表，確定目標數據版本信息和目標原始數據信息；
10、基于所述目標數據版本信息和目標原始數據信息，創建第一數據生產任務。
11、在一實施例中，所述接收用戶的數據生產需求的步驟之前，還包括：
12、接收用戶的數據版本需求；
13、基于所述數據版本需求，確定數據版本的版本信息；
14、根據所述版本信息創建數據版本；
15、基于所述數據版本，生成所述數據版本列表。
16、在一實施例中，所述版本信息包括版本特性，所述基于所述數據版本，生成所述數據版本列表的步驟之后，還包括：
17、如果所述數據版本的版本特性是預設特性，則基于所述數據版本自動創建第二數據生產任務；
18、基于所述第二數據生產任務，確認目標原始數據與任務優先級；
19、基于所述目標原始數據與任務優先級，創建數據調度隊列，執行步驟：基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果；
20、如果所述數據版本的版本特性不是預設特性，則執行步驟：接收用戶的數據生產需求。
21、在一實施例中，所述基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果的步驟，包括：
22、通過預設調度算法，按照預設周期定期檢測所述機器集群的資源狀態；
23、根據所述資源狀態，從所述數據調度隊列中調度目標原始數據，獲取目標數據信息；
24、將所述目標數據信息，下發給所述機器集群；
25、基于所述機器集群，根據所述目標數據信息進行數據生產，得到數據生產結果。
26、在一實施例中，所述目標數據信息包括所述目標數據版本信息，所述目標數據版本信息包括關聯分支算法，所述基于所述機器集群，根據所述目標數據信息進行數據生產，得到數據生產結果的步驟，包括：
27、基于所述機器集群，根據所述目標數據信息進行容器的配置與部署；
28、基于所述容器，獲取目標數據，并根據所述關聯分支算法對所述目標數據進行數據生產，得到數據生產結果。
29、在一實施例中，所述方法還包括：
30、根據預設的數據版本列表，對所述數據版本進行檢索和管理；
31、根據數據調度隊列，對所述數據生產任務進行管理；
32、將所述數據生產結果上傳并存儲至數據管理平臺的云數據庫，并刪除所述機器集群上的中間產出數據。
33、此外，為實現上述目的，本申請還提出一種數據生產裝置，所述數據生產裝置應用于數據管理平臺，所述數據管理平臺包括機器集群，所述數據生產裝置包括：
34、接收模塊，用于接收用戶的數據生產需求；
35、任務創建模塊，用于基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務；
36、隊列創建模塊，用于基于所述第一數據生產任務，創建數據調度隊列；
37、數據生產模塊，用于基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果。
38、此外，為實現上述目的，本申請還提出一種數據生產設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如上文所述的數據生產方法的步驟。
39、此外，為實現上述目的，本申請還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如上文所述的數據生產方法的步驟。
40、本申請提出的一個或多個技術方案，至少具有以下技術效果：
41、本申請實施例提出的數據生產方法、裝置、設備以及存儲介質，具體通過接收用戶的數據生產需求；基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務；基于所述第一數據生產任務，創建數據調度隊列；基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果。
42、本申請通過接收用戶的數據生產需求，結合預設的數據版本列表創建得到數據生產任務，然后根據數據生產任務中的目標數據版本以及目標原始數據，創建數據生產的調度隊列，然后通過機器集群與預設調度算法，依據數據調度隊列進行數據生產，完成了對大規模數據集的快速生產，同時依據數據版本列表中的多個數據版本滿足不同的用戶需求，實現任意多個版本數據可同時被調度處理，保證生產數據的多樣性以及快速迭代更新。
本文檔來自技高網...【技術保護點】
1.一種數據生產方法，其特征在于，所述方法應用于數據管理平臺，所述數據管理平臺包括機器集群，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述第一數據生產任務包括目標數據版本信息和目標原始數據信息，第一數據生產任務類型由所述數據生產需求確定得到，所述第一數據生產任務類型包括第一類型與第二類型，所述基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務的步驟，包括：
3.如權利要求2所述的方法，其特征在于，所述接收用戶的數據生產需求的步驟之前，還包括：
4.如權利要求3所述的方法，其特征在于，所述版本信息包括版本特性，所述基于所述數據版本，生成所述數據版本列表的步驟之后，還包括：
5.如權利要求2所述的方法，其特征在于，所述基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果的步驟，包括：
6.如權利要求5所述的方法，其特征在于，所述目標數據信息包括所述目標數據版本信息，所述目標數據版本信息包括關聯分支算法，所述基于所述機器集群，根據所述目標數據信息進行數據生產，得到數據生產結果
7.如權利要求1至6中任一項所述的方法，其特征在于，所述方法還包括：
8.一種數據生產裝置，其特征在于，所述數據生產裝置應用于數據管理平臺，所述數據管理平臺包括機器集群，所述數據生產裝置包括：
9.一種數據生產設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如權利要求1至7中任一項所述的數據生產方法的步驟。
10.一種存儲介質，其特征在于，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的數據生產方法的步驟。
...【技術特征摘要】
1.一種數據生產方法，其特征在于，所述方法應用于數據管理平臺，所述數據管理平臺包括機器集群，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述第一數據生產任務包括目標數據版本信息和目標原始數據信息，第一數據生產任務類型由所述數據生產需求確定得到，所述第一數據生產任務類型包括第一類型與第二類型，所述基于所述數據生產需求與預設的數據版本列表，創建第一數據生產任務的步驟，包括：
3.如權利要求2所述的方法，其特征在于，所述接收用戶的數據生產需求的步驟之前，還包括：
4.如權利要求3所述的方法，其特征在于，所述版本信息包括版本特性，所述基于所述數據版本，生成所述數據版本列表的步驟之后，還包括：
5.如權利要求2所述的方法，其特征在于，所述基于所述機器集群、預設調度算法以及數據調度隊列，進行數據生產，得到數據生產結果的步驟，包括：
6.如權利要...
【專利技術屬性】
技術研發人員：陳建國，汪振，杜明博，
申請(專利權)人：浙江極氪智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。