【技術實現步驟摘要】
本申請涉及大數據，特別是涉及一種數據實時處理方法、裝置、計算機設備、存儲介質和計算機程序產品。
技術介紹
1、隨著移動互聯網、物聯網、云計算產業的深入發展，大數據產業體量呈現爆發式增長態勢，因此實時的大數據集分析也變得愈發重要。實時處理分析海量的數據，對于算法以及平臺而言都是巨大的工作量。
2、傳統技術中，通常是使用數據庫對海量的數據進行存儲和處理，以供需要使用相關數據時進行數據查詢，或者為節省數據庫資源，定期處理大量數據，并及時清理過期數據，以為新數據提供內存。
3、然而，傳統技術中所使用的數據庫對大數據的處理效果非常有限，難以應對日益增長的數據規模，數據處理效率低下。
技術實現思路
1、基于此，有必要針對上述技術問題，提供一種能夠提高數據處理效率的數據實時處理方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。
2、第一方面，本申請提供了一種數據處理效率方法。所述方法包括：
3、獲取來自不同數據源的業務數據，得到多源業務數據集；
4、通過預設的流處理平臺，對所述多源業務數據集進行流式處理，得到業務數據流；
5、對所述業務數據流進行數據預處理，得到目標業務數據流；
6、以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果；
7、其中，所述已訓練的業務數據處理模型基于歷史多源業務數據集訓練得到。
8、在其中一個
9、所述調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，包括：
10、在所述目標業務數據流為圖像數據流的情況下，調用所述自適應卷積層對所述圖像數據流進行自適應特征提取操作，得到圖像特征提取結果；
11、調用所述池化層對所述圖像特征提取結果進行下采樣操作，得到目標圖像特征提取結果；
12、調用所述全連接層對所述目標圖像特征提取結果進行特征整合，得到圖像數據處理結果，所述業務數據處理結果包括所述圖像數據處理結果。
13、在其中一個實施例中，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，包括：
14、在所述目標業務數據流為文本數據流的情況下，調用預設的詞嵌入算法，將所述文本數據流中的文本數據分別映射為文本向量數據，得到文本向量序列數據，所述文本向量序列數據包括多個時間步下的文本向量數據；
15、根據文本向量數據之間的順序，依次將所述文本向量序列中文本向量數據輸入至已訓練的業務數據處理模型；
16、針對每一個時間步，合并當前時間步所對應的文本向量數據和前一時間步的隱藏狀態，得到合并后的文本向量數據；
17、根據預設的激活函數和預設的權重矩陣，對所述合并后的文本向量數據進行非線性變換處理，得到當前時間步的隱藏狀態；
18、返回所述針對每一個時間步，合并當前時間步所對應的文本向量數據和前一時間步的隱藏狀態，得到合并后的文本向量數據的步驟，直至得到最后一個時間步的隱藏狀態；
19、根據所述最后一個時間步的隱藏狀態，確定文本數據處理結果，所述業務數據處理結果包括所述文本數據處理結果。
20、在其中一個實施例中，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理之前，所述方法還包括：
21、對所述歷史多源業務數據集進行預處理，得到訓練數據集，所述歷史多源業務數據集包括第一業務數據處理結果；
22、構建初始業務數據處理模型；
23、以所述訓練數據集為輸入，調用所述初始業務數據處理模型對所述訓練數據集進行數據處理，得到第二業務數據處理結果；
24、根據所述第一業務數據處理結果和所述第二業務數據處理結果，構建損失函數；
25、調用預設的反向傳播算法，最小化所述損失函數的函數值，更新所述初始業務數據處理模型的模型參數；
26、返回所述以所述訓練數據集為輸入，調用所述初始業務數據處理模型對所述訓練數據集進行數據處理的步驟，直至迭代次數達到預設的目標迭代次數，停止訓練，得到訓練后的業務數據處理模型。
27、在其中一個實施例中，所述對所述業務數據流進行數據預處理，得到目標業務數據流，包括：
28、對所述業務數據流進行數據清洗，篩除所述業務數據流中的重復業務數據和離群點，得到第一業務數據流；
29、對所述第一業務數據流中的缺失值進行填充，得到第二業務數據流；
30、對所述第二業務數據流進行歸一化處理，得到目標業務數據流。
31、在其中一個實施例中，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，之后還包括：
32、識別所述目標業務數據流的數據類型；
33、根據所述數據類型，為所述目標業務數據流匹配相應的模型性能評估指標；
34、基于所述模型性能評估指標，對所述業務數據處理模型進行評估，得到模型評估結果；
35、根據所述模型評估結果，更新所述業務數據處理模型的模型參數。
36、第二方面，本申請還提供了一種數據實時處理裝置。所述裝置包括：
37、數據獲取模塊，用于獲取來自不同數據源的業務數據，得到多源業務數據集；
38、流式處理模塊，用于通過預設的流處理平臺，對所述多源業務數據集進行流式處理，得到業務數據流；
39、預處理模塊，用于對所述業務數據流進行數據預處理，得到目標業務數據流；
40、數據處理模塊，用于以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，所述已訓練的業務數據處理模型基于歷史多源業務數據集訓練得到。
41、第三方面，本申請還提供了一種計算機設備。所述計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現上述各數據實時處理方法實施例中的步驟。
42、第四方面，本申請還提供了一種計算機可讀存儲介質。所述計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述各數據實時處理方法實施例中的步驟。
43、第五方面，本申請還提供了一種計算機程序產品。所述計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現上述各數據實時處理方法實施例中的步驟。
44、上述數據實時處理方法、裝置、計算機設備、存儲介質和計算機程序產品，通過獲取來自不同數據源的業務數據，得到多源業務數據集，然后將多源業務數據集輸入預設的流處理平臺，經過流式處理后得本文檔來自技高網...
【技術保護點】
1.一種數據實時處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述已訓練的業務數據處理模型包括自適應卷積層、池化層和全連接層；
3.根據權利要求1所述的方法，其特征在于，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，包括：
4.根據權利要求1所述的方法，其特征在于，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理之前，所述方法還包括：
5.根據權利要求1至4任意一項所述的方法，其特征在于，所述對所述業務數據流進行數據預處理，得到目標業務數據流，包括：
6.根據權利要求1至4任意一項所述的方法，其特征在于，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果之后，還包括：
7.一種數據實時處理裝置，其特征在于，所述裝置包括：
8.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。
10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。
...【技術特征摘要】
1.一種數據實時處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述已訓練的業務數據處理模型包括自適應卷積層、池化層和全連接層；
3.根據權利要求1所述的方法，其特征在于，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理，得到業務數據處理結果，包括：
4.根據權利要求1所述的方法，其特征在于，所述以所述目標業務數據流為輸入，調用已訓練的業務數據處理模型對所述目標業務數據流進行實時處理之前，所述方法還包括：
5.根據權利要求1至4任意一項所述的方法，其特征在于，所述對所述業務數據流進行數據預處理，得到目標業務數據流，包括：
6.根據權利要求1至...
【專利技術屬性】
技術研發人員：符飛虎，吳嘉銘，黃文鋒，
申請(專利權)人：南方電網數字平臺科技廣東有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。