【技術實現步驟摘要】
本公開涉及大數據和金融科技，具體設計一種數據處理方法、裝置、電子設備、介質。
技術介紹
1、隨著計算機技術的不斷發展，企業向用戶提供的服務越來越多，如通過不同的功能模塊向用戶提供服務，企業內部通過多個辦公應用軟件向多個內部用戶提供服務。多個應用軟件、多個功能模塊的數據通常可以借助中間數據存儲平臺，存儲至企業的數據湖中。
2、然而，在通過中間數據存儲平臺處理數據的過程中，由于網絡故障、系統故障、硬件故障等情況，可能會出現數據丟失，也即丟數。如果該過程中出現的丟數無法及時發現，會影響數據處理的實時性、存儲效率和故障優化效率。
技術實現思路
1、鑒于上述問題，本公開提供了一種數據處理方法、裝置、電子設備、介質。
2、根據本公開的第一個方面，提供了一種數據處理方法，包括：響應于檢測到數據存儲平臺發生數據寫入操作，確定用于執行寫入操作的數據分區；通過第一時間鏈表，獲取數據分區在發生寫入操作前后的消息數量差；根據消息數量差，確定寫入操作的丟數檢測結果；以及在丟數檢測結果表征寫入操作發生丟數的情況下，根據寫入操作的執行日志，確定丟數原因。
3、根據本公開的實施例，根據消息數量差，確定寫入操作的丟數檢測結果，包括：在消息數量差為零的情況下，確定丟數檢測結果為全部丟數；在消息數量差不為零的情況下，獲取丟數核對數據；以及根據丟數核對數據，確定丟數檢測結果。
4、根據本公開的實施例，丟數核對數據包括報錯消息數和忽略消息數；根據丟數核對數據，確定丟數檢測結果
5、根據本公開的實施例，獲取丟數核對數據包括：通過第二時間鏈表，根據第一時間鏈表中發生寫入操作的時間戳信息，獲取數據分區在發生寫入操作前后的報錯消息數；通過第三時間鏈表，根據第一時間鏈表中發生寫入操作的時間戳信息，獲取數據分區在發生寫入操作前后的忽略消息數；其中，第一時間鏈表、第二時間鏈表和第三時間鏈表共用相同的時間戳信息；第一時間鏈表、第二時間鏈表和第三時間鏈表通過可視化的提示信息分別展示消息數量差、報錯消息數和忽略消息數。
6、根據本公開的實施例，數據存儲平臺包括多個數據存儲集合，每個數據存儲集合包括多個數據分區；在丟數檢測結果表征寫入操作發生丟數的情況下，根據寫入操作的執行日志，確定丟數原因，包括：根據第一時間鏈表中發生寫入操作的時間戳信息，獲取發生寫入操作時多個數據分區各自的消息數量差；在多個數據分區各自的消息數量差均為零的情況下，根據寫入操作的執行日志，確定丟數原因；在多個數據分區各自的消息數量差中存在不為零的消息數量差的情況下，通過數據存儲平臺與數據湖之間的通信接口，獲取數據湖記錄的分區注冊信息；以及根據分區注冊信息，確定丟數原因。
7、根據本公開的實施例，根據分區注冊信息，確定丟數原因，包括：根據分區注冊信息，確定寫入操作在數據湖中已注冊的注冊數據分區；在注冊數據分區和用于執行寫入操作的數據分區相同的情況下，根據寫入操作的執行日志，確定丟數原因；在注冊數據分區和用于執行寫入操作的數據分區不同的情況下，確定丟數原因為錯誤分區；以及基于注冊數據分區，在數據存儲平臺重新注冊。
8、根據本公開的實施例，根據寫入操作的執行日志，確定丟數原因，包括：確定執行日志中的報錯關鍵字；以及根據報錯關鍵字，確定丟數原因。
9、根據本公開的實施例，根據報錯關鍵字，確定丟數原因，包括：在報錯關鍵字為數據源異常的情況下，獲取數據源的最新時間戳信息；在數據源的最新時間戳信息和第一時間鏈表中發生寫入操作的時間戳信息不同的情況下，確定丟數原因為時間錯誤。
10、本公開的第二方面提供了一種數據處理裝置，其特征在于，裝置包括：確定模塊，用于響應于檢測到數據存儲平臺發生數據寫入操作，確定用于執行寫入操作的數據分區；獲取模塊，用于通過第一時間鏈表，獲取數據分區在發生寫入操作前后的消息數量差；檢測模塊，用于根據消息數量差，確定寫入操作的丟數檢測結果；以及處理模塊，用于在丟數檢測結果表征寫入操作發生丟數的情況下，確定丟數原因。
11、本公開的第三方面提供了一種電子設備，包括：一個或多個處理器；存儲器，用于存儲一個或多個計算機程序，當一個或多個處理器執行一個或多個計算機程序時以實現根據上述數據處理方法的步驟。
12、本公開的第四方面還提供了一種計算機可讀存儲介質，其上存儲有計算機程序或指令，計算機程序或指令被處理器執行時實現根據上述數據處理方法的步驟。
13、本公開的第五方面還提供了一種計算機程序產品，包括計算機程序或指令，計算機程序或指令被處理器執行時實現根據上述數據處理方法的步驟。
14、本公開的實施例通過確定執行寫入操作的數據分區，并在數據分區的維度獲取發生寫入操作前后的消息數量差，即可根據消息數量差簡單地確定當前的寫入操作是否丟數。由于本公開的實施例僅需要獲取當前寫入操作的數據分區的消息數量差，無需其他數據，因此，本公開的實施例能夠實時、快速地檢測到當前寫入操作是否丟數。此外，在發生丟數的情況下，通過寫入操作的執行日志可以針對性地確定丟數原因，并基于具體的丟數原因進行故障維護，提高了故障處理效率和存儲效率。
本文檔來自技高網...【技術保護點】
1.一種數據處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述根據所述消息數量差，確定所述寫入操作的丟數檢測結果，包括：
3.根據權利要求2所述的方法，其特征在于，所述丟數核對數據包括報錯消息數和忽略消息數；所述根據丟數核對數據，確定所述丟數檢測結果，包括：
4.根據權利要求2或3所述的方法，其特征在于，所述獲取丟數核對數據包括：
5.根據權利要求1所述的方法，其特征在于，所述數據存儲平臺包括多個數據存儲集合，每個所述數據存儲集合包括多個數據分區；所述在所述丟數檢測結果表征所述寫入操作發生丟數的情況下，根據所述寫入操作的執行日志，確定所述丟數原因，包括：
6.根據權利要求5所述的方法，其特征在于，所述根據所述分區注冊信息，確定所述丟數原因，包括：
7.根據權利要求1、5-6任一項所述的方法，其特征在于，所述根據所述寫入操作的執行日志，確定所述丟數原因，包括：
8.根據權利要求7所述的方法，其特征在于，所述根據所述報錯關鍵字，確定所述丟數原因，包括：
9
10.一種電子設備，包括：
11.一種計算機可讀存儲介質，其上存儲有計算機程序或指令，其特征在于，所述計算機程序或指令被處理器執行時實現根據權利要求1～8中任一項所述方法的步驟。
12.一種計算機程序產品，包括計算機程序或指令，其特征在于，所述計算機程序或指令被處理器執行時實現根據權利要求1～8中任一項所述方法的步驟。
...【技術特征摘要】
1.一種數據處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述根據所述消息數量差，確定所述寫入操作的丟數檢測結果，包括：
3.根據權利要求2所述的方法，其特征在于，所述丟數核對數據包括報錯消息數和忽略消息數；所述根據丟數核對數據，確定所述丟數檢測結果，包括：
4.根據權利要求2或3所述的方法，其特征在于，所述獲取丟數核對數據包括：
5.根據權利要求1所述的方法，其特征在于，所述數據存儲平臺包括多個數據存儲集合，每個所述數據存儲集合包括多個數據分區；所述在所述丟數檢測結果表征所述寫入操作發生丟數的情況下，根據所述寫入操作的執行日志，確定所述丟數原因，包括：
6.根據權利要求5所述的方法，其特征在于，所...
【專利技術屬性】
技術研發人員：賈利娟，趙同，趙吉昆，
申請(專利權)人：中國工商銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。