【技術實現步驟摘要】
本申請涉及大數據，尤其涉及一種數據處理方法、裝置、電子設備和存儲介質。
技術介紹
1、目前，在流式處理引擎的數據源端中在數據處理任務出現異常后，通常需要對數據處理任務重啟，并在該數據處理任務重啟后，數據源端基于該數據處理任務的數據消費記錄獲知數據處理任務已消費到目標批數據，將基于該數據消費記錄從外部數據源中獲取該目標批數據之后的下一批批數據，并通過數據處理任務依次對下一批批數據中的各個數據進行處理，并將處理后的數據依次發送至與該數據處理任務所對應的數據目的端。然而，在數據處理任務出現異常時，如果數據處理任務還未處理完目標批數據中的所有數據，這種在數據處理任務重啟后，數據源端基于數據消費記錄直接獲取下一批數據的方式，將使得數據目的端所接收到的數據不完整，存在數據丟失，導致數據目的端與外部數據源之間的數據不一致性問題。
技術實現思路
1、本申請提出了一種數據處理方法、裝置及電子設備。
2、本申請第一方面實施例提出了一種數據處理方法，所述方法包括：在數據處理任務重啟后，獲取與所述數據處理任務對應的目標數據消費記錄，其中，所述目標數據消費記錄包括：所述數據處理任務重啟前正在處理的目標批數據的位置標識以及所述目標批數據中目標數據的遍歷序號，其中，所述目標數據為所述數據處理任務在重啟前，成功處理的最后一個數據；從外部數據源中重新獲取與所述位置標識對應的所述目標批數據；對所述目標批數據進行遍歷，以獲取位于所述遍歷序號之后的剩余數據；根據所述數據處理任務，依次對所述剩余數據中的各個數據
3、本申請實施例的數據處理方法，在數據處理任務重啟后，從外部數據源中，重新獲取該數據處理任務上次未處理完的目標批數據，并獲取在數據處理任務重啟前，對目標批數據所成功處理到的目標數據，并從目標批數據中獲取位于該目標數據之后的剩余數據，并根據數據處理任務對剩余數據中的各個數據進行處理，并將處理后的數據發送給與該數據處理任務對應的數據目的端。由此，可以對上次未處理完的目標批數據中的未處理數據繼續處理，這將使得數據目的端所接收到的數據完整，不存在數據丟失，保證了數據目的端與外部數據源端之間的數據一致性。
4、本申請第二方面實施例提出了一種數據處理裝置，所述裝置包括：第一獲取模塊，用于在數據處理任務重啟后，獲取與所述數據處理任務對應的目標數據消費記錄，其中，所述目標數據消費記錄包括：所述數據處理任務重啟前正在處理的目標批數據的位置標識以及所述目標批數據中目標數據的遍歷序號，其中，所述目標數據為所述數據處理任務在重啟前，成功處理的最后一個數據；第二獲取模塊，用于從外部數據源中重新獲取與所述位置標識對應的所述目標批數據；遍歷模塊，用于對所述目標批數據進行遍歷，以獲取位于所述遍歷序號之后的剩余數據；處理模塊，用于根據所述數據處理任務，依次對所述剩余數據中的各個數據進行處理，并將處理后的數據發送給所述數據處理任務所對應的數據目的端。
5、本申請實施例的數據處理裝置，在數據處理任務重啟后，從外部數據源中，重新獲取該數據處理任務上次未處理完的目標批數據，并獲取在數據處理任務重啟前，對目標批數據所成功處理到的目標數據，并從目標批數據中獲取位于該目標數據之后的剩余數據，并根據數據處理任務對剩余數據中的各個數據進行處理，并將處理后的數據發送給與該數據處理任務對應的數據目的端。由此，可以對上次未處理完的目標批數據中的未處理數據繼續處理，這將使得數據目的端所接收到的數據完整，不存在數據丟失，保證了數據目的端與外部數據源端之間的數據一致性。
6、本申請第三方面實施例提出了一種電子設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如第一方面所述的數據處理方法。
7、本申請第四方面實施例提出了一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如第一方面所述的數據處理方法。
8、本申請第五方面實施例提出了一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現如第一方面所述的數據處理方法。
9、本申請附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。
本文檔來自技高網...【技術保護點】
1.一種數據處理方法，其特征在于，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述在數據處理任務重啟后，獲取與所述數據處理任務對應的目標數據消費記錄，包括：
3.如權利要求2所述的方法，其特征在于，所述目標數據消費記錄還包括：所述目標批數據所屬的主題，所述從外部數據源中重新獲取與所述位置標識對應的所述目標批數據，包括：
4.如權利要求3所述的方法，其特征在于，在獲取與所述數據處理任務對應的目標數據消費記錄之前，所述方法還包括：
5.如權利要求4所述的方法，其特征在于，所述根據所述主題、所述位置標識和所述遍歷序號，確定所述目標數據消費記錄，包括：
6.如權利要求1所述的方法，其特征在于，所述根據所述數據處理任務，依次對所述剩余數據中的各個數據進行處理，并將處理后的數據發送至所述數據處理任務所對應的數據目的端，包括：
7.一種數據處理裝置，其特征在于，所述裝置包括：
8.一種電子設備，其特征在于，包括：
9.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述
10.一種計算機程序產品，其特征在于，包括計算機程序，該計算機程序被處理器執行時實現權利要求1-6中任一項所述的方法。
...【技術特征摘要】
1.一種數據處理方法，其特征在于，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述在數據處理任務重啟后，獲取與所述數據處理任務對應的目標數據消費記錄，包括：
3.如權利要求2所述的方法，其特征在于，所述目標數據消費記錄還包括：所述目標批數據所屬的主題，所述從外部數據源中重新獲取與所述位置標識對應的所述目標批數據，包括：
4.如權利要求3所述的方法，其特征在于，在獲取與所述數據處理任務對應的目標數據消費記錄之前，所述方法還包括：
5.如權利要求4所述的方法，其特征在于，所述根據所述主題、所述位置標識和所述遍歷序號，確定所述目標數據消...
【專利技術屬性】
技術研發人員：于道坤，林佳龍，沈彥波，趙周亮，
申請(專利權)人：杭州數夢工場科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。