數據異常處理方法、裝置、電子設備和存儲介質制造方法及圖紙

本發明專利技術提供一種數據異常處理方法、裝置、電子設備和存儲介質，其中方法包括：在當前處理節點處理的數據流發生異常時，捕獲異常數據；確定是否重新拋出所述異常數據；在確定不重新拋出所述異常數據時，獲取所述當前處理節點對應的目標異常處理配置信息；基于所述目標異常處理配置信息對所述異常數據進行處理。本發明專利技術提供的數據異常處理方法、裝置、電子設備和存儲介質，實現了異常數據的統一處理，簡化了數據異常處理的復雜度。了數據異常處理的復雜度。了數據異常處理的復雜度。

【技術實現步驟摘要】
數據異常處理方法、裝置、電子設備和存儲介質


[0001]本專利技術涉及數據處理
，尤其涉及一種數據異常處理方法、裝置、電子設備和存儲介質。

技術介紹

[0002]Flink和Spark等大數據處理平臺在進行數據處理時，由于輸入數據的格式問題，可能會導致數據處理異常。為了不影響數據處理的正常流程，通常需要對異常數據進行處理。
[0003]相關技術中，在數據流上加數據校驗，通過數據校驗來區分異常數據和正常數據，然后對正常數據進行處理，并將異常數據進行分流或者拋棄等處理。
[0004]但上述相關技術中，需要在每個處理節點進行數據校驗，數據加工過程比較復雜，從而提高了數據異常處理的復雜度。

技術實現思路

[0005]針對現有技術存在的問題，本專利技術提供一種數據異常處理方法、裝置、電子設備和存儲介質。
[0006]本專利技術提供一種數據異常處理方法，包括：
[0007]在當前處理節點處理的數據流發生異常時，捕獲異常數據；
[0008]確定是否重新拋出所述異常數據；
[0009]在確定不重新拋出所述異常數據時，獲取所述當前處理節點對應的目標異常處理配置信息；
[0010]基于所述目標異常處理配置信息對所述異常數據進行處理。
[0011]根據本專利技術提供的一種數據異常處理方法，所述基于所述目標異常處理配置信息對所述異常數據進行處理，包括：
[0012]對所述異常數據進行包裝標記，得到異常數據包；
[0013]基于所述目標異常處理配置信息對所述異常數據包進行處理。
[0014]根據本專利技術提供的一種數據異常處理方法，所述對所述異常數據進行包裝標記，得到異常數據包，包括：
[0015]將所述異常數據的來源信息、所述異常數據的異常位置信息、以及所述異常數據進行包裝標記，得到所述異常數據包。
[0016]根據本專利技術提供的一種數據異常處理方法，所述在當前處理節點處理的數據流發生異常時，捕獲異常數據之前，所述方法還包括：
[0017]獲取用戶輸入的每個處理節點的異常處理配置信息；其中，所述異常處理配置信息包括以下任一項：丟棄、記錄日志和分流。
[0018]根據本專利技術提供的一種數據異常處理方法，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：
[0019]在所述目標異常處理配置信息為所述丟棄時，丟棄所述異常數據包。
[0020]根據本專利技術提供的一種數據異常處理方法，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：
[0021]在所述目標異常處理配置信息為所述記錄日志時，將所述異常數據包寫入異常日志中。
[0022]根據本專利技術提供的一種數據異常處理方法，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：
[0023]在所述目標異常處理配置信息為所述分流，且所述當前處理節點支持分流時，對所述異常數據包進行分流處理。
[0024]根據本專利技術提供的一種數據異常處理方法，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：
[0025]在所述目標異常處理配置信息為所述分流，所述當前處理節點不支持分流時，復制所述數據流，得到第一數據流和第二數據流；
[0026]在所述第一數據流中篩選正常數據，將所述正常數據輸出；
[0027]在所述第二數據流中篩選所述異常數據包，對所述異常數據包進行分流處理。
[0028]本專利技術還提供一種數據異常處理裝置，包括：
[0029]捕獲單元，用于在確定當前處理節點的數據流發生異常時，捕獲異常數據；
[0030]確定單元，用于確定是否重新拋出所述異常數據；
[0031]第一獲取單元，用于在確定不重新拋出所述異常數據時，獲取所述當前處理節點對應的目標異常處理配置信息；
[0032]處理單元，用于基于所述目標異常處理配置信息對所述異常數據進行處理。
[0033]本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述數據異常處理方法的步驟。
[0034]本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述數據異常處理方法的步驟。
[0035]本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述數據異常處理方法的步驟。
[0036]本專利技術提供的一種數據異常處理方法、裝置、電子設備和存儲介質，在確定不重新拋出異常數據時，獲取當前處理節點對應的目標異常處理配置信息，基于目標異常處理配置信息對異常數據進行處理，實現了異常數據的統一處理，簡化了數據異常處理的復雜度。
附圖說明
[0037]為了更清楚地說明本專利技術或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0038]圖1是本專利技術提供的數據異常處理方法的流程示意圖之一；
[0039]圖2是本專利技術提供的數據異常處理方法的流程示意圖之二；
[0040]圖3是本專利技術提供的數據異常處理方法的流程示意圖之三；
[0041]圖4是本專利技術提供的處理節點的結構示意圖之一；
[0042]圖5是本專利技術提供的處理節點的結構示意圖之二；
[0043]圖6是本專利技術提供的數據異常處理方法的流程示意圖之四；
[0044]圖7是本專利技術提供的數據異常處理方法的流程示意圖之五；
[0045]圖8是本專利技術提供的數據異常處理裝置的結構示意圖；
[0046]圖9是本專利技術提供的電子設備的實體結構示意圖。
具體實施方式
[0047]為使本專利技術的目的、技術方案和優點更加清楚，下面將結合本專利技術中的附圖，對本專利技術中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。
[0048]下面結合圖1
?
圖7描述本專利技術的數據異常處理方法。
[0049]圖1是本專利技術提供的數據異常處理方法的流程示意圖之一，如圖1所示，該數據異常處理方法包括以下步驟：
[0050]步驟101、在當前處理節點處理的數據流發生異常時，捕獲異常數據。
[0051]示例地，當前處理節點在接收到數據流時，對數據流進行數據處理，在數據處理的過程中，若確定處理的數據流發生異常時，捕獲異常數據。
[0052]需要說明的是，在大數據處理平臺中，一個數據流可能會經過至少一個處理節點的依次處理；所以，在數據處理之前，需要在每個處理節點中嵌本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種數據異常處理方法，其特征在于，包括：在當前處理節點處理的數據流發生異常時，捕獲異常數據；確定是否重新拋出所述異常數據；在確定不重新拋出所述異常數據時，獲取所述當前處理節點對應的目標異常處理配置信息；基于所述目標異常處理配置信息對所述異常數據進行處理。2.根據權利要求1所述的數據異常處理方法，其特征在于，所述基于所述目標異常處理配置信息對所述異常數據進行處理，包括：對所述異常數據進行包裝標記，得到異常數據包；基于所述目標異常處理配置信息對所述異常數據包進行處理。3.根據權利要求2所述的數據異常處理方法，其特征在于，所述對所述異常數據進行包裝標記，得到異常數據包，包括：將所述異常數據的來源信息、所述異常數據的異常位置信息、以及所述異常數據進行包裝標記，得到所述異常數據包。4.根據權利要求2所述的數據異常處理方法，其特征在于，所述在當前處理節點處理的數據流發生異常時，捕獲異常數據之前，所述方法還包括：獲取用戶輸入的每個處理節點的異常處理配置信息；其中，所述異常處理配置信息包括以下任一項：丟棄、記錄日志和分流。5.根據權利要求4所述的數據異常處理方法，其特征在于，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：在所述目標異常處理配置信息為所述丟棄時，丟棄所述異常數據包。6.根據權利要求4所述的數據異常處理方法，其特征在于，所述基于所述目標異常處理配置信息對所述異常數據包進行處理，包括：在所述目標異常處理配置信息為所述記錄日志時，將所述異常數據包寫入異常日志中。7.根據權利要求4所述的數據異常處理方法，其...

【專利技術屬性】
技術研發人員：葉盛，
申請(專利權)人：網神信息技術北京股份有限公司，
類型：發明
國別省市：