【技術實現步驟摘要】
本專利技術涉及數據處理領域及金融科技領域，尤其涉及基于哨兵實現入湖數據質量檢測方法、裝置、設備及介質。
技術介紹
1、湖倉一體是近年各行業興起新的數據架構，很好地結合了數據倉庫和數據湖的優點，在金融領域，湖倉一體的數據準確性至關重要，例如在銀行的信貸業務中，實時入湖的數據包含客戶的信用記錄、資產信息、交易流水等，如果數據質量監控不準確，錯誤的數據流入湖倉一體架構中，可能導致風險評估模型給出錯誤的評估結果，但是現有的入湖處理仍缺乏比較成熟的數據質量監控技術體系。數據質量是激發數據要素潛能最核心要素之一，若無法確保入湖的數據準確性，將限制湖倉一體數據架構在各行業有效推廣。
2、傳統實時入湖數據質量監控主要使用任務監控和數據比較法這二種方法，二種方式存在監控延遲、數據質量差、覆蓋性低、監控消耗資源高等痛點，任務監控需要通過離線和實時調度系統實現，主要監控數據任務是否正常完成處理，無法判斷數據的丟失，而源數據和湖目標數據比較，更多需要制定判斷規則單獨部署離線任務進行數據差異比較，屬于事后比較，實時性較差，且錯誤入湖的數據已實時被下游消費，實時地影響數據分析、決策和數據應用，因此需要一種能夠提高基于哨兵實現入湖數據質量檢測準確性的方法。
技術實現思路
1、本專利技術提供基于哨兵實現入湖數據質量檢測方法、裝置、設備及介質，其主要目的在于提高基于哨兵實現入湖數據質量檢測準確性。
2、為實現上述目的，本專利技術提供的基于哨兵實現入湖數據質量檢測方法，包括：
3、
4、調度所述主服務器對應的集群資源，分析所述集群資源對應的資源耗用態勢，提取所述數據哨兵對應的哨兵屬性，基于所述哨兵屬性，計算所述數據哨兵對應的哨兵哈希值，根據所述資源耗用態勢和所述哨兵哈希值，設置所述數據哨兵對應的分發機制；
5、查詢所述主服務器對應的通信中樞，解析所述通信中樞對應的中樞主題，結合所述分發機制和所述中樞主題，在所述數據湖中對所述數據哨兵進行分發處理，得到數據哨兵流，對所述數據哨兵流進行抽檢處理，得到抽檢報告，基于所述抽檢報告，分析所述數據哨兵流對應的穩定度；
6、對所述數據哨兵流進行識別處理，得到哨兵身份，結合所述穩定度和所述哨兵身份，對所述數據哨兵流進行哨兵分揀處理，得到分揀哨兵流，將所述分揀哨兵流發送到所述主服務器中的哨兵接收中心，并通過所述哨兵接收中心對所述分揀哨兵流進行預警處理，得到預警結果，根據所述預警結果，對所述分揀哨兵流進行入湖處理，得到入湖結果。
7、為了解決上述問題，本專利技術還提供一種基于哨兵實現入湖數據質量檢測裝置，所述裝置包括：
8、哨兵創建模塊，用于獲取待監控的數據湖及其對應的主服務器，分析出所述數據湖中的數據對應的數據業務情境，基于所述數據業務情境，創建所述數據湖對應的數據哨兵；
9、分發機制設置模塊，用于調度所述主服務器對應的集群資源，分析所述集群資源對應的資源耗用態勢，提取所述數據哨兵對應的哨兵屬性，基于所述哨兵屬性，計算所述數據哨兵對應的哨兵哈希值，根據所述資源耗用態勢和所述哨兵哈希值，設置所述數據哨兵對應的分發機制；
10、穩定度分析模塊，用于查詢所述主服務器對應的通信中樞，解析所述通信中樞對應的中樞主題，結合所述分發機制和所述中樞主題，在所述數據湖中對所述數據哨兵進行分發處理，得到數據哨兵流，對所述數據哨兵流進行抽檢處理，得到抽檢報告，基于所述抽檢報告，分析所述數據哨兵流對應的穩定度；
11、入湖處理模塊，用于對所述數據哨兵流進行識別處理，得到哨兵身份，結合所述穩定度和所述哨兵身份，對所述數據哨兵流進行哨兵分揀處理，得到分揀哨兵流，將所述分揀哨兵流發送到所述主服務器中的哨兵接收中心，并通過所述哨兵接收中心對所述分揀哨兵流進行預警處理，得到預警結果，根據所述預警結果，對所述分揀哨兵流進行入湖處理，得到入湖結果。
12、為了解決上述問題，本專利技術還提供一種計算機設備，所述計算機設備包括：
13、至少一個處理器；以及，
14、與所述至少一個處理器通信連接的存儲器；其中，
15、所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述所述的基于哨兵實現入湖數據質量檢測方法。
16、為了解決上述問題，本專利技術還提供一種計算機可讀介質，所述計算機可讀介質中存儲有至少一個計算機程序，所述至少一個計算機程序被計算機設備中的處理器執行以實現上述所述的基于哨兵實現入湖數據質量檢測方法。
17、本專利技術通過分析出所述數據湖中的數據對應的數據業務情境，可以了解所述數據湖中的數據對應的業務應用場景，為后續數據哨兵的創建提供了依據，本專利技術通過分析所述集群資源對應的資源耗用態勢，可以了解所述集群資源對應的消耗情況，并且提取所述數據哨兵對應的哨兵屬性，可以得到所述數據哨兵對應的哨兵特征，進而為后續哨兵哈希值的計算提供了依據，本專利技術通過結合所述分發機制和所述中樞主題，在所述數據湖中對所述數據哨兵進行分發處理，便于對所述數據湖實現高效的數據監測與管理，確保數據的準確性、完整性和及時性，同時能夠更好地適應不同的數據特征和業務需求，提升所述數據湖的整體性能和價值輸出；本專利技術通過對所述數據哨兵流進行識別處理，可以得到所述數據哨兵流對應的哨兵身份信息，結合所述穩定度和所述哨兵身份，對所述數據哨兵流進行哨兵分揀處理，可以將穩定性較高的數據哨兵分揀出來，并將數據哨兵中穩定性低的哨兵去除掉。因此，本專利技術實施例提供的基于哨兵實現入湖數據質量檢測方法、裝置、設備及介質，能夠在于提高基于哨兵實現入湖數據質量檢測準確性。
本文檔來自技高網...【技術保護點】
1.基于哨兵實現入湖數據質量檢測方法，其特征在于，所述方法包括：
2.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述分析所述數據湖中的數據對應的數據業務情境，包括：
3.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述基于所述數據業務情境，創建所述數據湖對應的數據哨兵，包括：
4.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述基于所述哨兵屬性計算所述數據哨兵對應的哨兵哈希值，包括：
5.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述結合所述分發機制和所述中樞主題，在所述數據湖中對所述數據哨兵進行分發處理，得到數據哨兵流，包括：
6.如權利要求5所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述計算所述數據哨兵和所述數據類別之間的關聯強度，包括：
7.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述基于所述抽檢報告分析所述數據哨兵流對應的穩定度，包括：
8.一種基于哨兵實現入湖數據質量檢測
9.一種計算機設備，其特征在于，所述計算機設備包括：
10.一種計算機可讀介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任意一項所述的基于哨兵實現入湖數據質量檢測方法。
...【技術特征摘要】
1.基于哨兵實現入湖數據質量檢測方法，其特征在于，所述方法包括：
2.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述分析所述數據湖中的數據對應的數據業務情境，包括：
3.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述基于所述數據業務情境，創建所述數據湖對應的數據哨兵，包括：
4.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述基于所述哨兵屬性計算所述數據哨兵對應的哨兵哈希值，包括：
5.如權利要求1所述的基于哨兵實現入湖數據質量檢測方法，其特征在于，所述結合所述分發機制和所述中樞主題，在所述數據湖中對所述數據哨兵...
【專利技術屬性】
技術研發人員：馬志偉，張亞東，
申請(專利權)人：中國平安人壽保險股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。