System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
所屬的技術人員能夠理解,本申請的各個方面可以實現為系統、方法或程序產品。因此,本申請的各個方面可以具體實現為以下形式,即:完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等),或硬件和軟件方面結合的實施方式,這里可以統稱為“電路”、“模塊”或“系統”。下面參照圖4來描述根據本申請的這種實施方式的電子設備400。圖4顯示的電子設備400僅僅是一個示例,不應對本申請實施例的功能和使用范圍帶來任何限制。如圖4所示,電子設備400以通用計算設備的形式表現。電子設備400的組件可以包括但不限于:上述至少一個處理單元410、上述至少一個存儲單元420、連接不同系統組件(包括存儲單元420和處理單元410)的總線430以及顯示單元440。其中,存儲單元存儲有程序代碼,程序代碼可以被處理單元410執行,使得處理單元410執行本說明書上述“示例性方法”部分中描述的根據本申請各種示例性實施方式的步驟。例如,處理單元410可以執行如下所示的步驟:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據;對比對規則數據進行解析,得到查詢格式數據;將查詢格式數據輸入至流處理框架中,得到數據比對結果;其中,流處理框架用于執行數據比對任務;將數據比對結果反饋至客戶端。在一種可選的實施方式中:對數據比對請求進行解析,得到規則定義數據,其中,規則定義數據包括以下至少之一:數據比對方式、數據關聯、數據約束條件,數據比對方式包括以下至少之一:精確比對、關鍵詞比對、邏輯表達式比對;根據規則定義數據作為比對規則數據。在一種可選的實施方式中:響應于客戶端發起的數據比對請求,確定數
技術介紹
1、在生產環境下,每天需要處理的數據量達到上百億的規模,實際使用數據的用戶非常關注如何從中比對并提取滿足指定規則的數據,在實際業務需求中,經常存在flinksql自帶的source或sink存在無法滿足業務需求的情況,無法保證將規則對比結果實時以及靈活的推送給用戶端。
2、針對相關技術中無法保證將規則對比結果實時以及靈活的推送給用戶端的問題,目前尚未提出有效的解決方案。
技術實現思路
1、本申請的主要目的在于提供一種數據比對方法、裝置、存儲介質及電子設備,以解決相關技術中無法保證將規則對比結果實時以及靈活的推送給用戶端的問題。
2、為了實現上述目的,根據本申請的第一方面,提供了一種數據比對方法。該方法包括:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據;對比對規則數據進行解析,得到查詢格式數據;將查詢格式數據輸入至流處理框架中,得到數據比對結果;其中,流處理框架用于執行數據比對任務;將數據比對結果反饋至客戶端。
3、進一步地,響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據,包括:對數據比對請求進行解析,得到規則定義數據,其中,規則定義數據包括以下至少之一:數據比對方式、數據關聯、數據約束條件,數據比對方式包括以下至少之一:精確比對、關鍵詞比對、邏輯表達式比對;根據規則定義數據作為比對規則數據。
4、進一步地,響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據之后,方法還包括:通過服本文檔來自技高網...
【技術保護點】
1.一種數據比對方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據,包括:
3.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據之后,所述方法還包括:
4.根據權利要求1所述的方法,其特征在于,將所述查詢格式數據輸入至流處理框架中,得到數據比對結果,包括:
5.根據權利要求4所述的方法,其特征在于,基于所述子句解析結果創建語法樹對象,并基于所述語法樹對象確定數據比對結果,包括:
6.根據權利要求4所述的方法,其特征在于,所述語句解析器具備以下至少之一功能:
7.根據權利要求1所述的方法,其特征在于,將所述數據比對結果反饋至所述客戶端,包括:
8.一種數據比對裝置,其特征在于,包括:
9.一種計算機可讀存儲介質,其特征在于,所述存儲介質包括存儲的程序,其中,所述程序執行權利要求1至7中任意一項所述的數據比對方法。
10.一種電子設備,
...【技術特征摘要】
1.一種數據比對方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據,包括:
3.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據之后,所述方法還包括:
4.根據權利要求1所述的方法,其特征在于,將所述查詢格式數據輸入至流處理框架中,得到數據比對結果,包括:
5.根據權利要求4所述的方法,其特征在于,基于所述子句解析結果創建語法樹對象,并基于所述語法樹對象確定數據比對結果,包括:
6.根據權利要求4所述的方法...
【專利技術屬性】
技術研發人員:王廣階,許賢質,曾亨友,刁薪予,彭佳琛,馮明明,
申請(專利權)人:廈門市美亞柏科信息安全研究所有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。