System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 精品一区二区无码AV,日韩人妻无码精品一专区,国产精品无码午夜福利
  • 
    <ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>

    數據比對方法、裝置、存儲介質及電子設備制造方法及圖紙

    技術編號:44467120 閱讀:4 留言:0更新日期:2025-03-04 17:39
    本申請公開了一種數據比對方法、裝置、存儲介質及電子設備。該方法包括:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據;對比對規則數據進行解析,得到查詢格式數據;將查詢格式數據輸入至流處理框架中,得到數據比對結果;其中,流處理框架用于執行數據比對任務;將數據比對結果反饋至客戶端。通過本申請,解決了相關技術中無法保證將規則對比結果實時以及靈活的推送給用戶端的問題。

    【技術實現步驟摘要】

    所屬的技術人員能夠理解,本申請的各個方面可以實現為系統、方法或程序產品。因此,本申請的各個方面可以具體實現為以下形式,即:完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等),或硬件和軟件方面結合的實施方式,這里可以統稱為“電路”、“模塊”或“系統”。下面參照圖4來描述根據本申請的這種實施方式的電子設備400。圖4顯示的電子設備400僅僅是一個示例,不應對本申請實施例的功能和使用范圍帶來任何限制。如圖4所示,電子設備400以通用計算設備的形式表現。電子設備400的組件可以包括但不限于:上述至少一個處理單元410、上述至少一個存儲單元420、連接不同系統組件(包括存儲單元420和處理單元410)的總線430以及顯示單元440。其中,存儲單元存儲有程序代碼,程序代碼可以被處理單元410執行,使得處理單元410執行本說明書上述“示例性方法”部分中描述的根據本申請各種示例性實施方式的步驟。例如,處理單元410可以執行如下所示的步驟:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據;對比對規則數據進行解析,得到查詢格式數據;將查詢格式數據輸入至流處理框架中,得到數據比對結果;其中,流處理框架用于執行數據比對任務;將數據比對結果反饋至客戶端。在一種可選的實施方式中:對數據比對請求進行解析,得到規則定義數據,其中,規則定義數據包括以下至少之一:數據比對方式、數據關聯、數據約束條件,數據比對方式包括以下至少之一:精確比對、關鍵詞比對、邏輯表達式比對;根據規則定義數據作為比對規則數據。在一種可選的實施方式中:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據之后,方法還包括:通過服務接口程序接收客戶端下發的比對規則數據;將比對規則數據存儲至數據庫中。在一種可選的實施方式中:響應于對比啟動命令,執行數據比對任務,并讀取對比啟動命令中查詢格式數據的配置項;基于配置項將查詢格式數據進行拆分,得到多個查詢格式數據;對多個查詢格式數據通過語句解析器進行解析,得到子句解析結果,基于子句解析結果創建語法樹對象,并基于語法樹對象確定數據比對結果。在一種可選的實施方式中:根據語法樹對象構建流處理框架的運行環境對象;將目標信息注冊到運行環境對象中,并執行語句查詢方法,其中,目標信息包括:自定義函數方法、注冊源、目標表;根據語句查詢方法確定流處理任務計劃,基于流處理任務計劃對查詢格式數據進行匹配,得到數據比對結果。在一種可選的實施方式中:對創建表的語句進行校驗和字段類型的轉換;對sql語句進行校驗和字段類型轉換;對創建函數的語句進行解析;對創建視圖的語句進行解析。在一種可選的實施方式中:將數據比對結果輸出至目標系統,其中,目標系統至少包括:kafka;確定目標系統對應的實例化組件,并基于實例化組件將數據比對結果寫入至目標系統的存儲機制中,以實現將數據比對結果在客戶端展示。存儲單元420可以包括易失性存儲單元形式的可讀介質,例如隨機存取存儲單元(ram)4201和/或高速緩存存儲單元4202,還可以進一步包括只讀存儲單元(rom)4203。存儲單元420還可以包括具有一組(至少一個)程序模塊4205的程序/實用工具4204,這樣的程序模塊4205包括但不限于:操作系統、一個或者多個應用程序、其它程序模塊以及程序數據,這些示例中的每一個或某種組合中可能包括網絡環境的實現。總線430可以為表示幾類總線結構中的一種或多種,包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結構中的任意總線結構的局域總線。電子設備400也可以與一個或多個外部設備500(例如鍵盤、指向設備、藍牙設備等)通信,還可與一個或者多個使得用戶能與該電子設備400交互的設備通信,和/或與使得該電子設備400能與一個或多個其它計算設備進行通信的任何設備(例如路由器、調制解調器等等)通信。這種通信可以通過輸入/輸出(i/o)接口440進行。并且,電子設備400還可以通過網絡適配器460與一個或者多個網絡(例如局域網(lan),廣域網(wan)和/或公共網絡,例如因特網)通信。如圖所示,網絡適配器460通過總線430與電子設備400的其它模塊通信。應當明白,盡管圖中未示出,可以結合電子設備400使用其它硬件和/或軟件模塊,包括但不限于:微代碼、設備驅動器、冗余處理單元、外部磁盤驅動陣列、raid系統、磁帶驅動器以及數據備份存儲系統等。通過以上的實施方式的描述,本領域的技術人員易于理解,這里描述的示例實施方式可以通過軟件實現,也可以通過軟件結合必要的硬件的方式來實現。因此,根據本申請實施方式的技術方案可以以軟件產品的形式體現出來,該軟件產品可以存儲在一個非易失性存儲介質(可以是cd-rom,u盤,移動硬盤等)中或網絡上,包括若干指令以使得一臺計算設備(可以是個人計算機、服務器、終端裝置、或者網絡設備等)執行根據本申請實施方式的方法。此外,上述附圖僅是根據本申請示例性實施例的方法所包括的處理的示意性說明,而不是限制目的。易于理解,上述附圖所示的處理并不表明或限制這些處理的時間順序。另外,也易于理解,這些處理可以是例如在多個模塊中同步或異步執行的。本領域技術人員在考慮說明書及實踐這里公開的專利技術后,將容易想到本申請的其他實施例。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本申請的一般性原理并包括本申請未公開的本中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本申請的真正范圍和精神由權利要求指出。


    技術介紹

    1、在生產環境下,每天需要處理的數據量達到上百億的規模,實際使用數據的用戶非常關注如何從中比對并提取滿足指定規則的數據,在實際業務需求中,經常存在flinksql自帶的source或sink存在無法滿足業務需求的情況,無法保證將規則對比結果實時以及靈活的推送給用戶端。

    2、針對相關技術中無法保證將規則對比結果實時以及靈活的推送給用戶端的問題,目前尚未提出有效的解決方案。


    技術實現思路

    1、本申請的主要目的在于提供一種數據比對方法、裝置、存儲介質及電子設備,以解決相關技術中無法保證將規則對比結果實時以及靈活的推送給用戶端的問題。

    2、為了實現上述目的,根據本申請的第一方面,提供了一種數據比對方法。該方法包括:響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據;對比對規則數據進行解析,得到查詢格式數據;將查詢格式數據輸入至流處理框架中,得到數據比對結果;其中,流處理框架用于執行數據比對任務;將數據比對結果反饋至客戶端。

    3、進一步地,響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據,包括:對數據比對請求進行解析,得到規則定義數據,其中,規則定義數據包括以下至少之一:數據比對方式、數據關聯、數據約束條件,數據比對方式包括以下至少之一:精確比對、關鍵詞比對、邏輯表達式比對;根據規則定義數據作為比對規則數據。

    4、進一步地,響應于客戶端發起的數據比對請求,確定數據比對請求中的比對規則數據之后,方法還包括:通過服本文檔來自技高網...

    【技術保護點】

    1.一種數據比對方法,其特征在于,包括:

    2.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據,包括:

    3.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據之后,所述方法還包括:

    4.根據權利要求1所述的方法,其特征在于,將所述查詢格式數據輸入至流處理框架中,得到數據比對結果,包括:

    5.根據權利要求4所述的方法,其特征在于,基于所述子句解析結果創建語法樹對象,并基于所述語法樹對象確定數據比對結果,包括:

    6.根據權利要求4所述的方法,其特征在于,所述語句解析器具備以下至少之一功能:

    7.根據權利要求1所述的方法,其特征在于,將所述數據比對結果反饋至所述客戶端,包括:

    8.一種數據比對裝置,其特征在于,包括:

    9.一種計算機可讀存儲介質,其特征在于,所述存儲介質包括存儲的程序,其中,所述程序執行權利要求1至7中任意一項所述的數據比對方法。

    10.一種電子設備,其特征在于,包括:一個或多個處理器,存儲器,顯示裝置以及一個或多個程序,其中,所述一個或多個程序被存儲在所述存儲器中,并且被配置為由所述一個或多個處理器執行,所述一個或多個程序包括用于執行權利要求1至7中任意一項所述的數據比對方法。

    ...

    【技術特征摘要】

    1.一種數據比對方法,其特征在于,包括:

    2.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據,包括:

    3.根據權利要求1所述的方法,其特征在于,響應于客戶端發起的數據比對請求,確定所述數據比對請求中的比對規則數據之后,所述方法還包括:

    4.根據權利要求1所述的方法,其特征在于,將所述查詢格式數據輸入至流處理框架中,得到數據比對結果,包括:

    5.根據權利要求4所述的方法,其特征在于,基于所述子句解析結果創建語法樹對象,并基于所述語法樹對象確定數據比對結果,包括:

    6.根據權利要求4所述的方法...

    【專利技術屬性】
    技術研發人員:王廣階許賢質曾亨友刁薪予彭佳琛馮明明
    申請(專利權)人:廈門市美亞柏科信息安全研究所有限公司
    類型:發明
    國別省市:

    網友詢問留言 已有0條評論
    • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

    1
    主站蜘蛛池模板: 热の无码热の有码热の综合| 国产成人亚洲综合无码精品| 国产精品无码久久综合| 一道久在线无码加勒比| 亚洲中文字幕无码久久精品1| 亚洲综合无码一区二区三区 | 国产精品爽爽V在线观看无码| 永久无码精品三区在线4| 无码性午夜视频在线观看| 国产精品va无码二区| 日韩人妻无码精品久久免费一| 伊人久久大香线蕉无码麻豆| 亚洲av无码专区在线| 无码精品久久一区二区三区| 亚洲人成无码网站在线观看| 日韩人妻无码一区二区三区久久 | 亚洲AV无码国产剧情| 国产激情无码一区二区| AV无码小缝喷白浆在线观看 | 国产成人无码专区| 午夜无码熟熟妇丰满人妻| 久久久无码精品亚洲日韩按摩 | 无码av天天av天天爽| 亚洲av无码国产综合专区 | 中文AV人妻AV无码中文视频| 亚洲中文久久精品无码ww16| 亚洲 另类 无码 在线| 日韩免费a级毛片无码a∨| 白嫩少妇激情无码| 99无码人妻一区二区三区免费 | 国产精品无码亚洲精品2021| 无码精品A∨在线观看免费| 久久精品中文字幕无码绿巨人 | 国产AV无码专区亚汌A√| 久久无码人妻精品一区二区三区 | 毛片无码一区二区三区a片视频| 亚洲日韩乱码中文无码蜜桃| 69久久精品无码一区二区| 99久久人妻无码精品系列| 无码不卡av东京热毛片| 无码夜色一区二区三区|