【技術實現步驟摘要】
本申請屬于大數據，尤其涉及一種數據同步系統和存儲介質。
技術介紹
1、目前擁有數據處理業務或在處理業務過程中生成大量數據的企事業單位，通常會選擇將數據導入數據庫中進行統一的存儲和管理。受制于數據庫的開發難度和技術積累不足，過去在使用數據庫時不得不高價購買外國企業研發的商業數據庫(commercialdatabase，例如甲骨文公司開發的oracle)。隨著對數據庫的研發投入和重視度越來越高，國內企業開發的自研數據庫的功能也在逐漸進步，特別是對分布式數據庫(distributeddatabase，例如tidb)的開發，相對于傳統的商業數據庫可以將數據分布式存儲在不同的計算機，具有數據存儲成本低、可靠性高、拓展性強的優點。
2、隨著越來越多的用戶放棄傳統的商業數據庫，開始使用分布式數據庫，在兩種不同類型的數據庫的交替過程中，需要將商業數據庫存儲的數據遷移至分布式數據庫，并需要將錄入分布式數據庫的數據同步至商業數據庫，從而實現兩種不同類型的數據庫的雙向同步。
3、而兩種不同類型的數據庫的語法不同，導致錄入分布式數據庫的數據難以同步至商業數據庫，因此，如何實現將錄入分布式數據庫的數據同步至商業數據庫成為當前亟需解決的問題。
技術實現思路
1、有鑒于此，本申請實施例提供了一種數據同步系統和存儲介質，以解決分布式數據庫和商業數據庫的語法不同，導致錄入分布式數據庫的數據難以同步至商業數據庫的問題。
2、本申請實施例的第一方面提供了一種數據同步系統，包括采集模塊
3、所述采集模塊用于獲取第一數據庫的待同步數據；
4、所述轉換模塊用于：
5、獲取所述待同步數據的語法特征，所述語法特征包括每個最小單位數據的語法屬性，所述語法特征用于指示所述最小單位數據之間的邏輯關系；
6、根據所述待同步數據的語法特征，以及所述第一數據庫與所述第二數據庫的語法對應關系，對所述待同步數據進行轉換，得到目標數據；
7、將所述目標數據發送至所述第二數據庫；
8、其中，所述待同步數據的代碼類型適用于所述第一數據庫，所述目標數據的代碼類型適用于所述第二數據庫。
9、在一個實施例中，所述采集模塊包括日志采集單元和日志轉換單元；
10、所述日志采集單元用于獲取所述第一數據庫的日志數據；
11、所述日志轉換單元用于對所述日志數據進行轉換，得到待同步數據。
12、在一個實施例中，所述采集模塊還用于采集所述第一數據庫的事務時序，所述事務時序用于反映所述日志數據中每一條數據的事務號、事務信息、邏輯關系及事務狀態。
13、在一個實施例中，所述轉換模塊用于根據所述事務時序、所述待同步數據的語法特征，以及所述第一數據庫與所述第二數據庫的語法對應關系，對所述待同步數據進行轉換，得到目標數據。
14、在一個實施例中，所述轉換模塊還包括識別單元；
15、所述識別單元用于讀取所述待同步數據的身份信息，所述身份信息包括所述第一數據庫的類型和所述待同步數據的表名；
16、所述識別單元還用于讀取所述待同步數據的規則信息，所述規則信息包括索引配置、約束配置及目錄配置。
17、在一個實施例中，所述轉換模塊還用于：對所述待同步數據的身份信息進行轉換，得到目標數據的身份信息，所述目標數據的身份信息的代碼類型適用于第二數據庫；
18、發送所述目標數據的身份信息至所述第二數據庫；
19、對所述待同步數據的規則信息進行轉換，得到目標數據的規則信息，所述目標數據的規則信息的代碼類型適用于第二數據庫；
20、發送所述目標數據的規則信息至所述第二數據庫。
21、在一個實施例中，還包括準確性分析模塊，所述準確性分析模塊分別與所述第一數據庫、所述采集模塊及所述轉換模塊連接；
22、所述準確性分析模塊用于讀取所述第一數據庫的源數據、日志數據及所述待同步數據，分析所述采集模塊的數據采集準確性；
23、所述準確性分析模塊還用于讀取所述第一數據庫的源數據、所述待同步數據及所述目標數據，分析所述轉換模塊的數據轉換準確性。
24、在一個實施例中，還包括優化模塊，所述優化模塊分別與所述準確性分析模塊、所述采集模塊及所述轉換模塊連接；
25、所述優化模塊用于根據所述數據采集準確性，優化所述采集模塊；
26、所述優化模塊還用于根據所述數據轉換準確性，優化所述轉換模塊。
27、本申請實施例的第一方面提供一種數據同步系統，通過采集模塊采集第一數據庫的待同步數據，并通過轉換模塊獲取待同步數據的語法特征，根據語法特征、第一數據庫與第二數據庫的語法對應關系，對待同步數據進行轉換，得到目標數據，在發送目標數據至第二數據庫后實現與第一數據庫的數據同步，基于輕量化的采集模塊和轉換模塊可以快速部署數據同步系統并實現異構數據庫的數據同步，提高了分布式數據庫和商業數據庫之間的數據同步效率。
28、本申請實施例的第二方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被至少一個處理器執行時實現本申請實施例第一方面提供的數據同步系統中同步程序的各個步驟。
29、可以理解的是，上述第二方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。
本文檔來自技高網...【技術保護點】
1.一種數據同步系統，其特征在于，包括采集模塊和轉換模塊，所述采集模塊與第一數據庫連接，所述轉換模塊與第二數據庫連接；
2.如權利要求1所述的數據同步系統，其特征在于，所述采集模塊包括日志采集單元和日志轉換單元；
3.如權利要求1所述的數據同步系統，其特征在于，所述轉換模塊還包括識別單元；
4.如權利要求3所述的數據同步系統，其特征在于，所述轉換模塊還用于：對所述待同步數據的身份信息進行轉換，得到目標數據的身份信息，所述目標數據的身份信息的代碼類型適用于第二數據庫；
5.如權利要求1所述的數據同步系統，其特征在于，所述轉換模塊還包括識別單元；
6.如權利要求5所述的數據同步系統，其特征在于，所述轉換模塊還用于：
7.如權利要求1至6任一項所述的數據同步系統，其特征在于，還包括準確性分析模塊，所述準確性分析模塊分別與所述第一數據庫、所述采集模塊及所述轉換模塊連接；
8.如權利要求7所述的數據同步系統，其特征在于，還包括優化模塊，所述優化模塊分別與所述準確性分析模塊、所述采集模塊及所述轉換模塊連接；<...
【技術特征摘要】
1.一種數據同步系統，其特征在于，包括采集模塊和轉換模塊，所述采集模塊與第一數據庫連接，所述轉換模塊與第二數據庫連接；
2.如權利要求1所述的數據同步系統，其特征在于，所述采集模塊包括日志采集單元和日志轉換單元；
3.如權利要求1所述的數據同步系統，其特征在于，所述轉換模塊還包括識別單元；
4.如權利要求3所述的數據同步系統，其特征在于，所述轉換模塊還用于：對所述待同步數據的身份信息進行轉換，得到目標數據的身份信息，所述目標數據的身份信息的代碼類型適用于第二數據庫；
5.如權利要求1所述的數據同步系統，其特征在于，所述轉換模塊還包括識別單元；
6.如權利要求5所述的數據同步系統，其特征在于，所...
【專利技術屬性】
技術研發人員：萬霽春，
申請(專利權)人：未鯤上海科技服務有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。