一種分布式內存數據庫管理系統技術方案

本發明專利技術公開了一種分布式內存數據庫管理系統，涉及數據庫管理技術領域，包括數據庫創建單元，數據庫創建單元針對所需要的字段進行確認，并且對數據庫的字段名稱規范化命名，添加必要的約束條件，然后根據字段創建數據庫，數據庫操作單元，數據庫操作單元通過命令向表中添加記錄，或者對已插入的記錄進行刪除，通過查詢操作查看我們需要的記錄，同時也可以對表名更改的操作、對表中字段名更改的操作和對表中已經插入的記錄更改的操作。本發明專利技術通過元數據管理節點模塊302從源端數據庫同步系統初始化日志讀取線程、日志解析線程和日志緩存線程，在元數據管理節點下運行模式下。在元數據管理節點下運行模式下。在元數據管理節點下運行模式下。

【技術實現步驟摘要】
一種分布式內存數據庫管理系統


[0001]本專利技術涉及數據庫管理
，具體為一種分布式內存數據庫管理系統。

技術介紹

[0002]目前，數據庫是一個大型的數據集成的集合,數據庫主要由實體和關系構成，數據管理是指如何對數據進行分類、組織、編碼、存儲、檢索和維護，是數據處理的中心問題，數據管理經歷了從人工管理到文件系統到數據庫系統的三個階段，主要功能包括數據定義、數據查詢、數據更新、數據刪除、數據備份和恢復等，它們的實現依賴于一個或多個文件，這些文件存儲了所有數據，每個文件有自己的結構，以及關鍵字段和索引等特性，以便于快速檢索和處理數據，數據庫管理系統是一個非常強大的計算機工具，可以幫助組織和管理大量的數據，它既可以在企業級系統中使用，也可以用于小型工具和應用程序中，因此，數據庫管理系統的重要性日益增長，并且成為當今計算機
中的必需工具之一；
[0003]盡管如此，數據庫管理系統仍然存在數據庫異步存儲，單個工作線程將要寫入數據庫的記錄放在某個指定的緩沖區，等待緩沖區的記錄取出，才能再次向數據庫寫入數據，導致數據庫管理系統處理數據的效率低下，同時存在每個節點是同步但是不獨立的，同步的事務不分散，同步的數據不是整體、一致的，沒有辦法并發處理導致無法提升同步整體的性能。

技術實現思路

[0004]本專利技術的目的在于提供一種分布式內存數據庫管理系統，以解決上述
技術介紹
中提出的問題。
[0005]為實現上述目的，本專利技術提供如下技術方案：一種分布式內存數據庫管理系統，包括數據庫創建單元，所述數據庫創建單元針對所需要的字段進行確認，并且對數據庫的字段名稱規范化命名，添加必要的約束條件，然后根據字段創建數據庫；
[0006]數據庫操作單元，所述數據庫操作單元通過命令向表中添加記錄，或者對已插入的記錄進行刪除，通過查詢操作查看我們需要的記錄，同時也可以對表名更改的操作、對表中字段名更改的操作和對表中已經插入的記錄更改的操作；
[0007]數據庫同步單元，所述數據庫同步單元在源端數據庫部署源端數據同步系統，在目標端部署目標端數據同步系統，分別在元數據管理節點和數據節點運行模式下，對源端數據同步至系統進行初始化，并將這些解析包操作應用到目標端數據庫；
[0008]數據庫異步單元，所述數據庫異步單元開啟多個工作線程及對應的緩沖隊列，收到數據庫信息，將數據庫語句放入緩沖隊列后，并且通過異步算法寫入數據庫系統。
[0009]優選的，所述數據庫創建單元包括數據庫字段確認模塊、數據庫名稱規范模塊、數據庫約束模塊和數據庫創建模塊，所述數據庫字段確認模塊在創建數據庫之前，針對該表所需要的字段擬出來并且對所需要的字段進行確認，所述數據庫名稱規范模塊對于確定好的字段，需要規范，所述數據庫約束模塊包括為主鍵約束、唯一約束、檢查約束、默認約束和
外鍵約束，所述主鍵約束保證數據的唯一性，并且主鍵列數據不能為空，所述唯一約束保證數據的唯一性，唯一約束列可以為空，所述檢查約束保證數據的有效性，讓值在有效范圍內取值，對該列數據的范圍、格式的限制，所述默認約束保證數據的完整性，如果沒有填入信息時，會使用默認的信息填入，保證數據的完整性，所述外鍵約束需要建立兩表間的關系并引用主表的列，保證數據的完整性互相依賴的數據不能丟失。
[0010]優選的，所述數據庫操作單元包括數據庫插入模塊和數據庫刪除模塊，所述數據庫插入模塊通過CREATE TABLE TABLENAME(字段名1類型，字段名2類型
……
)創建表，再通過INSERT命令向表中插入記錄操作，所述數據庫刪除模塊通過DROP命令對整張表進行刪除，通過DELETE可以刪除已插入的記錄，在不需要此條記錄的情況下進行刪除。
[0011]優選的，所述數據庫操作單元還包括數據庫更新模塊和數據庫查看模塊，所述數據庫更新模塊通過UPDATE命令對表名更改的操作、對表中字段名更改的操作和對表中已經插入的記錄更改的操作，所述數據庫查看模塊通過DESC命令查詢數據庫中是不是有這張表，通過QUERY命令查詢這張表中有沒有需要的記錄。
[0012]優選的，所述數據庫同步單元包括源端數據同步模塊和元數據管理節點模塊，所述源端數據同步模塊在源端數據庫部署源端數據同步系統，在目標端部署目標端數據同步系統，所述元數據管理節點模塊從源端數據庫同步系統初始化日志讀取線程、日志解析線程和日志緩存線程，在元數據管理節點下運行模式下。
[0013]優選的，所述數據庫同步單元還包括數據節點運行模塊和應用目標數據庫模塊，所述數據節點運行模塊從源端數據庫同步系統初始化日志讀取線程、日志解析線程和日志緩存線程，將日志打包發送到目標端數據同步系統，在數據節點運行模式下，所述應用目標數據庫模塊收到從源端數據庫發送過來的數據后解包，并將解包后的數據應用到目標數據庫。
[0014]優選的，所述數據庫異步單元包括開啟模塊和接收模塊，所述開啟模塊根據對應的緩沖隊伍開啟多個工作線程，所述接收模塊用數據庫語句放入緩沖隊列中并將其放入數據庫接收數據庫的信息。
[0015]優選的，所述數據庫異步單元還包括生成模塊和寫入模塊，所述生成模塊根據數據庫的信息生成對應的數據庫語句，所述寫入模塊通過控制工作線程將數據庫語句從緩沖隊列中取出，將控制數據庫語句寫入數據庫系統。
[0016]異步算法包括分布式階梯算法，分布式階梯算法具體為：
[0017][0018]式中：p
k
代表計算節點k上數據點的索引的集合，n
k
代表計算節點個數，f
i
(w)代表每個計算節點的損失點；
[0019]異步算法包括異步界限分析算法，異步界限分析算法具體為：
[0020][0021]式中：H
u,k
代表異步數據庫矩陣，代表偽異步數據庫矩陣，(P
u,k|k
?1)代表節點數矩陣。
[0022]與現有技術相比，本專利技術的有益效果是：
[0023]本專利技術通過數據庫異步單元對數據進行異步存儲，通過多個工作線程將要寫入數據庫的記錄放在某個指定的緩沖區，不需要等待緩沖區的記錄取出，可以再次向數據庫寫入數據，使數據庫管理系統處理數據的效率提高，同時存在每個節點是同步獨立的，同步的事務是分散的，同步的數據是一個整體、一致的，數據可以并發處理，可以提升同步整體的性能。
附圖說明
[0024]圖1為本專利技術的整體框圖；
[0025]圖2為本專利技術的數據庫創建單元框圖；
[0026]圖3為本專利技術的數據庫操作單元框圖；
[0027]圖4為本專利技術的數據庫同步單元框圖；
[0028]圖5為本專利技術的數據庫異步單元框圖。
[0029]圖中：1、數據庫創建單元；101、數據庫字段確認模塊；102、數據庫名稱規范模塊；103、數據庫約束模塊；104、數據庫創建模塊；2、數據庫操作單元；201、數據庫插入模塊；202、數據庫刪除模塊；203、數據庫更新模塊；204、數本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種分布式內存數據庫管理系統，其特征在于：包括數據庫創建單元(1)，所述數據庫創建單元(1)針對所需要的字段進行確認，并且對數據庫的字段名稱規范化命名，添加必要的約束條件，然后根據字段創建數據庫；數據庫操作單元(2)，所述數據庫操作單元(2)通過命令向表中添加記錄，或者對已插入的記錄進行刪除，通過查詢操作查看我們需要的記錄，同時也可以對表名更改的操作、對表中字段名更改的操作和對表中已經插入的記錄更改的操作；數據庫同步單元(3)，所述數據庫同步單元(3)在源端數據庫部署源端數據同步系統，在目標端部署目標端數據同步系統，分別在元數據管理節點和數據節點運行模式下，對源端數據同步至系統進行初始化，并將這些解析包操作應用到目標端數據庫；數據庫異步單元(4)，所述數據庫異步單元(4)開啟多個工作線程及對應的緩沖隊列，收到數據庫信息，將數據庫語句放入緩沖隊列后，并且通過異步算法寫入數據庫系統。2.根據權利要求1所述的一種分布式內存數據庫管理系統，其特征在于：所述數據庫創建單元(1)包括數據庫字段確認模塊(101)、數據庫名稱規范模塊(102)、數據庫約束模塊(103)和數據庫創建模塊(104)，所述數據庫字段確認模塊(101)在創建數據庫之前，針對該表所需要的字段擬出來并且對所需要的字段進行確認，所述數據庫名稱規范模塊(102)對于確定好的字段，需要規范，所述數據庫約束模塊(103)包括為主鍵約束、唯一約束、檢查約束、默認約束和外鍵約束，所述主鍵約束保證數據的唯一性，并且主鍵列數據不能為空，所述唯一約束保證數據的唯一性，唯一約束列可以為空，所述檢查約束保證數據的有效性，讓值在有效范圍內取值，對該列數據的范圍、格式的限制，所述默認約束保證數據的完整性，如果沒有填入信息時，會使用默認的信息填入，保證數據的完整性，所述外鍵約束需要建立兩表間的關系并引用主表的列，保證數據的完整性互相依賴的數據不能丟失。3.根據權利要求1所述的一種分布式內存數據庫管理系統，其特征在于：所述數據庫操作單元(2)包括數據庫插入模塊(201)和數據庫刪除模塊(202)，所述數據庫插入模塊(201)通過CREATE TABLE TABLENAME(字段名1類型，字段名2類型
……
)創建表，再通過INSERT命令向表...

【專利技術屬性】
技術研發人員：付強，
申請(專利權)人：無錫數科云科技有限公司，
類型：發明
國別省市：