System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及數據處理,尤其涉及一種htap數據庫構建方法、裝置、設備及介質。
技術介紹
1、隨著計算機科學與技術的發展,數據庫技術不斷提高。
2、數據庫可以使用行存儲表來存儲用戶或者企業在進行業務生產和處理過程中產生的數據,優化以行記錄為單位的增、刪和改操作的存儲效率,支持事務處理和并發訪問控制,保證用戶可以訪問到新鮮度最高的數據。
3、但是,使用行存儲表來存儲數據的數據庫,列數據查詢效率較低。
技術實現思路
1、本專利技術提供一種htap數據庫構建方法、裝置、設備及介質,用以解決相關技術中使用行存儲表來存儲數據的數據庫,列數據查詢效率較低的缺陷,提高列數據查詢效率。
2、第一方面,本專利技術提供一種htap數據庫構建方法,包括:
3、響應于數據選定指令,在初始行存儲表保存的多個列名和多個行記錄中選定感興趣的多個目標列名和多個目標行記錄;
4、在所述初始行存儲表中創建代理鍵索引列,并在所述代理鍵索引列中,從預設的初始代理鍵索引標識開始向每個所述目標行記錄分配遞增且連續的代理鍵索引標識,得到目標行存儲表;
5、對于任一所述目標列名,根據所述目標列名和每個所述代理鍵索引標識,創建所述目標列名對應的列數據;
6、根據每個所述目標列名和對應的所述列數據,創建目標列存儲表;
7、構建包括所述目標行存儲表和所述目標列存儲表的混合事務處理和分析處理htap數據庫;其中,所述htap數據庫中的所述目標
8、可選的,所述根據所述目標列名和每個所述代理鍵索引標識,創建所述目標列名對應的列數據,包括:
9、分別在每個所述代理鍵索引標識對應的所述行記錄中,確定所述目標列名對應的記錄值;
10、確定至少n個所述記錄值的字符數均大于第一預設閾值,以及確定所有所述記錄值中的記錄值重復次數超過第二預設閾值,則對所有所述記錄值進行分組以得到對應的至少一個記錄值類別,并分別對所述至少一個記錄值類別設置唯一對應的字典表編碼;其中,n為大于1的整數;
11、對于任一所述記錄值,根據所述記錄值對應的所述記錄值類別確定所述記錄值對應的目標字典表編碼,根據所述記錄值對應的所述目標行記錄確定所述記錄值對應的目標代理鍵索引標識,確定所述目標代理鍵索引標識在所有所述代理鍵索引標識中的遞增排列次序,將所述遞增排列次序確定為所述目標字典表編碼的待排列次序;
12、根據每個所述目標字典表編碼的待排列次序,對每個所述記錄值對應的所述目標標字典表編碼進行排列,得到排列結果并作為所述目標列名對應的列數據。
13、可選的,在所述構建包括所述目標行存儲表和所述目標列存儲表的混合事務處理和分析處理htap數據庫之后,所述方法還包括:
14、確定所述代理鍵索引列中所述代理鍵索引標識的總數,創建單元格總數等于所述總數的新鮮度向量索引列;以及,創建操作類型索引表;
15、響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作。
16、可選的,所述多個列名中包括操作時間戳,所述初始代理鍵索引標識為1;所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,包括:
17、響應于對所述目標列名在第一行記錄中對應的記錄值的更新指令,對所述目標列名在所述第一行記錄中對應的記錄值進行更新,確定更新操作發生的第一時間戳和所述第一行記錄在所述目標行存儲表中的第一入口地址;
18、將所述第一時間戳保存至所述操作時間戳在所述第一行記錄對應的單元格中,以及將所述第一入口地址和更新操作標識對應存儲至所述操作類型索引表中;
19、確定所述第一行記錄對應的第一代理鍵索引標識,在所述新鮮度向量索引列的多個單元格中,確定出單元格次序與所述第一代理鍵索引標識大小相等的第一單元格,并將所述第一時間戳保存至所述第一單元格中。
20、可選的,所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,還包括:
21、響應于在所述目標行存儲表中新增第二行記錄的指令,在所述目標行存儲表中新增所述第二行記錄,確定新增操作發生的第二時間戳,將所述第二時間戳存儲至所述操作時間戳在所述第二行記錄中對應的第二單元格中;
22、確定所述第二行記錄為感興趣的行記錄,則在所述代理鍵索引列中向所述第二行記錄繼續分配遞增的第二代理鍵索引標識,獲取所述第二行記錄在所述目標行存儲表中的第二入口地址,將所述第二入口地址和新增操作標識對應存儲至所述操作類型索引表中。
23、可選的,所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,還包括:
24、響應于對所述目標行存儲表中第三行記錄的刪除指令,將所述第三行記錄對應的刪除標識位中的標識值從非刪除標識值修改為已刪除標識值,記錄修改操作發生的第三時間戳,將所述第三時間戳存儲至所述操作時間戳在所述第三行記錄對應的單元格中;
25、確定所述第三行記錄中包括第三代理鍵索引標識,則在所述新鮮度向量索引列的多個單元格中,確定出單元格次序與所述第三代理鍵索引標識大小相等的第三單元格,并將所述第三時間戳存儲至所述第三單元格中。
26、可選的,在所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作之后,所述方法還包括:
27、接收對所述目標列存儲表中所述目標列名對應的所述目標列數據的查詢指令,并記錄對所述查詢指令的接收時間戳;
28、查找所述新鮮度向量索引列中的每個空值單元格,確定每個所述空值單元格在所述新鮮度向量索引列中所處的第一單元格次序,將所述目標列數據中位于每個所述第一單元格次序的記錄值確定為允許訪問記錄值;
29、在所述新鮮度向量索引列當前存儲的各個時間戳中,查找出大于所述接收時間戳的至少一個目標時間戳,確定每個所述目標時間戳在所述新鮮度向量索引列中所處的第二單元格次序;
30、對于任一所述第二單元格次序,確定與所述第二單元格次序大小相等的第四代理鍵索引標識,在所述目標行存儲表中確定與第四代理鍵標識索引對應的第四行記錄,將所述目標列名在所述第四行記錄中對應的記錄值確定為允許訪問記錄值;
31、獲取所述操作類型索引表當前存儲的每本文檔來自技高網...
【技術保護點】
1.一種HTAP數據庫構建方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述根據所述目標列名和每個所述代理鍵索引標識,創建所述目標列名對應的列數據,包括:
3.根據權利要求1所述的方法,其特征在于,在所述構建包括所述目標行存儲表和所述目標列存儲表的混合事務處理和分析處理HTAP數據庫之后,所述方法還包括:
4.根據權利要求3所述的方法,其特征在于,所述多個列名中包括操作時間戳,所述初始代理鍵索引標識為1;所述響應于對所述目標行存儲表的行記錄操作指令,對所述HTAP數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,包括:
5.根據權利要求4所述的方法,其特征在于,所述響應于對所述目標行存儲表的行記錄操作指令,對所述HTAP數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,還包括:
6.根據權利要求5所述的方法,其特征在于,所述響應于對所述目標行存儲表的行記錄操作指令,對所述HTA
7.根據權利要求3至6中任一項所述的方法,其特征在于,在所述響應于對所述目標行存儲表的行記錄操作指令,對所述HTAP數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作之后,所述方法還包括:
8.一種HTAP數據庫構建裝置,其特征在于,包括:
9.一種計算機設備,其特征在于,包括:
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質上存儲有計算機指令,所述計算機指令用于使計算機執行權利要求1至7中任一項所述的HTAP數據庫構建方法。
...【技術特征摘要】
1.一種htap數據庫構建方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述根據所述目標列名和每個所述代理鍵索引標識,創建所述目標列名對應的列數據,包括:
3.根據權利要求1所述的方法,其特征在于,在所述構建包括所述目標行存儲表和所述目標列存儲表的混合事務處理和分析處理htap數據庫之后,所述方法還包括:
4.根據權利要求3所述的方法,其特征在于,所述多個列名中包括操作時間戳,所述初始代理鍵索引標識為1;所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類型索引表中的至少一個進行數據操作,包括:
5.根據權利要求4所述的方法,其特征在于,所述響應于對所述目標行存儲表的行記錄操作指令,對所述htap數據庫中的所述目標行存儲表、所述目標列存儲表、所述新鮮度向量索引列和所述操作類...
【專利技術屬性】
技術研發人員:張延松,劉佳茹,王沁垚,韓瑞琛,
申請(專利權)人:中國人民大學,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。