【技術實現步驟摘要】
本專利技術涉及數據庫管理，特別涉及一種分布式數據庫本地臨時表管理方法、裝置、設備及介質。
技術介紹
1、在現代數據庫系統中，數據存儲和計算通常是緊密耦合的。然而，隨著大數據時代的到來，數據量的爆炸式增長和對計算資源需求的不斷增加，存算分離架構逐漸成為一種趨勢。在存算分離架構中，數據存儲和計算資源被分離到不同的服務器上，這樣可以靈活地擴展存儲和計算能力，并且可以更好地優化資源利用。
2、存算分離架構下的臨時表的缺陷：存算分離架構雖然帶來了靈活性和可擴展性，但也引入了新的挑戰。特別是在元數據管理方面，由于元數據（例如表結構、索引、統計信息等）通常存儲在獨立的元數據服務器上，計算節點需要頻繁地訪問這些集中存儲的元數據，導致以下幾個問題：高延遲：計算節點每次需要訪問或修改元數據時，都需要通過網絡與元數據服務器通信，這會導致較高的延遲；高負載：元數據服務器需要處理來自眾多計算集群的請求，是制約系統擴展能力的瓶頸；一致性問題：多計算節點的并發訪問和修改元數據可能導致一致性問題，處理這些一致性問題會進一步增加系統的復雜性和開銷；
3、postgresql的臨時表方案：postgresql允許用戶創建臨時表，這些表在會話結束時自動刪除，或者在事務結束時自動刪除（根據創建時的定義）。臨時表的元數據都存儲在本地磁盤上，與普通表相同。這意味著盡管臨時表的數據不需要持久化，但它們仍然需要進行磁盤io操作。臨時表的元數據存儲在系統目錄表中，需要通過訪問系統目錄來管理和維護這些元數據。訪問這些元數據可能會導致磁盤io瓶頸，尤其是在高
4、greenplum的臨時表方案及元數據管理：greenplum作為postgresql的并行擴展版本，繼承了postgresql的臨時表特性。雖然臨時表的數據存儲在segment節點的本地磁盤上，但在分布式環境中仍可能涉及網絡通信，尤其是在查詢需要跨segment節點時。greenplum的元數據分布在master節點和segment節點。master節點維護全局元數據和系統目錄，segment節點管理本地數據的元數據。當計算節點（segment節點）需要訪問或修改元數據時，通常需要通過master節點協調。master節點成為元數據訪問的中樞。雖然segment節點可以緩存部分元數據，但由于需要通過master節點進行協調，仍存在網絡通信和潛在的瓶頸問題。
技術實現思路
1、有鑒于此，本專利技術實施例提供了一種分布式數據庫本地臨時表管理方法，以解決現有技術中數據處理存在網路通信頻繁、訪問延遲、訪問速度受限的技術問題。該方法包括：
2、創建元數據表和索引表，所述元數據表用于存儲臨時表的元數據的原表數據，所述索引表用于存儲臨時表的元數據的索引數據；
3、在系統緩存和元數據服務器之間設置內存緩存層，將所述元數據表和所述索引表存儲至所述內存緩存層；
4、當所述系統緩存中不存在當前計算節點所需數據時，當前計算節點通過掃描所述索引表從所述元數據表中獲取數據；
5、當所述內存緩存層中不存在當前計算節點所需數據時，當前計算節點訪問所述元數據服務器以獲取數據。
6、本專利技術實施例還提供了一種分布式數據庫本地臨時表管理裝置，以解決現有技術中數據處理存在網路通信頻繁、訪問延遲、訪問速度受限的技術問題。該裝置包括：
7、創建模塊，用于創建元數據表和索引表，所述元數據表用于存儲臨時表的元數據的原表數據，所述索引表用于存儲臨時表的元數據的索引數據；
8、內存緩存層設置模塊，用于在系統緩存和元數據服務器之間設置內存緩存層，將所述元數據表和所述索引表存儲至所述內存緩存層；
9、掃描模塊，用于當所述系統緩存中不存在當前計算節點所需數據時，當前計算節點通過掃描所述索引表從所述元數據表中獲取數據；
10、元數據服務器訪問模塊，用于當所述內存緩存層中不存在當前計算節點所需數據時，當前計算節點訪問所述元數據服務器以獲取數據。
11、本專利技術實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述任意的分布式數據庫本地臨時表管理方法，以解決現有技術中數據處理存在網路通信頻繁、訪問延遲、訪問速度受限的技術問題。
12、本專利技術實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有執行上述任意的分布式數據庫本地臨時表管理方法的計算機程序，以解決現有技術中數據處理存在網路通信頻繁、訪問延遲、訪問速度受限的技術問題。
13、與現有技術相比，本說明書實施例采用的上述至少一個技術方案能夠達到的有益效果至少包括：本申請提供的是一種在存算分離、共享元數據的架構下的臨時表的管理方法，在保證數據一致性的同時實現高效，提升了系統的可擴展性。具體的，通過在系統緩存和元數據服務器之間設置內存緩存層，把臨時表的元數據放在本地內存緩存層，可有效減少訪問元數據服務器的次數，提高了系統的擴展性以及元數據訪問速度；同時，元數據在本地只放在內存中，相比于將元數據存儲在磁盤上，可有效提高訪問速度，進一步提升數據處理性能。此外，由于元數據存儲在本地內存中，元數據的維護過程可減少對集中元數據服務器的請求數量，降低了元數據服務器的負載，有效避免瓶頸問題。
本文檔來自技高網...【技術保護點】
1.一種分布式數據庫本地臨時表管理方法，其特征在于，包括：
2.如權利要求1所述的分布式數據庫本地臨時表管理方法，其特征在于，所述創建元數據表，包括：
3.如權利要求2所述的分布式數據庫本地臨時表管理方法，其特征在于，所述創建索引表，包括：
4.如權利要求3所述的分布式數據庫本地臨時表管理方法，其特征在于，所述方法還包括：
5.如權利要求4所述的分布式數據庫本地臨時表管理方法，其特征在于，所述當前計算節點通過掃描所述索引表從所述元數據表中獲取數據，包括：
6.如權利要求2所述的分布式數據庫本地臨時表管理方法，其特征在于，所述方法還包括：
7.如權利要求6所述的分布式數據庫本地臨時表管理方法，其特征在于，所述方法還包括：
8.一種分布式數據庫本地臨時表管理裝置，其特征在于，包括：
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的分布式數據庫本地臨時表管理方法。
10
...【技術特征摘要】
1.一種分布式數據庫本地臨時表管理方法，其特征在于，包括：
2.如權利要求1所述的分布式數據庫本地臨時表管理方法，其特征在于，所述創建元數據表，包括：
3.如權利要求2所述的分布式數據庫本地臨時表管理方法，其特征在于，所述創建索引表，包括：
4.如權利要求3所述的分布式數據庫本地臨時表管理方法，其特征在于，所述方法還包括：
5.如權利要求4所述的分布式數據庫本地臨時表管理方法，其特征在于，所述當前計算節點通過掃描所述索引表從所述元數據表中獲取數據，包括：
6.如權利要求2所述的分布式數據庫本地臨時表管理...
【專利技術屬性】
技術研發人員：王勇，姚延棟，
申請(專利權)人：北京四維縱橫數據技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。