一種列存數據庫的物化方法及裝置制造方法及圖紙

本發明專利技術提供了一種列存數據庫的物化方法及裝置，其中，所述方法包括：按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。通過將亂序的行號索引排序，提前將該維度數據物化，以避免頻繁的重復I/O。然后通過高效的排序算法將物化的數據調整順序，使原來的維度可以順序物化。最后將原來的亂序行號索引換成順序的索引，基于新的數據物化。提高了join后物化的性能，減少了大量的重復I/O。

【技術實現步驟摘要】

本專利技術屬于列存數據庫
，尤其是涉及一種列存數據庫的物化方法及裝置。
技術介紹
隨著大數據分析和數據挖掘等領域的不斷發展，數據庫處理的數據量越來越大，遠遠超出了內存的范圍，為了有效處理數據，出現了新型的列存數據庫。列式數據庫是以列相關存儲架構進行數據存儲的數據庫，主要適合于批量數據處理和即時查詢。相對應的是行式數據庫，數據以行相關的存儲體系架構進行空間分配，主要適合于小批量的數據處理，常用于聯機事務型數據處理。它將數據按照邏輯列的形式集中進行存儲，能夠獲得更高的壓縮比，減少數據訪問時不必要的磁盤I/O。晚期物化策略，是指在數據庫的操作過程中，將命中的數據位置(我們稱之為行號索引)記錄下來，而不是把最終需要的數據都提前物化到內存中。這種策略能更好地利用數據庫的列存特性，避免無效I/O，有效利用內存，整體提高查詢性能。但是在某些場景下，如join操作，晚期物化使用的行號索引的順序比較雜亂無序，沒有規律,會引起大量的重復I/O。列存儲的方式通常是同一列的數據被劃分為若干個數據塊，每個數據塊中的記錄個數相同，這樣做的好處是分散管理，節省內存。當需要的數據塊命中時，會從磁盤該數據塊到內存中，當其他數據塊命中同時內存不足時，又會將該數據塊從內存中釋放。join算子使用的晚期物化策略，是將不同維度命中的數據行號索引記錄下來，在最終物化時根據這些行號索引進行物化，從磁盤讀取數據。當數據比較分散時，有的維度就會出現讀取->釋放->讀取->釋放......的重復I/O操作。導致性能嚴重下降，查詢時開銷大。
技術實現思路
本專利技術實施例提供了一種列存數據庫的物化方法及裝置，以解決現有技術中超大規模數據量下列存數據庫運用晚期物化策略導致性能嚴重下降的技術問題。一方面。本專利技術實施例提供了一種列存數據庫的物化方法，包括：按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。進一步的，所述方法還包括：按照物化序號進行排序；將排序結果作為順序數據源。另一方面，本專利技術實施例還提供了一種列存數據庫的物化裝置，包括：第一排序單元，用于按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；第二排序單元，用于將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。進一步的，所述裝置還包括：第三排序單元，用于按照物化序號進行排序；數據源生成單元，用于將排序結果作為順序數據源。本專利技術實施例提供了一種列存數據庫的物化方法及裝置，通過將亂序的行號索引排序，提前將該維度數據物化，以避免頻繁的重復I/O。然后通過高效的排序算法將物化的數據調整順序，使原來的維度可以順序物化。最后將原來的亂序行號索引換成順序的索引，基于新的數據物化。提高了join后物化的性能，減少了大量的重復I/O。附圖說明為了更清楚地說明本專利技術實施例的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本專利技術實施例一提供的列存數據庫的物化方法的流程示意圖；圖2是本專利技術實施例二提供的列存數據庫的物化方法裝置的結構示意圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。實施例一圖1為本專利技術實施例一提供的分列存數據庫的物化方法的流程圖，本實施例可適用于數據量很大，內存僅能緩存住部分數據，同時行號索引亂序比較嚴重時，對列存數據庫進行物化的情況，該方法可以由列存數據庫的物化裝置來執行，該裝置可由軟件/硬件方式實現，并可集成于列存數據庫中。參見圖1，所述分布式數據庫系統數據的分發方法，包括：S110，按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化。示例性的，以下述列存數據庫為例，t1為數據代碼行號索引，假設一個數據塊中只包含一行數據，且內存中只能放兩條數據，那么下述的I/O次數為：(t1->1)+(t2->1)+(t2->2)+(t1->2)+(t2->1)+(t2->2)+(t1->3)+(t2->1)+(t2->2)+(t1->4)+(t2->1)+(t2->2)+(t1->5)+(t2->1)+(t2->2)＝15；歸納為計算公式為：t1.cnt+t1.cnt*t2.cnt＝5+5*2＝15；而t1.cnt+t1.cnt*t2.cnt≈t1.cnt*t2.cnt；(當t2.cnt比較大時)，如t1的數據塊為1000，t2的數據塊為100，那么I/O次數約為100000次原來的索引行號是亂序的，如上述實例中的t2維度，排序后的效果如如下所示：此時根據t2的行號索引物化，只需(t2->1)+(t2->2)＝2次讀I/O，同時將物化的數據寫入磁盤，還需要10(需要物化的行數rows)次寫I/O，總結成公式為：t2.cnt次讀I/O+需要物化的行數rows次寫I/O，即t2.cnt+rows。S120，將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。根據最新的行號索引和新的數據進行最終的物化，物化的結果如下所示：物化需要讀(t1->1)+(t1->2)+(t1->3)+(t1->4)+(t1->5)+rows＝t1.cnt+rows次I/O，完成物化。通過以上步驟，完成了最終的物化，I/O次數為：步驟1中的t2.cnt+rows次+步驟2中的2*rows次+步驟3中的t1.cnt+rows次，計算公式為t1.cnt+t2.cnt+4*rows次；而不做優化前的I/O次數約為t1.cnt*t2.cnt。可以看出，當t1.cnt和t2.cnt比較大時，優化前的I/O次數比優化后高一個數量級。本實施例通過將亂序的行號索引排序，提前將該維度數據物化，以避免頻繁的重復I/O。然后通過高效的排序算法將物化的數據調整順序，使原來的維度可以順序物化。最后將原來的亂序行號索引換成順序的索引，基于新的數據物化。提高了join后物化的性能，減少了大量的重復I/O。實施例二圖2是本專利技術實施例二提供的列存數據庫的物化方法裝置的結構示意圖，如圖2所示，所述裝置包括：第一排序單元210，用于按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；第二排序單元220，用于將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。進一步的，所述裝置還包括：第三排序單元，用于按照物化序號進行排序；數據源生成單元，用于將排序結果作為順序數據源。本專利技術實施例提供了一種列存數據庫的物化方法及裝置，通過將亂序的行號索引排序，提前將該維度數據物化，以避免頻繁的重復I/O。然后通過高效的排序算法將物化的數據調整順序，使原來的維度可本文檔來自技高網...

【技術保護點】
一種列存數據庫的物化方法，其特征在于，包括：按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。

【技術特征摘要】
1.一種列存數據庫的物化方法，其特征在于，包括：按照列存數據庫物化需要的行號索引進行排序，將排序后的數據進行物化；將物化的數據根據物化序號排序，按照所述行號索引對數據進行物化。2.根據權利要求1所述的方法，其特征在于：所述方法還包括：按照物化序號進行排序；將排序結果作為順序數據源。3.一種列存數據庫的物化裝置，其特征...

【專利技術屬性】
技術研發人員：崔維力，武新，譚忠濤，
申請(專利權)人：天津南大通用數據技術股份有限公司，
類型：發明
國別省市：天津;12