一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法技術(shù)

本發(fā)明專利技術(shù)涉及一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，該方法包括：定義關(guān)系挖掘規(guī)則，挖掘三元組中潛在的關(guān)聯(lián)關(guān)系；定義壓縮查詢內(nèi)存模型，由主語向量、謂語向量和賓語矩陣組成；定義壓縮查詢內(nèi)存模型的序列化方式，使用三個(gè)輔助符號(hào)實(shí)現(xiàn)序列化和反序列化；定義在壓縮查詢內(nèi)存模型上執(zhí)行SPARQL的查詢方式，主語和謂語查詢使用二分查找方法，賓語查詢使用線性遍歷方法；定義當(dāng)賓語矩陣過大導(dǎo)致查詢緩慢的解決方案，將大的數(shù)據(jù)塊拆分為多個(gè)小的數(shù)據(jù)塊。使用本發(fā)明專利技術(shù)方法處理的關(guān)聯(lián)數(shù)據(jù)集，相對(duì)于大部分現(xiàn)有的壓縮方案，提高了壓縮率，并且在壓縮狀態(tài)下，可以直接進(jìn)行SPARQL查詢操作。

An association data compression method for query friendliness

The invention relates to a method of query data friendly compression method, the method comprises the following steps: define the relation rules mining, mining potential correlation of three tuples in a query definition; compressed memory model, composed of the subject, predicate and object vector vector matrix; definition compression query memory model serialization, using three auxiliary symbols to achieve serialization and deserialization; to define and implement the SPARQL in the compressed query memory model on the query mode, the subject and the predicate query uses two search methods, object query using a linear traversal method; when the object matrix leads to the definition of query solution is slow, the big data block is split into a plurality of small blocks of data. The associated data set processed by the method of the invention improves the compression ratio relative to most of the existing compression schemes, and can directly carry out SPARQL query operation in the compressed state.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法
本專利技術(shù)涉及大數(shù)據(jù)領(lǐng)域，用于海量RDF、LOD及知識(shí)圖譜相關(guān)數(shù)據(jù)的存儲(chǔ)、傳輸和查詢。尤其涉及一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法
技術(shù)介紹
現(xiàn)有的關(guān)聯(lián)數(shù)據(jù)壓縮方案有很多種，但大部分對(duì)于查詢并不友好。普遍認(rèn)同的壓縮方案有HDT，這種壓縮方案壓縮率較高，但是查詢時(shí)需要先解壓縮，對(duì)查詢并不友好。受HDT方案的啟發(fā)，很多基于HDT方案的壓縮技術(shù)也被提出，如HDTFoQ、WaterFowl、HDT++，這些壓縮技術(shù)都有一個(gè)共同的特點(diǎn)：高壓縮率，但對(duì)查詢并不友好。也有一些對(duì)查詢友好的方案，譬如BitMat方法，這種壓縮方案采用三維矩陣的方式表述三元組關(guān)系，為很多不存在的三元組關(guān)系也預(yù)留存儲(chǔ)空間。當(dāng)關(guān)聯(lián)數(shù)據(jù)集大到一定規(guī)模時(shí)，這個(gè)三維矩陣就變成了一個(gè)超級(jí)稀疏矩陣，由于存儲(chǔ)了很多冗余信息，壓縮率并不理想。為了減少存儲(chǔ)的冗余信息，K2-triple方案被提出來，它按照謂語將三維矩陣劃分為多個(gè)二維矩陣，用K2樹的結(jié)構(gòu)存儲(chǔ)二維矩陣。這種方法在一定程度上提高了壓縮率，但也破壞了原有直觀的矩陣結(jié)構(gòu)，所以在進(jìn)行查詢的時(shí)候需要先還原矩陣，而這個(gè)操作會(huì)降低RDF的查詢效率。越來越多的關(guān)聯(lián)數(shù)據(jù)充斥著整個(gè)數(shù)據(jù)網(wǎng)絡(luò)，當(dāng)需要管理和查詢這些數(shù)據(jù)時(shí)，查詢性能和數(shù)據(jù)可擴(kuò)展便成了焦點(diǎn)問題。雖然可以使用足夠多的存儲(chǔ)介質(zhì)來存儲(chǔ)越來越龐大的關(guān)聯(lián)數(shù)據(jù)集，但是龐大的數(shù)據(jù)集不僅會(huì)導(dǎo)致查詢效率降低，還會(huì)加劇其它常見的過程(如RDF發(fā)布和交換)的性能問題。隨著通過網(wǎng)絡(luò)傳輸執(zhí)行結(jié)果的遠(yuǎn)程SPARQL端點(diǎn)查詢方式越來越受歡迎，RDF的發(fā)布和交換在關(guān)聯(lián)數(shù)據(jù)的查詢中使用得越來越頻繁。因此尋找一種查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法具有重大意義。
技術(shù)實(shí)現(xiàn)思路
針對(duì)上述問題,本專利技術(shù)的目的是找到一種對(duì)查詢友好的壓縮方案。在沒有對(duì)關(guān)聯(lián)數(shù)據(jù)壓縮數(shù)據(jù)解壓縮的情況下，能直接進(jìn)行SPARQL查詢，同時(shí)盡可能提高壓縮率。本專利技術(shù)目標(biāo)由挖掘關(guān)聯(lián)數(shù)據(jù)集中潛在的關(guān)系矩陣實(shí)現(xiàn)。該方法包括：一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，其特征在于，一個(gè)構(gòu)建結(jié)構(gòu)模型的步驟，具體包括：步驟1，將三元組內(nèi)存模型基于N-Triple格式關(guān)聯(lián)數(shù)據(jù)并解析，得到三元組集合，然后構(gòu)建字典，并將三元組ID化，其中，解析的過程包括：步驟1.1，過濾掉以“#”開始的行或者空行；步驟1.2，讀取每一行數(shù)據(jù)按空格切分字符串；步驟1.3，將切分后數(shù)據(jù)映射到三元組的主語、謂語和賓語，構(gòu)建成一個(gè)三元組；步驟2，基于關(guān)系挖掘約束，挖掘三元組中潛在的關(guān)聯(lián)；步驟3，定義壓縮查詢內(nèi)存模型，由頭部信息、字典和數(shù)據(jù)塊集合組成，每個(gè)數(shù)據(jù)塊由主語向量、謂語向量和賓語矩陣組成；所述壓縮查詢內(nèi)存模型使用主語向量、謂語向量和賓語矩陣的方式表示三元組關(guān)系：定義主語向量為一個(gè)長(zhǎng)度為m的列向量，謂語向量為一個(gè)長(zhǎng)度為n的行向量，賓語矩陣為一個(gè)m*n的矩陣，主語向量和謂語向量做向量乘法，得到一個(gè)和賓語矩陣大小相同的由主謂語組成的矩陣，再與賓語矩陣的數(shù)據(jù)項(xiàng)一一映射，映射后的每一項(xiàng)為一個(gè)三元組關(guān)系；一個(gè)基于結(jié)構(gòu)模型進(jìn)行高壓縮率數(shù)據(jù)存儲(chǔ)的步驟，具體包括：步驟4，定義每個(gè)ID的存儲(chǔ)長(zhǎng)度相同，基于壓縮查詢內(nèi)存模型的序列化方式：使用輔助標(biāo)示進(jìn)行序列化和反序列化操作；步驟4.1，序列化：對(duì)于每個(gè)數(shù)據(jù)塊，將賓語矩陣扁平化，用介詞輔助標(biāo)識(shí)將主語向量、謂語向量和扁平化的賓語矩陣數(shù)據(jù)連接成線性數(shù)據(jù)結(jié)構(gòu)，再將處理后的線性數(shù)據(jù)結(jié)構(gòu)用數(shù)據(jù)塊輔助標(biāo)識(shí)連接在一起；步驟4.2，反序列化：根據(jù)數(shù)據(jù)塊輔助標(biāo)識(shí)符將序列化的數(shù)據(jù)劃分成每個(gè)一個(gè)個(gè)數(shù)據(jù)塊，對(duì)于每個(gè)數(shù)據(jù)塊，根據(jù)介詞輔助標(biāo)識(shí)符劃分為主語向量、謂語向量和扁平化的賓語矩陣，再根據(jù)主語向量的長(zhǎng)度將扁平化的賓語矩陣還原成真實(shí)矩陣；一個(gè)基于結(jié)構(gòu)模型進(jìn)行數(shù)據(jù)查詢的步驟，具體包括：步驟5，基于壓縮查詢內(nèi)存模型的SPARQL的查詢：對(duì)主語和謂語的查詢使用二分查找，對(duì)于賓語的查詢使用線性遍歷查找，具體包括：步驟5.1，主語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的主語向量，因?yàn)橹髡Z向量?jī)?nèi)部已排序，使用二分查找方法，因此主語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.2，謂語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的謂語向量，因?yàn)橹^語向量?jī)?nèi)部已排序，使用二分查找方法，因此謂語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.3，賓語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的賓語矩陣，因?yàn)橘e語矩陣內(nèi)部未排序，只能順序查找，時(shí)間復(fù)雜度為O(n)。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，基于N-Triple格式關(guān)聯(lián)數(shù)據(jù)并解析，得到三元組集合具體包括：步驟2.1，過濾掉以#開始的行或者空行；步驟2.2，讀取每一行數(shù)據(jù)按空格切分字符串；步驟2.3，將切分后數(shù)據(jù)映射到三元組的主語、謂語和賓語，構(gòu)建成一個(gè)三元組。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，構(gòu)建字典，并將三元組ID化具體包括：步驟3.1，將上一步得到的三元組進(jìn)行扁平化操作，去掉重復(fù)數(shù)據(jù)項(xiàng)；步驟3.2，為每一項(xiàng)數(shù)據(jù)分配一個(gè)唯一ID，得到Dictionary；步驟3.3，抽取Dictionary中每項(xiàng)數(shù)據(jù)相同的頭部信息，得到Header；將原始的三元組數(shù)據(jù)用ID替換，得到ID化的三元組集合。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，關(guān)系挖掘約束包括：約束條件一：合并具有相同主語和謂語的三元組；約束條件二：將所有三元組按照主語進(jìn)行分類，合并相同主語的所有謂語和賓語，形成謂語向量和賓語向量，提取每個(gè)主語的謂語向量；約束條件三：合并具有相同謂語(謂語向量)和賓語的三元組；約束條件四：將所有三元組按照謂語向量分類，合并相同謂語向量的主語和賓語，形成主語向量和賓語矩陣。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，壓縮查詢內(nèi)存模型，使用主語向量、謂語向量和賓語矩陣的方式表示三元組關(guān)系：假定主語向量為一個(gè)長(zhǎng)度為m的列向量，謂語向量為一個(gè)長(zhǎng)度為n的行向量，賓語矩陣為一個(gè)m*n的矩陣，主語向量和謂語向量做向量乘法，得到一個(gè)和賓語矩陣大小相同的由主謂語組成的矩陣，再與賓語矩陣的數(shù)據(jù)項(xiàng)一一映射，映射后的每一項(xiàng)為一個(gè)三元組關(guān)系。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，SPARQL的查詢還包括：步驟5.4，復(fù)雜查詢，所有的復(fù)雜查詢都可以分解為成前面三種簡(jiǎn)單查詢，再合并簡(jiǎn)單查詢的結(jié)果；所述步驟5.1至步驟5.4能夠并發(fā)執(zhí)行。在上述的一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，還包括一個(gè)賓語矩陣拆分的步驟，對(duì)于賓語矩陣過大的數(shù)據(jù)塊，拆分為多個(gè)數(shù)據(jù)塊，具體是當(dāng)賓語矩陣過大導(dǎo)致賓語查詢緩慢的解決方案，保持謂語向量不變，將主語向量和賓語矩陣對(duì)應(yīng)拆分，得到多個(gè)小的數(shù)據(jù)塊，此拆分方法能維護(hù)壓縮查詢內(nèi)存模型結(jié)構(gòu)，保證拆分后的壓縮查詢內(nèi)存模型仍然能進(jìn)行并發(fā)查詢操作。因此，本專利技術(shù)具有如下優(yōu)點(diǎn)：使用本專利技術(shù)處理的關(guān)聯(lián)數(shù)據(jù)集，相對(duì)于大部分現(xiàn)有壓縮方案，提高了壓縮率，并且在壓縮狀態(tài)下，可以直接進(jìn)行SPARQL查詢操作。附圖說明圖1為本專利技術(shù)實(shí)施例的壓縮原理圖。圖2為本專利技術(shù)實(shí)施例的壓縮查詢內(nèi)存模型圖。圖3為本專利技術(shù)實(shí)施例的四條關(guān)系挖掘規(guī)則描述圖。圖4為本專利技術(shù)實(shí)施例的大數(shù)據(jù)塊拆分規(guī)則描述圖。圖5是本專利技術(shù)的方法流程示意圖。具體實(shí)施方式以下結(jié)合附圖和實(shí)施例詳細(xì)說明本專利技術(shù)技術(shù)方案。本專利技術(shù)提供的技術(shù)方案是基于關(guān)系矩陣的關(guān)聯(lián)數(shù)據(jù)集壓縮算法，具體包括以下步驟：1.定義三元組內(nèi)存模型，包含主語S、謂語P和賓語O三個(gè)數(shù)據(jù)段本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，其特征在于，一個(gè)構(gòu)建結(jié)構(gòu)模型的步驟，具體包括：步驟1，將三元組內(nèi)存模型基于N?Triple格式關(guān)聯(lián)數(shù)據(jù)并解析，得到三元組集合，然后構(gòu)建字典，并將三元組ID化，其中，解析的過程包括：步驟1.1，過濾掉以#開始的行或者空行；步驟1.2，讀取每一行數(shù)據(jù)按空格切分字符串；步驟1.3，將切分后數(shù)據(jù)映射到三元組的主語、謂語和賓語，構(gòu)建成一個(gè)三元組；步驟2，基于關(guān)系挖掘約束，挖掘三元組中潛在的關(guān)聯(lián)；步驟3，定義壓縮查詢內(nèi)存模型，由頭部信息、字典和數(shù)據(jù)塊集合組成，每個(gè)數(shù)據(jù)塊由主語向量、謂語向量和賓語矩陣組成；所述壓縮查詢內(nèi)存模型使用主語向量、謂語向量和賓語矩陣的方式表示三元組關(guān)系：定義主語向量為一個(gè)長(zhǎng)度為m的列向量，謂語向量為一個(gè)長(zhǎng)度為n的行向量，賓語矩陣為一個(gè)m*n的矩陣，主語向量和謂語向量做向量乘法，得到一個(gè)和賓語矩陣大小相同的由主謂語組成的矩陣，再與賓語矩陣的數(shù)據(jù)項(xiàng)一一映射，映射后的每一項(xiàng)為一個(gè)三元組關(guān)系；一個(gè)基于結(jié)構(gòu)模型進(jìn)行高壓縮率數(shù)據(jù)存儲(chǔ)的步驟，具體包括：步驟4，定義每個(gè)ID的存儲(chǔ)長(zhǎng)度相同，基于壓縮查詢內(nèi)存模型的序列化方式：使用輔助標(biāo)示進(jìn)行序列化和反序列化操作；步驟4.1，序列化：對(duì)于每個(gè)數(shù)據(jù)塊，將賓語矩陣扁平化，用介詞輔助標(biāo)識(shí)將主語向量、謂語向量和扁平化的賓語矩陣數(shù)據(jù)連接成線性數(shù)據(jù)結(jié)構(gòu)，再將處理后的線性數(shù)據(jù)結(jié)構(gòu)用數(shù)據(jù)塊輔助標(biāo)識(shí)連接在一起；步驟4.2，反序列化：根據(jù)數(shù)據(jù)塊輔助標(biāo)識(shí)符將序列化的數(shù)據(jù)劃分成每個(gè)一個(gè)個(gè)數(shù)據(jù)塊，對(duì)于每個(gè)數(shù)據(jù)塊，根據(jù)介詞輔助標(biāo)識(shí)符劃分為主語向量、謂語向量和扁平化的賓語矩陣，再根據(jù)主語向量的長(zhǎng)度將扁平化的賓語矩陣還原成真實(shí)矩陣；一個(gè)基于結(jié)構(gòu)模型進(jìn)行數(shù)據(jù)查詢的步驟，具體包括：步驟5，基于壓縮查詢內(nèi)存模型的SPARQL的查詢：對(duì)主語和謂語的查詢使用二分查找，對(duì)于賓語的查詢使用線性遍歷查找，具體包括：步驟5.1，主語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的主語向量，因?yàn)橹髡Z向量?jī)?nèi)部已排序，使用二分查找方法，因此主語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.2，謂語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的謂語向量，因?yàn)橹^語向量?jī)?nèi)部已排序，使用二分查找方法，因此謂語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.3，賓語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的賓語矩陣，因?yàn)橘e語矩陣內(nèi)部未排序，只能順序查找，時(shí)間復(fù)雜度為O(n)。...

【技術(shù)特征摘要】
1.一種對(duì)查詢友好的關(guān)聯(lián)數(shù)據(jù)壓縮方法，其特征在于，一個(gè)構(gòu)建結(jié)構(gòu)模型的步驟，具體包括：步驟1，將三元組內(nèi)存模型基于N-Triple格式關(guān)聯(lián)數(shù)據(jù)并解析，得到三元組集合，然后構(gòu)建字典，并將三元組ID化，其中，解析的過程包括：步驟1.1，過濾掉以#開始的行或者空行；步驟1.2，讀取每一行數(shù)據(jù)按空格切分字符串；步驟1.3，將切分后數(shù)據(jù)映射到三元組的主語、謂語和賓語，構(gòu)建成一個(gè)三元組；步驟2，基于關(guān)系挖掘約束，挖掘三元組中潛在的關(guān)聯(lián)；步驟3，定義壓縮查詢內(nèi)存模型，由頭部信息、字典和數(shù)據(jù)塊集合組成，每個(gè)數(shù)據(jù)塊由主語向量、謂語向量和賓語矩陣組成；所述壓縮查詢內(nèi)存模型使用主語向量、謂語向量和賓語矩陣的方式表示三元組關(guān)系：定義主語向量為一個(gè)長(zhǎng)度為m的列向量，謂語向量為一個(gè)長(zhǎng)度為n的行向量，賓語矩陣為一個(gè)m*n的矩陣，主語向量和謂語向量做向量乘法，得到一個(gè)和賓語矩陣大小相同的由主謂語組成的矩陣，再與賓語矩陣的數(shù)據(jù)項(xiàng)一一映射，映射后的每一項(xiàng)為一個(gè)三元組關(guān)系；一個(gè)基于結(jié)構(gòu)模型進(jìn)行高壓縮率數(shù)據(jù)存儲(chǔ)的步驟，具體包括：步驟4，定義每個(gè)ID的存儲(chǔ)長(zhǎng)度相同，基于壓縮查詢內(nèi)存模型的序列化方式：使用輔助標(biāo)示進(jìn)行序列化和反序列化操作；步驟4.1，序列化：對(duì)于每個(gè)數(shù)據(jù)塊，將賓語矩陣扁平化，用介詞輔助標(biāo)識(shí)將主語向量、謂語向量和扁平化的賓語矩陣數(shù)據(jù)連接成線性數(shù)據(jù)結(jié)構(gòu)，再將處理后的線性數(shù)據(jù)結(jié)構(gòu)用數(shù)據(jù)塊輔助標(biāo)識(shí)連接在一起；步驟4.2，反序列化：根據(jù)數(shù)據(jù)塊輔助標(biāo)識(shí)符將序列化的數(shù)據(jù)劃分成每個(gè)一個(gè)個(gè)數(shù)據(jù)塊，對(duì)于每個(gè)數(shù)據(jù)塊，根據(jù)介詞輔助標(biāo)識(shí)符劃分為主語向量、謂語向量和扁平化的賓語矩陣，再根據(jù)主語向量的長(zhǎng)度將扁平化的賓語矩陣還原成真實(shí)矩陣；一個(gè)基于結(jié)構(gòu)模型進(jìn)行數(shù)據(jù)查詢的步驟，具體包括：步驟5，基于壓縮查詢內(nèi)存模型的SPARQL的查詢：對(duì)主語和謂語的查詢使用二分查找，對(duì)于賓語的查詢使用線性遍歷查找，具體包括：步驟5.1，主語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的主語向量，因?yàn)橹髡Z向量?jī)?nèi)部已排序，使用二分查找方法，因此主語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.2，謂語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的謂語向量，因?yàn)橹^語向量?jī)?nèi)部已排序，使用二分查找方法，因此謂語查詢時(shí)間復(fù)雜度為O(log2n)；步驟5.3，賓語查詢方法具體包括：遍歷所有數(shù)據(jù)塊的賓語矩陣，因?yàn)橘e語矩陣內(nèi)部未排序，只能順序查找，時(shí)間復(fù)雜度為O(n)。2.根據(jù)權(quán)利要求...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：顧進(jìn)廣，彭燊，黃智生，符海東，梅琨，
申請(qǐng)(專利權(quán))人：武漢科技大學(xué)，武漢楚天云科技股份有限公司，
類型：發(fā)明
國別省市：湖北,42