查詢操作指令優化方法、裝置、電子設備及存儲介質制造方法及圖紙

本發明專利技術實施例公開了一種查詢操作指令優化方法、裝置、電子設備及存儲介質，所述方法包括：獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應的屬性信息；根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息；根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令。該技術方案適用性強，避免了繁瑣的數據解壓過程，在很大程度上節省了被解壓數據的存儲空間，簡化了數據操作流程，提高了數據操作性能。

【技術實現步驟摘要】
查詢操作指令優化方法、裝置、電子設備及存儲介質
本專利技術實施例涉及查詢操作控制
，具體涉及一種查詢操作指令優化方法、裝置、電子設備及存儲介質。
技術介紹
隨著數據技術的發展，越來越多的數據需要存儲在數據庫中。為了節省數據存儲空間，通常需要對于待存儲數據先進行壓縮再進行存儲，比如，對于HiStore列式數據庫，采用合適的壓縮算法可達到高于10:1的平均壓縮比，這樣就能夠極大地節省數據存儲的空間。但是在后續進行數據查詢等數據操作時，卻無法直接對于壓縮數據進行操作，比如若原始執行引擎在執行時采用的是和邏輯執行計劃一致的原始數據類型，就需要先將壓縮數據完全解壓，恢復成原始數據后再執行查詢操作，這樣繁瑣的數據解壓過程就會在很大程度上降低引擎的查詢性能。對于上述問題，通常可采用下面幾種處理方法：1、進行數據急解壓(eagerdecompression)，即在將數據導入主存時再進行解壓，該處理方法雖然能夠限制由壓縮存儲管理器引起的代碼變化，但還是無法避免對于數據的解壓，因此數據操作的執行過程并沒有得到實質上的優化，而且由于存儲在內存中的數據為未壓縮的原始數據，因此內存的占用也沒有得到優化；2、進行延遲解壓(lazydecompression)，即數據在整個查詢等操作執行過程中盡可能地保持壓縮狀態，只在必需時才進行數據解壓，比如在物理算子操作前，但該處理方法僅適用于部分提供完全映射(mapping-complete)的壓縮方法，即通過完全映射能夠獲得解壓數據的，且需要增加額外的映射操作，這樣就會減慢執行速度并可能會增加中間結果規模；3、進行瞬時解壓(transientdecompression)，即通過調整標準關系型操作符，使得數據執行操作前后壓縮屬性不變，只在當前算子操作內進行數據的解壓，但該處理方法基本上只適用于關系型操作符，應用場合非常有限。
技術實現思路
本專利技術實施例提供一種查詢操作指令優化方法、裝置、電子設備及存儲介質。第一方面，本專利技術實施例中提供了一種查詢操作指令優化方法。具體的，所述查詢操作指令優化方法，包括：獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應的屬性信息；根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息；根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令。結合第一方面，本專利技術實施例在第一方面的第一種實現方式中，所述壓縮數據以行組為單位進行逐列存儲，所述壓縮數據包括用于存儲壓縮數據的壓縮數據包和用于存儲壓縮數據屬性信息的壓縮數據信息包。結合第一方面和第一方面的第一種實現方式，本專利技術實施例在第一方面的第二種實現方式中，所述根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息，包括：當所述查詢操作對象數據為可操作壓縮數據時，將所述查詢操作對象數據確定為與其對應的查詢可操作壓縮數據；當所述查詢操作對象數據為不可操作壓縮數據時，將所述不可操作壓縮數據進行解壓縮直至獲得可操作壓縮數據，并將解壓縮得到的可操作壓縮數據確定為與所述查詢操作對象數據對應的查詢可操作壓縮數據；獲取所述查詢可操作壓縮數據的屬性信息，其中，所述查詢可操作壓縮數據的屬性信息至少包括以下信息中的一種或多種：統計信息、壓縮信息、存儲信息。結合第一方面、第一方面的第一種實現方式和第一方面的第二種實現方式，本公開在第一方面的第三種實現方式中，所述根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令，包括：根據所述查詢操作指令確定與其對應的查詢操作表達式和查詢操作算子；獲取所述查詢可操作壓縮數據的第一屬性信息，根據所述第一屬性信息對于所述查詢操作指令進行首級優化，得到對應的首級優化查詢操作表達式和首級優化查詢操作算子；獲取所述查詢可操作壓縮數據的第二屬性信息，根據所述第二屬性信息對于所述首級優化查詢操作表達式進行次級優化，得到對應的次級優化查詢操作表達式和次級優化查詢操作算子，直至得到末級優化查詢操作表達式和末級優化查詢操作算子，根據所述末級優化查詢操作表達式和末級優化查詢操作算子得到所述優化后的查詢操作指令。結合第一方面的第一種實現方式、第一方面的第二種實現方式和第一方面的第三種實現方式，本公開在第一方面的第四種實現方式中，還包括：根據所述優化后的查詢操作指令對于所述查詢可操作壓縮數據執行操作。結合第一方面、第一方面的第一種實現方式、第一方面的第二種實現方式、第一方面的第三種實現方式和第一方面的第四種實現方式，本公開在第一方面的第五種實現方式中，所述根據所述優化后的查詢操作指令對于所述查詢可操作壓縮數據執行操作，包括：根據所述優化后的查詢操作指令確定所述查詢可操作壓縮數據中的目標查詢可操作壓縮數據；根據所述優化后的查詢操作指令對于所述目標查詢可操作壓縮數據執行操作。第二方面，本專利技術實施例中提供了一種查詢操作指令優化方法。具體的，所述查詢操作指令優化方法，包括：獲取模塊，被配置為獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應的屬性信息；確定模塊，被配置為根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息；優化模塊，被配置為根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令。結合第二方面，本專利技術實施例在第二方面的第一種實現方式中，所述壓縮數據以行組為單位進行逐列存儲，所述壓縮數據包括用于存儲壓縮數據的壓縮數據包和用于存儲壓縮數據屬性信息的壓縮數據信息包。結合第二方面和第二方面的第一種實現方式，本專利技術實施例在第二方面的第二種實現方式中，所述確定模塊包括：第一確定子模塊，被配置為當所述查詢操作對象數據為可操作壓縮數據時，將所述查詢操作對象數據確定為與其對應的查詢可操作壓縮數據；第二確定子模塊，被配置為當所述查詢操作對象數據為不可操作壓縮數據時，將所述不可操作壓縮數據進行解壓縮直至獲得可操作壓縮數據，并將解壓縮得到的可操作壓縮數據確定為與所述查詢操作對象數據對應的查詢可操作壓縮數據；獲取子模塊，被配置為獲取所述查詢可操作壓縮數據的屬性信息，其中，所述查詢可操作壓縮數據的屬性信息至少包括以下信息中的一種或多種：統計信息、壓縮信息、存儲信息。結合第二方面、第二方面的第一種實現方式和第二方面的第二種實現方式，本公開在第二方面的第三種實現方式中，所述優化模塊包括：第三確定子模塊，被配置為根據所述查詢操作指令確定與其對應的查詢操作表達式和查詢操作算子；第一優化子模塊，被配置為獲取所述查詢可操作壓縮數據的第一屬性信息，根據所述第本文檔來自技高網...

【技術保護點】
1.一種查詢操作指令優化方法，其特征在于，包括：/n獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應的屬性信息；/n根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息；/n根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令。/n

【技術特征摘要】
1.一種查詢操作指令優化方法，其特征在于，包括：
獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應的屬性信息；
根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息；
根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令。


2.根據權利要求1所述的方法，其特征在于，所述壓縮數據以行組為單位進行逐列存儲，所述壓縮數據包括用于存儲壓縮數據的壓縮數據包和用于存儲壓縮數據屬性信息的壓縮數據信息包。


3.根據權利要求1或2所述的方法，其特征在于，所述根據所述查詢操作對象數據確定與其對應的查詢可操作壓縮數據，并獲取所述查詢可操作壓縮數據的屬性信息，包括：
當所述查詢操作對象數據為可操作壓縮數據時，將所述查詢操作對象數據確定為與其對應的查詢可操作壓縮數據；
當所述查詢操作對象數據為不可操作壓縮數據時，將所述不可操作壓縮數據進行解壓縮直至獲得可操作壓縮數據，并將解壓縮得到的可操作壓縮數據確定為與所述查詢操作對象數據對應的查詢可操作壓縮數據；
獲取所述查詢可操作壓縮數據的屬性信息，其中，所述查詢可操作壓縮數據的屬性信息至少包括以下信息中的一種或多種：統計信息、壓縮信息、存儲信息。


4.根據權利要求3所述的方法，其特征在于，所述根據所述查詢可操作壓縮數據的屬性信息對于所述查詢操作指令進行分級優化，得到優化后的查詢操作指令，包括：
根據所述查詢操作指令確定與其對應的查詢操作表達式和查詢操作算子；
獲取所述查詢可操作壓縮數據的第一屬性信息，根據所述第一屬性信息對于所述查詢操作指令進行首級優化，得到對應的首級優化查詢操作表達式和首級優化查詢操作算子；
獲取所述查詢可操作壓縮數據的第二屬性信息，根據所述第二屬性信息對于所述首級優化查詢操作表達式進行次級優化，得到對應的次級優化查詢操作表達式和次級優化查詢操作算子，直至得到末級優化查詢操作表達式和末級優化查詢操作算子，根據所述末級優化查詢操作表達式和末級優化查詢操作算子得到所述優化后的查詢操作指令。


5.根據權利要求4所述的方法，其特征在于，還包括：
根據所述優化后的查詢操作指令對于所述查詢可操作壓縮數據執行操作。


6.根據權利要求5所述的方法，其特征在于，所述根據所述優化后的查詢操作指令對于所述查詢可操作壓縮數據執行操作，包括：
根據所述優化后的查詢操作指令確定所述查詢可操作壓縮數據中的目標查詢可操作壓縮數據；
根據所述優化后的查詢操作指令對于所述目標查詢可操作壓縮數據執行操作。


7.一種查詢操作指令優化裝置，其特征在于，包括：
獲取模塊，被配置為獲取查詢操作指令，并根據所述查詢操作指令獲取對應的查詢操作對象數據，其中，所述查詢操作對象數據為壓縮數據，攜帶有對應...

【專利技術屬性】
技術研發人員：繆哲語，李猛，吳迪，喬智，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：開曼群島;KY