【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】
技術(shù)介紹
1、數(shù)據(jù)湖(data?lake)可與包含非管理數(shù)據(jù)(unmanaged?data)的儲(chǔ)存庫(kù)相對(duì)應(yīng)，而數(shù)據(jù)倉(cāng)庫(kù)(data?warehouse)可與包含受管理數(shù)據(jù)(managed?data)的儲(chǔ)存庫(kù)相對(duì)應(yīng)。對(duì)于旨在統(tǒng)一數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的云存儲(chǔ)系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)無(wú)法控制存儲(chǔ)在數(shù)據(jù)湖中的非管理數(shù)據(jù)的生命周期。例如，非管理數(shù)據(jù)可隨時(shí)被添加或刪除，而無(wú)需通過(guò)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行處理。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)無(wú)法控制存儲(chǔ)在數(shù)據(jù)湖中的非管理數(shù)據(jù)的生命周期，所以數(shù)據(jù)倉(cāng)庫(kù)必須詳盡列出所有文件以檢索非管理數(shù)據(jù)以供查詢(xún)執(zhí)行，這可能會(huì)延遲查詢(xún)的處理。
技術(shù)實(shí)現(xiàn)思路
1、本公開(kāi)的方面涉及利用元數(shù)據(jù)高速緩存將數(shù)據(jù)倉(cāng)庫(kù)特征擴(kuò)展到數(shù)據(jù)湖。元數(shù)據(jù)高速緩存可通過(guò)直接訪(fǎng)問(wèn)來(lái)自數(shù)據(jù)湖中的非管理數(shù)據(jù)而不是將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中來(lái)加速查詢(xún)處理。由于元數(shù)據(jù)高速緩存可包含用于訪(fǎng)問(wèn)非管理數(shù)據(jù)的相關(guān)元數(shù)據(jù)，因此數(shù)據(jù)倉(cāng)庫(kù)不再需要詳盡列出所有文件。在一些方面，元數(shù)據(jù)高速緩存允許過(guò)濾非管理數(shù)據(jù)以改進(jìn)檢索用于執(zhí)行查詢(xún)的數(shù)據(jù)的速度。
2、本公開(kāi)的方面提供一種用于處理查詢(xún)的方法，該方法包括：由一個(gè)或多個(gè)處理器接收來(lái)自查詢(xún)引擎的用于訪(fǎng)問(wèn)來(lái)自數(shù)據(jù)湖的一個(gè)或多個(gè)云存儲(chǔ)表中的非管理數(shù)據(jù)的請(qǐng)求；由一個(gè)或多個(gè)處理器過(guò)濾一個(gè)或多個(gè)云存儲(chǔ)表以查找用于處理查詢(xún)的數(shù)據(jù)文件集，其中，查找數(shù)據(jù)文件集使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息；以及由一個(gè)或多個(gè)處理器從數(shù)據(jù)文件集中檢索非管理數(shù)據(jù)。
3、在示例中，非管理數(shù)據(jù)包括可由最終用戶(hù)直接操縱而不受查詢(xún)引擎控制的數(shù)據(jù)。
4、在又另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括駐留在數(shù)據(jù)湖中的數(shù)據(jù)文件的標(biāo)識(shí)和數(shù)據(jù)文件所屬的一個(gè)或多個(gè)云存儲(chǔ)表中的表。在又另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括關(guān)于數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)(statistics)，并且該方法還包括：由一個(gè)或多個(gè)處理器使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息來(lái)確定數(shù)據(jù)文件集具有特定模式(schema)；以及由一個(gè)或多個(gè)處理器基于特定模式和關(guān)于數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)來(lái)過(guò)濾數(shù)據(jù)文件集。在又另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括歷史信息，并且過(guò)濾一個(gè)或多個(gè)云存儲(chǔ)表還包括使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的歷史信息來(lái)訪(fǎng)問(wèn)云存儲(chǔ)表的先前狀態(tài)。
5、在又另一個(gè)示例中，該方法還包括由一個(gè)或多個(gè)處理器通過(guò)列出一個(gè)或多個(gè)云存儲(chǔ)表中的所有數(shù)據(jù)文件來(lái)生成元數(shù)據(jù)高速緩存。在又另一個(gè)示例中，該方法還包括：由一個(gè)或多個(gè)處理器接收從一個(gè)或多個(gè)云存儲(chǔ)表添加、更新或刪除一個(gè)或多個(gè)云存儲(chǔ)表的數(shù)據(jù)文件的通知；以及由一個(gè)或多個(gè)處理器基于通知來(lái)更新元數(shù)據(jù)高速緩存。在又另一個(gè)示例中，該方法還包括：由一個(gè)或多個(gè)處理器列出自從元數(shù)據(jù)高速緩存的先前更新以來(lái)添加、更新或刪除的文件；以及由一個(gè)或多個(gè)處理器作為處理查詢(xún)的一部分基于列出來(lái)更新元數(shù)據(jù)高速緩存。
6、在又另一個(gè)示例中，云存儲(chǔ)表駐留在不同的云存儲(chǔ)平臺(tái)的不同云中。在又另一個(gè)示例中，該方法還包括由一個(gè)或多個(gè)處理器基于元數(shù)據(jù)高速緩存的可配置陳舊性(staleness)來(lái)確定非管理數(shù)據(jù)對(duì)于查詢(xún)引擎是可見(jiàn)的。
7、本公開(kāi)的另一個(gè)方面提供一種系統(tǒng)，該系統(tǒng)包括：一個(gè)或多個(gè)處理器；以及一個(gè)或多個(gè)存儲(chǔ)裝置，該一個(gè)或多個(gè)存儲(chǔ)裝置耦合到一個(gè)或多個(gè)處理器并存儲(chǔ)指令，該指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使一個(gè)或多個(gè)處理器執(zhí)行用于處理查詢(xún)的操作，該操作包括：接收來(lái)自查詢(xún)引擎的用于訪(fǎng)問(wèn)來(lái)自數(shù)據(jù)湖的一個(gè)或多個(gè)云存儲(chǔ)表中的非管理數(shù)據(jù)的請(qǐng)求；過(guò)濾一個(gè)或多個(gè)云存儲(chǔ)表以查找用于處理查詢(xún)的數(shù)據(jù)文件集，其中，查找數(shù)據(jù)文件集使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息；以及從數(shù)據(jù)文件集中檢索非管理數(shù)據(jù)。
8、在示例中，非管理數(shù)據(jù)包括可被直接操縱而不受查詢(xún)引擎控制的數(shù)據(jù)。
9、在另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括駐留在數(shù)據(jù)湖中的數(shù)據(jù)文件的標(biāo)識(shí)和數(shù)據(jù)文件所屬的一個(gè)或多個(gè)云存儲(chǔ)表中的表。在又另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括關(guān)于數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)，并且該操作還包括：使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息來(lái)確定數(shù)據(jù)文件集具有特定模式；以及基于特定模式和關(guān)于數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)來(lái)過(guò)濾數(shù)據(jù)文件集。在又另一個(gè)示例中，存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息包括歷史信息，并且過(guò)濾一個(gè)或多個(gè)云存儲(chǔ)表還包括使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的歷史信息來(lái)訪(fǎng)問(wèn)云存儲(chǔ)表的先前狀態(tài)。
10、在又另一個(gè)示例中，該操作還包括：接收從一個(gè)或多個(gè)云存儲(chǔ)表添加、更新或刪除一個(gè)或多個(gè)云存儲(chǔ)表的數(shù)據(jù)文件的通知；以及基于通知來(lái)更新元數(shù)據(jù)高速緩存。在又另一個(gè)示例中，該操作還包括：列出自從元數(shù)據(jù)高速緩存的先前更新以來(lái)添加、更新或刪除的文件；以及作為處理該查詢(xún)的一部分基于列出來(lái)更新元數(shù)據(jù)高速緩存。
11、本公開(kāi)的又另一個(gè)方面提供一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)用于存儲(chǔ)指令，該指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使一個(gè)或多個(gè)處理器執(zhí)行用于處理查詢(xún)的操作，該操作包括：接收來(lái)自查詢(xún)引擎的用于訪(fǎng)問(wèn)來(lái)自數(shù)據(jù)湖的一個(gè)或多個(gè)云存儲(chǔ)表中的非管理數(shù)據(jù)的請(qǐng)求；過(guò)濾一個(gè)或多個(gè)云存儲(chǔ)表以查找用于處理查詢(xún)的數(shù)據(jù)文件集，其中，查找數(shù)據(jù)文件集使用存儲(chǔ)在元數(shù)據(jù)高速緩存中的信息；以及從數(shù)據(jù)文件集中檢索非管理數(shù)據(jù)。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種用于處理查詢(xún)的方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述非管理數(shù)據(jù)包括具有不受所述查詢(xún)引擎控制的生命周期的數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其特征在于，所述非管理數(shù)據(jù)被操縱而無(wú)需通過(guò)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行處理。
4.如權(quán)利要求1至3中的一項(xiàng)所述的方法，其特征在于，還包括由所述一個(gè)或多個(gè)處理器將所述非管理數(shù)據(jù)提供給查詢(xún)引擎以處理所述查詢(xún)。
5.如權(quán)利要求1至4中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括駐留在所述數(shù)據(jù)湖中的數(shù)據(jù)文件的標(biāo)識(shí)和所述數(shù)據(jù)文件所屬的所述一個(gè)或多個(gè)云存儲(chǔ)表中的表。
6.如權(quán)利要求1至5中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括關(guān)于所述數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)，并且所述方法還包括：
7.如權(quán)利要求1至6中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括歷史信息，并且過(guò)濾所述一個(gè)或多個(gè)云存儲(chǔ)表還包括使用存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述歷史信息來(lái)訪(fǎng)問(wèn)所述云存儲(chǔ)表的先前狀態(tài)。
8.如
9.如權(quán)利要求1所述的方法，其特征在于，還包括：
10.如權(quán)利要求1至9中的一項(xiàng)所述的方法，其特征在于，還包括：
11.如權(quán)利要求1至10中的一項(xiàng)所述的方法，其特征在于，所述云存儲(chǔ)表駐留在不同的云存儲(chǔ)平臺(tái)的不同云中。
12.如權(quán)利要求1至11中的一項(xiàng)所述的方法，其特征在于，還包括由所述一個(gè)或多個(gè)處理器基于所述元數(shù)據(jù)高速緩存的可配置陳舊性來(lái)確定所述非管理數(shù)據(jù)對(duì)所述查詢(xún)引擎可見(jiàn)。
13.一種系統(tǒng)，其特征在于，包括：
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述非管理數(shù)據(jù)包括能夠被直接操縱而不受所述查詢(xún)引擎控制的數(shù)據(jù)。
15.如權(quán)利要求13或14所述的系統(tǒng)，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括駐留在所述數(shù)據(jù)湖中的數(shù)據(jù)文件的標(biāo)識(shí)和所述數(shù)據(jù)文件所屬的所述一個(gè)或多個(gè)云存儲(chǔ)表中的表。
16.如權(quán)利要求13至15中的一項(xiàng)所述的系統(tǒng)，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括關(guān)于所述數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)，并且所述操作還包括：
17.如權(quán)利要求13至16中的一項(xiàng)所述的系統(tǒng)，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括歷史信息，并且過(guò)濾所述一個(gè)或多個(gè)云存儲(chǔ)表還包括使用存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述歷史信息來(lái)訪(fǎng)問(wèn)所述云存儲(chǔ)表的先前狀態(tài)。
18.如權(quán)利要求13至17中的一項(xiàng)所述的系統(tǒng)，其特征在于，所述操作還包括：
19.如權(quán)利要求13至18中的一項(xiàng)所述的系統(tǒng)，其特征在于，所述操作還包括：
20.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)用于存儲(chǔ)指令，所述指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使所述一個(gè)或多個(gè)處理器執(zhí)行用于處理查詢(xún)的操作，所述操作包括：
...【技術(shù)特征摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】
1.一種用于處理查詢(xún)的方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述非管理數(shù)據(jù)包括具有不受所述查詢(xún)引擎控制的生命周期的數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其特征在于，所述非管理數(shù)據(jù)被操縱而無(wú)需通過(guò)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行處理。
4.如權(quán)利要求1至3中的一項(xiàng)所述的方法，其特征在于，還包括由所述一個(gè)或多個(gè)處理器將所述非管理數(shù)據(jù)提供給查詢(xún)引擎以處理所述查詢(xún)。
5.如權(quán)利要求1至4中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括駐留在所述數(shù)據(jù)湖中的數(shù)據(jù)文件的標(biāo)識(shí)和所述數(shù)據(jù)文件所屬的所述一個(gè)或多個(gè)云存儲(chǔ)表中的表。
6.如權(quán)利要求1至5中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括關(guān)于所述數(shù)據(jù)文件集的統(tǒng)計(jì)數(shù)據(jù)，并且所述方法還包括：
7.如權(quán)利要求1至6中的一項(xiàng)所述的方法，其特征在于，存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述信息包括歷史信息，并且過(guò)濾所述一個(gè)或多個(gè)云存儲(chǔ)表還包括使用存儲(chǔ)在所述元數(shù)據(jù)高速緩存中的所述歷史信息來(lái)訪(fǎng)問(wèn)所述云存儲(chǔ)表的先前狀態(tài)。
8.如權(quán)利要求1至7中的一項(xiàng)所述的方法，其特征在于，還包括由所述一個(gè)或多個(gè)處理器通過(guò)列出所述一個(gè)或多個(gè)云存儲(chǔ)表中的所有數(shù)據(jù)文件來(lái)生成所述元數(shù)據(jù)高速緩存。
9.如權(quán)利要求1所述的方法，其特征在于，還包括：
10.如權(quán)利要求1至9中的一項(xiàng)所述的方法，其特征在于，還包括：
11.如權(quán)利要求1至10中的一項(xiàng)所述的方法，其特征在...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：蒂博·霍特萊，阿努普·科丘門(mén)·約翰遜，賈斯汀·萊萬(wàn)多斯基，迪帕克·喬杜里·內(nèi)特姆，尤里·沃洛布耶夫，
申請(qǐng)(專(zhuān)利權(quán))人：谷歌有限責(zé)任公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。