【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)、方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
技術(shù)介紹
1、在數(shù)據(jù)庫(kù)需要處理高并發(fā)的大量請(qǐng)求的場(chǎng)景下，數(shù)據(jù)庫(kù)性能變得尤其重要。如果沒(méi)有對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方式進(jìn)行優(yōu)化，可能會(huì)導(dǎo)致像慢存儲(chǔ)、響應(yīng)延遲，甚至數(shù)據(jù)庫(kù)崩潰等的一系列情況，嚴(yán)重影響數(shù)據(jù)庫(kù)的安全性、穩(wěn)定性，導(dǎo)致業(yè)務(wù)系統(tǒng)出現(xiàn)問(wèn)題。因此，目前需要提供一種能夠提高數(shù)據(jù)庫(kù)操作效率的方案。
技術(shù)實(shí)現(xiàn)思路
1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)、方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
2、第一方面，本申請(qǐng)?zhí)峁┝艘环N針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括第一fpga、第一gpu、cpu及存儲(chǔ)器，其中，
3、所述第一fpga，用于獲取針對(duì)數(shù)據(jù)庫(kù)的目標(biāo)操作指令，將所述目標(biāo)操作指令發(fā)送至所述第一gpu，并從所述存儲(chǔ)器和/或所述數(shù)據(jù)庫(kù)中讀取執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)；
4、所述第一gpu，用于根據(jù)所述目標(biāo)操作指令及所述目標(biāo)操作指令的前序操作指令，預(yù)測(cè)所述第一fpga的需求數(shù)據(jù)，并將所述需求數(shù)據(jù)反饋至所述cpu；
5、所述cpu，用于根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，從所述數(shù)據(jù)庫(kù)中獲取所述目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)寫入所述存儲(chǔ)器。
6、在其中一個(gè)實(shí)施例中，所述從所述存儲(chǔ)器和/或所述數(shù)據(jù)庫(kù)中讀取執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)，包括：
7、從所述存儲(chǔ)器中讀取執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)，
8、在其中一個(gè)實(shí)施例中，所述第一fpga，還用于在獲取到針對(duì)所述數(shù)據(jù)庫(kù)的多條操作指令的情況下，從所述多條操作指令中確定第一目標(biāo)操作指令，對(duì)各所述第一目標(biāo)操作指令進(jìn)行合并處理得到合并指令，并將所述合并指令，及所述多條操作指令中除所述第一目標(biāo)操作指令外的指令作為所述目標(biāo)操作指令。
9、在其中一個(gè)實(shí)施例中，所述需求數(shù)據(jù)為多個(gè)，且所述需求數(shù)據(jù)具有對(duì)應(yīng)的預(yù)測(cè)調(diào)用順序；所述根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，包括：
10、確定所述第一gpu分別針對(duì)各所述預(yù)測(cè)調(diào)用順序的歷史預(yù)測(cè)準(zhǔn)確率，并根據(jù)所述歷史預(yù)測(cè)準(zhǔn)確率，從各所述預(yù)測(cè)調(diào)用順序中確定目標(biāo)預(yù)測(cè)調(diào)用順序；
11、將所述目標(biāo)預(yù)測(cè)調(diào)用順序?qū)?yīng)的所述需求數(shù)據(jù)作為所述目標(biāo)數(shù)據(jù)。
12、在其中一個(gè)實(shí)施例中，所述需求數(shù)據(jù)是通過(guò)數(shù)據(jù)預(yù)測(cè)模型預(yù)測(cè)得到的；
13、所述cpu，還用于在一個(gè)準(zhǔn)確率評(píng)估周期內(nèi)，針對(duì)任一所述預(yù)測(cè)調(diào)用順序，根據(jù)所述預(yù)測(cè)調(diào)用順序?qū)?yīng)的各目標(biāo)需求數(shù)據(jù)，以及所述第一fpga對(duì)應(yīng)各所述目標(biāo)需求數(shù)據(jù)的實(shí)際需求數(shù)據(jù)，確定所述預(yù)測(cè)調(diào)用順序?qū)?yīng)的歷史預(yù)測(cè)準(zhǔn)確率；
14、所述cpu，還用于在各所述預(yù)測(cè)調(diào)用順序?qū)?yīng)的所述歷史預(yù)測(cè)準(zhǔn)確率不滿足預(yù)設(shè)準(zhǔn)確率要求的情況下，將各所述實(shí)際需求數(shù)據(jù)反饋至所述第一gpu；
15、所述第一gpu，還用于根據(jù)各所述實(shí)際需求數(shù)據(jù)對(duì)所述數(shù)據(jù)預(yù)測(cè)模型進(jìn)行調(diào)整。
16、在其中一個(gè)實(shí)施例中，所述第一fpga，還用于在所述目標(biāo)操作指令是存儲(chǔ)指令的情況下，生成針對(duì)待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)表，并確定待存儲(chǔ)數(shù)據(jù)的時(shí)間特征及數(shù)據(jù)特征，根據(jù)所述時(shí)間特征及所述數(shù)據(jù)特征生成所述數(shù)據(jù)表的二維哈希索引值，及將所述二維哈希索引值存儲(chǔ)至針對(duì)所述數(shù)據(jù)庫(kù)的二維哈希索引表中。
17、在其中一個(gè)實(shí)施例中，所述系統(tǒng)還包括第二fpga；
18、所述第一fpga，還用于根據(jù)所述目標(biāo)操作指令確定執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)，并基于所述第一數(shù)據(jù)向所述第二fpga發(fā)送第一數(shù)據(jù)調(diào)取請(qǐng)求；
19、所述第二fpga，用于根據(jù)所述第一數(shù)據(jù)調(diào)取請(qǐng)求，從所述存儲(chǔ)器和/或所述數(shù)據(jù)庫(kù)中調(diào)取所述第一數(shù)據(jù)對(duì)應(yīng)的原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行解壓和/或解密處理，得到所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)發(fā)送至所述第一fpga。
20、在其中一個(gè)實(shí)施例中，所述系統(tǒng)還包括第二gpu；
21、所述第一fpga，還用于確定所述目標(biāo)操作指令的復(fù)雜度，并在所述復(fù)雜度大于復(fù)雜度閾值的情況下，將所述目標(biāo)操作指令發(fā)送至所述第二gpu；
22、所述第二gpu，用于執(zhí)行所述第一fpga發(fā)送的所述目標(biāo)操作指令。
23、第二方面，本申請(qǐng)還提供了一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方法，針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)包括第一fpga、第一gpu、cpu及存儲(chǔ)器，所述第一fpga從所述存儲(chǔ)器和/或數(shù)據(jù)庫(kù)中讀取執(zhí)行針對(duì)數(shù)據(jù)庫(kù)的目標(biāo)操作指令所需的第一數(shù)據(jù)，所述方法應(yīng)用于所述第一gpu，包括：
24、接收所述第一fpga發(fā)送的所述目標(biāo)操作指令；
25、根據(jù)所述目標(biāo)操作指令及所述目標(biāo)操作指令的前序操作指令，預(yù)測(cè)第一fpga的需求數(shù)據(jù)；
26、將所述需求數(shù)據(jù)反饋至cpu，以使得所述cpu根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，從數(shù)據(jù)庫(kù)中獲取所述目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)寫入存儲(chǔ)器。
27、第三方面，本申請(qǐng)還提供了一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理裝置，針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)包括第一fpga、第一gpu、cpu及存儲(chǔ)器，所述第一fpga從所述存儲(chǔ)器和/或數(shù)據(jù)庫(kù)中讀取執(zhí)行針對(duì)數(shù)據(jù)庫(kù)的目標(biāo)操作指令所需的第一數(shù)據(jù)，所述裝置應(yīng)用于所述第一gpu，包括：
28、接收模塊，用于接收所述第一fpga發(fā)送的所述目標(biāo)操作指令；
29、預(yù)測(cè)模塊，用于根據(jù)所述目標(biāo)操作指令及所述目標(biāo)操作指令的前序操作指令，預(yù)測(cè)第一fpga的需求數(shù)據(jù)；
30、反饋模塊，用于將所述需求數(shù)據(jù)反饋至cpu，以使得所述cpu根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，從數(shù)據(jù)庫(kù)中獲取所述目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)寫入存儲(chǔ)器。
31、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以上任一項(xiàng)方法。
32、第五方面，本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以上任一項(xiàng)方法。
33、上述針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)、方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，根據(jù)當(dāng)前執(zhí)行的操作指令和之前執(zhí)行過(guò)的前序操作指令，對(duì)后續(xù)需要從數(shù)據(jù)庫(kù)中調(diào)取的數(shù)據(jù)進(jìn)行預(yù)測(cè)，并從預(yù)測(cè)出的需求數(shù)據(jù)中確定需要寫入讀寫速率更高的存儲(chǔ)器中的目標(biāo)數(shù)據(jù)，以使得在后續(xù)執(zhí)行操作指令時(shí)可以從存儲(chǔ)器中讀取到所需的目標(biāo)數(shù)據(jù)，提高對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作的效率。同時(shí)，本申請(qǐng)實(shí)施例采用異構(gòu)計(jì)算模式，利用對(duì)大量數(shù)據(jù)的處理能力更強(qiáng)的gpu進(jìn)行需求數(shù)據(jù)的預(yù)測(cè)，利用針對(duì)特定任務(wù)表現(xiàn)更好的fpga執(zhí)行操作指令，及利用針對(duì)復(fù)雜控制和任務(wù)調(diào)度性能更強(qiáng)的cpu執(zhí)行將目標(biāo)數(shù)據(jù)寫入存儲(chǔ)器的步驟，能夠進(jìn)一步提高上述步驟的執(zhí)行效率，因此也能進(jìn)一步提高對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作的效率。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括第一FPGA、第一GPU、CPU及存儲(chǔ)器，其中，
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述從所述存儲(chǔ)器和/或所述數(shù)據(jù)庫(kù)中讀取執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一FPGA，還用于在獲取到針對(duì)所述數(shù)據(jù)庫(kù)的多條操作指令的情況下，從所述多條操作指令中確定第一目標(biāo)操作指令，對(duì)各所述第一目標(biāo)操作指令進(jìn)行合并處理得到合并指令，并將所述合并指令，及所述多條操作指令中除所述第一目標(biāo)操作指令外的指令作為所述目標(biāo)操作指令。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述需求數(shù)據(jù)為多個(gè)，且所述需求數(shù)據(jù)具有對(duì)應(yīng)的預(yù)測(cè)調(diào)用順序；所述根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述需求數(shù)據(jù)是通過(guò)數(shù)據(jù)預(yù)測(cè)模型預(yù)測(cè)得到的；
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一FPGA，還用于在所述目標(biāo)操作指令是存儲(chǔ)指令的情況下，生成針對(duì)待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)表，并確定待存儲(chǔ)數(shù)據(jù)的時(shí)間特征及數(shù)據(jù)特征，根據(jù)所述
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括第二FPGA；
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括第二GPU；
9.一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方法，其特征在于，針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)包括第一FPGA、第一GPU、CPU及存儲(chǔ)器，所述第一FPGA從所述存儲(chǔ)器和/或數(shù)據(jù)庫(kù)中讀取執(zhí)行針對(duì)數(shù)據(jù)庫(kù)的目標(biāo)操作指令所需的第一數(shù)據(jù)，所述方法應(yīng)用于所述第一GPU，包括：
10.一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理裝置，其特征在于，針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)包括第一FPGA、第一GPU、CPU及存儲(chǔ)器，所述第一FPGA從所述存儲(chǔ)器和/或數(shù)據(jù)庫(kù)中讀取執(zhí)行針對(duì)數(shù)據(jù)庫(kù)的目標(biāo)操作指令所需的第一數(shù)據(jù)，所述裝置應(yīng)用于所述第一GPU，包括：
11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求9所述的方法的步驟。
12.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求9所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括第一fpga、第一gpu、cpu及存儲(chǔ)器，其中，
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述從所述存儲(chǔ)器和/或所述數(shù)據(jù)庫(kù)中讀取執(zhí)行所述目標(biāo)操作指令所需的第一數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一fpga，還用于在獲取到針對(duì)所述數(shù)據(jù)庫(kù)的多條操作指令的情況下，從所述多條操作指令中確定第一目標(biāo)操作指令，對(duì)各所述第一目標(biāo)操作指令進(jìn)行合并處理得到合并指令，并將所述合并指令，及所述多條操作指令中除所述第一目標(biāo)操作指令外的指令作為所述目標(biāo)操作指令。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述需求數(shù)據(jù)為多個(gè)，且所述需求數(shù)據(jù)具有對(duì)應(yīng)的預(yù)測(cè)調(diào)用順序；所述根據(jù)所述需求數(shù)據(jù)確定目標(biāo)數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述需求數(shù)據(jù)是通過(guò)數(shù)據(jù)預(yù)測(cè)模型預(yù)測(cè)得到的；
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一fpga，還用于在所述目標(biāo)操作指令是存儲(chǔ)指令的情況下，生成針對(duì)待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)表，并確定待存儲(chǔ)數(shù)據(jù)的時(shí)間特征及數(shù)據(jù)特征，根據(jù)所述時(shí)間特征及所述數(shù)據(jù)特征生成所述數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李曉冬，霍占勝，張宏杰，
申請(qǐng)(專利權(quán))人：中國(guó)電信股份有限公司內(nèi)蒙古分公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。