【技術實現步驟摘要】
本公開涉及rdma網絡和數據庫查詢加速，具體涉及基于多級流水線的數據庫查詢任務rdma卸載方法及系統。
技術介紹
1、本部分的陳述僅僅是提供了與本公開相關的
技術介紹
信息，不必然構成在先技術。
2、近年來，數據庫系統已成為融合計算、存儲和網絡三大基礎技術的綜合應用平臺。當前數據庫系統正逐步向將數據密集型和計算密集型操作卸載至專用硬件平臺的方向發展，以實現更高效的數據計算。
3、傳統的單異構計算節點針對數據庫查詢操作中的單一操作具有明顯計算性能提升，但當一次查詢任務包含多個基本操作時，且需要計算節點間流水執行時，由于數據在cpu內存與計算節點內存間頻繁交互，導致計算加速性能明顯下降，即計算節點間相互獨立且發生數據交互時必須先回讀到cpu內存再通過傳統的ip/udp網絡傳到對應的主機節點cpu內存，無法實現數據直接轉發，導致cpu內存與計算節點內存間的頻繁數據復制。
技術實現思路
1、本公開為了解決上述問題，提出了基于多級流水線的數據庫查詢任務rdma卸載方法及系統，通過將不同的計算節點內的計算單元、內存單元與rdma網絡單元組成分布式計算系統，實現數據在計算節點間直接轉發，避免流水運算過程中主機節點cpu的內存與計算節點間的頻繁數據復制，大大提高數據庫查詢操作的運算效率。
2、根據一些實施例，本公開采用如下技術方案：
3、基于多級流水線的數據庫查詢任務rdma卸載方法，包括：
4、構建以rdma網絡單元為中心，包括計算單元、內
5、基于以rdma網絡單元為中心的分布式計算節點架構，通過rdma網絡單元以及不同計算單元的內存單元，無需cpu介入直接完成數據庫查詢任務數據的轉發卸載；
6、其中，數據庫查詢任務的計算包括單任務運算模式和多任務融合運算模式，當下發的任務為多任務融合運算模式時，根據多任務中包含的基本操作選擇相應的計算單元組成流水運算，中間產生的計算結果直接轉發到該計算單元對應的內存單元后，經由rdma網絡直接緩存到下一級計算單元的內存單元中，下一級計算單元讀取內存單元中的中間結果繼續運算，依次類推直至最終結果返回主機節點的cpu內存。
7、根據一些實施例，本公開采用如下技術方案：
8、基于多級流水線的數據庫查詢任務rdma卸載系統，包括：
9、計算節點架構構建模塊，用于構建以rdma網絡單元為中心的分布式計算節點架構；
10、數據庫查詢任務卸載模塊，用于基于以rdma網絡單元為中心的分布式計算節點架構，通過rdma網絡以及不同計算單元的內存單元，無需cpu介入直接完成數據庫查詢任務數據的轉發卸載；
11、其中，數據庫查詢任務的計算包括單任務運算模式和多任務融合運算模式，當下發的任務為多任務融合運算模式時，根據多任務中包含的基本操作選擇相應的計算單元組成流水運算，中間產生的計算結果直接轉發到該計算單元對應的內存單元后，經由rdma網絡直接緩存到下一級計算單元的內存單元中，下一級計算單元讀取內存單元中的中間結果繼續運算，依次類推直至最終結果返回主機節點的cpu內存。
12、根據一些實施例，本公開采用如下技術方案：
13、一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現所述的基于多級流水線的數據庫查詢任務rdma卸載方法。
14、根據一些實施例，本公開采用如下技術方案：
15、一種非暫態計算機可讀存儲介質，所述非暫態計算機可讀存儲介質用于存儲計算機指令，所述計算機指令被處理器執行時，實現所述的基于多級流水線的數據庫查詢任務rdma卸載方法。
16、根據一些實施例，本公開采用如下技術方案：
17、一種電子設備，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執行所述存儲器存儲的計算機程序，以使電子設備執行實現所述的基于多級流水線的數據庫查詢任務rdma卸載方法。
18、與現有技術相比，本公開的有益效果為：
19、本公開的基于多級流水線的數據庫查詢任務rdma卸載方法，針對數據庫查詢操作包含多個基本操作時，不同的計算節點間通過cpu的內存頻繁進行數據交換導致查詢操作性能下降的問題，提出基于多級流水線的數據庫查詢任務rdma卸載方法，通過將不同的計算節點內的計算單元、內存單元與rdma網絡單元組成分布式計算系統，實現數據在計算節點間直接轉發，避免流水運算過程中主機節點cpu的內存與計算節點間的頻繁數據復制，大大提高數據庫查詢操作的運算效率。
20、本公開的基于多級流水線的數據庫查詢任務rdma卸載方法，基于rdma網絡技術將計算單元組成分布式計算系統架構，該網絡技術允許數據直接從一個節點的內存復制到另一個節點的內存實現內存擴展與數據高速轉發，而無需cpu介入。相比于傳統計算節點間相互獨立且發生數據交互時必須先回讀到cpu內存再通過傳統的ip/udp網絡傳到對應的主機節點cpu內存，本公開方法允許源計算節點通過節點內的rdma網絡單元直接訪問到目的計算節點的內存單元，實現數據直接轉發，避免cpu內存與計算節點內存間的頻繁數據復制。
21、本公開的基于多級流水線的數據庫查詢任務rdma卸載方法，以cpu+fpga的異構平臺為計算節點，通過rdma網絡將不同的計算節點內組成分布式計算系統，實現不同的計算單元之間直接通過內存單元經由rdma網絡單元完成數據快速高效的轉發，避免了主機節點與計算節點頻繁發生數據交換導致整體計算性能下降的問題，大大提高數據庫查詢操作的運算效率。同時，基于該rdma技術的高帶寬、低延時特性使得目的計算節點的內存與源計算節點內存組成內存池，實現內存擴展。
本文檔來自技高網...【技術保護點】
1.基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，包括：
2.如權利要求1所述的基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，數據庫查詢任務的基本操作包括排序操作P、聚合操作J、過濾操作G以及連接操作L，基本操作的計算單元包括排序計算單元、聚合計算單元、過濾計算單元及連接計算單元，多任務融合運算模式的基本操作為相應的計算單元組成的流水運算。
3.如權利要求1所述的基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，所述單任務運算模式為單一的排序操作P、聚合操作J、過濾操作G或者連接操作L，多任務融合運算模式包括過濾操作G+排序操作P、過濾操作G+連接操作L、過濾操作G+排序操作P+連接操作L、過濾操作G+聚合操作J、排序操作P+聚合操作J以及排序操作P+連接操作L。
4.如權利要求1所述的基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，所述數據庫查詢任務由主機節點Host產生，數據庫查詢任務的下發為：通過調用內核API函數，將相關任務類型、目的計算單元的參數通過PCIE總線傳輸到計算單元內，同時C
5.如權利要求3所述的基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，當單任務運算模式為連接操作L時，計算節點部署連接計算單元，內存單元M4分為多塊存儲區域分別為M4-1、M4-2、M4-3、M4-4，其中M4-1和M4-2分別存儲內表數據及外表數據。
6.如權利要求1所述的基于多級流水線的數據庫查詢任務RDMA卸載方法，其特征在于，當數據庫下發查詢中的單任務運算模式的基本操作任務時，計算系統調度對應的計算單元完成運算，并將結果返回到對應的內存單元，最終返回主機節點的CPU內存。
7.基于多級流水線的數據庫查詢任務RDMA卸載系統，其特征在于，包括：
8.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-6任一項所述的基于多級流水線的數據庫查詢任務RDMA卸載方法。
9.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質用于存儲計算機指令，所述計算機指令被處理器執行時，實現如權利要求1-6任一項所述的基于多級流水線的數據庫查詢任務RDMA卸載方法。
10.一種電子設備，其特征在于，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執行所述存儲器存儲的計算機程序，以使電子設備執行實現如權利要求1-6任一項所述的基于多級流水線的數據庫查詢任務RDMA卸載方法。
...【技術特征摘要】
1.基于多級流水線的數據庫查詢任務rdma卸載方法，其特征在于，包括：
2.如權利要求1所述的基于多級流水線的數據庫查詢任務rdma卸載方法，其特征在于，數據庫查詢任務的基本操作包括排序操作p、聚合操作j、過濾操作g以及連接操作l，基本操作的計算單元包括排序計算單元、聚合計算單元、過濾計算單元及連接計算單元，多任務融合運算模式的基本操作為相應的計算單元組成的流水運算。
3.如權利要求1所述的基于多級流水線的數據庫查詢任務rdma卸載方法，其特征在于，所述單任務運算模式為單一的排序操作p、聚合操作j、過濾操作g或者連接操作l，多任務融合運算模式包括過濾操作g+排序操作p、過濾操作g+連接操作l、過濾操作g+排序操作p+連接操作l、過濾操作g+聚合操作j、排序操作p+聚合操作j以及排序操作p+連接操作l。
4.如權利要求1所述的基于多級流水線的數據庫查詢任務rdma卸載方法，其特征在于，所述數據庫查詢任務由主機節點host產生，數據庫查詢任務的下發為：通過調用內核api函數，將相關任務類型、目的計算單元的參數通過pcie總線傳輸到計算單元內，同時cpu調用xrt?api將待處理數據經由pcie?dma緩存到內存單元m，同時根據任務類型在不同的計算單元部署相應的計算單元，并生成啟動信號。
5.如權利要求3所述的基于多級流水線的數據庫查詢任務rdma卸載...
【專利技術屬性】
技術研發人員：譚立狀，董鑫，史慧玲，張瑋，
申請(專利權)人：山東省計算中心國家超級計算濟南中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。