【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及鍵值存儲(chǔ)系統(tǒng)中的熱點(diǎn)檢測，特別是基于數(shù)據(jù)處理單元(dpu)的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，適用于在分布式存儲(chǔ)和遙測數(shù)據(jù)收集場景中通過dpu優(yōu)化熱點(diǎn)檢測和系統(tǒng)性能。
技術(shù)介紹
1、在現(xiàn)代的大規(guī)模分布式鍵值存儲(chǔ)系統(tǒng)中，熱點(diǎn)問題是一種常見且嚴(yán)重的性能挑戰(zhàn)。熱點(diǎn)鍵值是指那些頻繁被訪問的少量鍵值項(xiàng)，可能會(huì)導(dǎo)致系統(tǒng)負(fù)載不平衡、響應(yīng)延遲增加，甚至引發(fā)系統(tǒng)崩潰。例如，突發(fā)新聞可能會(huì)吸引90％的訪問集中于1％的鍵值項(xiàng)。因此，對這些熱點(diǎn)的檢測和管理是保證系統(tǒng)性能和服務(wù)質(zhì)量的關(guān)鍵。
2、目前，熱點(diǎn)監(jiān)控主要依賴于中心服務(wù)器。若使用可編程交換機(jī)實(shí)現(xiàn)，其成本相對較高，且為了實(shí)現(xiàn)其功能，需要替換現(xiàn)有的網(wǎng)絡(luò)設(shè)備。這對于大規(guī)模部署的分布式系統(tǒng)來說，會(huì)帶來顯著的成本和時(shí)間開銷。相比之下，基于dpu(數(shù)據(jù)處理單元)的解決方案無需更換現(xiàn)有系統(tǒng)的交換機(jī)，能夠有效降低成本，同時(shí)通過dpu本身的強(qiáng)大計(jì)算能力，減輕中心服務(wù)器的cpu負(fù)擔(dān)，提升系統(tǒng)整體的計(jì)算性能。
3、dpu是一種獨(dú)立的硬件加速器，位于主機(jī)與外部網(wǎng)絡(luò)之間，通過pcie與主機(jī)通信，通過網(wǎng)卡與外部通信。其硬件資源包括soc核心、dram、l2/l3緩存、pcie帶寬和網(wǎng)卡帶寬，這些資源能夠高效執(zhí)行各種計(jì)算任務(wù)，包括熱點(diǎn)檢測、數(shù)據(jù)解析和狀態(tài)操作。與傳統(tǒng)的交換機(jī)或中心服務(wù)器不同，dpu可以通過更靈活的方式進(jìn)行資源分配和任務(wù)優(yōu)化，特別是在帶狀態(tài)和無狀態(tài)操作的管理上，dpu能夠有效減少訪存延遲并提高解析效率。
4、因此，基于dpu的熱點(diǎn)檢測系統(tǒng)不僅能夠降低系統(tǒng)部署的成本，還能在
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)的不足，本專利技術(shù)提出了基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，本專利技術(shù)旨在通過dpu實(shí)現(xiàn)高效的熱點(diǎn)檢測，減輕中心服務(wù)器的cpu負(fù)擔(dān)，并增強(qiáng)系統(tǒng)的計(jì)算能力。
2、本專利技術(shù)還提出了基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測系統(tǒng)。
3、本專利技術(shù)的技術(shù)方案為：
4、一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，包括：
5、數(shù)據(jù)處理單元包括soc核心、dram存儲(chǔ)器、l2/l3緩存、pcie接口、網(wǎng)卡；soc核心負(fù)責(zé)執(zhí)行數(shù)據(jù)處理單元的主要計(jì)算任務(wù)；dram存儲(chǔ)器用于存儲(chǔ)熱點(diǎn)編碼、熱點(diǎn)解碼過程中的中間數(shù)據(jù)以及執(zhí)行計(jì)算任務(wù)所需的臨時(shí)數(shù)據(jù)；l2/l3緩存用于加速數(shù)據(jù)訪問和存儲(chǔ)；pcie接口用于與中心服務(wù)器通信，確保數(shù)據(jù)在主機(jī)和數(shù)據(jù)處理單元之間的快速傳輸；網(wǎng)卡連接外部網(wǎng)絡(luò)用于接收和傳輸數(shù)據(jù)；
6、熱點(diǎn)編碼：對接收到的鍵值請求進(jìn)行編碼；
7、熱點(diǎn)過濾：通過預(yù)設(shè)的閾值對請求進(jìn)行篩選，過濾掉非熱點(diǎn)鍵值；
8、熱點(diǎn)解碼：將篩選后的熱點(diǎn)鍵值進(jìn)行解碼；
9、熱點(diǎn)查詢：對熱點(diǎn)鍵值進(jìn)行查詢與處理，完成熱點(diǎn)檢測任務(wù)。
10、根據(jù)本專利技術(shù)優(yōu)選的，熱點(diǎn)編碼；包括：
11、數(shù)據(jù)處理單元利用soc核心對鍵值請求的相關(guān)屬性進(jìn)行編碼處理，鍵值請求的相關(guān)屬性包括鍵值、請求類型、服務(wù)器地址、鏈路負(fù)載、時(shí)間戳、請求源ip地址、目標(biāo)ip地址、請求大小，并將編碼處理后得到的編碼信息存儲(chǔ)在緩存中。
12、進(jìn)一步優(yōu)選的，熱點(diǎn)編碼；包括：
13、采用分層編碼技術(shù)，對鍵值請求的相關(guān)屬性進(jìn)行編碼，生成熱點(diǎn)代碼；具體包括：
14、第一層編碼：對鍵值、請求類型進(jìn)行編碼，確保每個(gè)鍵值請求具有唯一標(biāo)識(shí)；第二層編碼：對服務(wù)器地址進(jìn)行編碼，第三層編碼：對鏈路負(fù)載情況進(jìn)行編碼，反映服務(wù)器的負(fù)載狀態(tài)。
15、進(jìn)一步優(yōu)選的，熱點(diǎn)編碼中，數(shù)據(jù)處理單元使用高速緩存包括l2/l3緩存加速數(shù)據(jù)的編碼與處理，并通過動(dòng)態(tài)調(diào)度資源。
16、根據(jù)本專利技術(shù)優(yōu)選的，熱點(diǎn)過濾；包括：
17、通過dpu執(zhí)行熱點(diǎn)過濾操作；通過預(yù)設(shè)的訪問頻率閾值篩選出可能的熱點(diǎn)鍵值，并過濾掉非熱點(diǎn)鍵值；具體是指：dpu通過部署在數(shù)據(jù)平面的sketch算法，對每個(gè)編碼的鍵值請求進(jìn)行部分鍵值查詢，并在每個(gè)時(shí)間窗口內(nèi)計(jì)算這些鍵值請求的訪問頻率，訪問頻率超過閾值的鍵值將被標(biāo)記為熱點(diǎn)候選項(xiàng)，將這些熱點(diǎn)候選項(xiàng)保存在緩存中進(jìn)行進(jìn)一步處理。
18、進(jìn)一步優(yōu)選的，熱點(diǎn)過濾；包括：
19、(1)sketch算法部署與執(zhí)行：數(shù)據(jù)處理單元的soc核心負(fù)責(zé)計(jì)算多個(gè)哈希函數(shù)，并將每個(gè)編碼映射到相應(yīng)的存儲(chǔ)桶中，每次訪問都更新對應(yīng)存儲(chǔ)桶的計(jì)數(shù)值，sketch算法基于計(jì)數(shù)值來統(tǒng)計(jì)鍵值請求的訪問頻率；
20、(2)時(shí)間窗口的統(tǒng)計(jì)與訪問頻率計(jì)算：dpu在每個(gè)時(shí)間窗口內(nèi)對所有進(jìn)入的熱點(diǎn)編碼進(jìn)行統(tǒng)計(jì)；sketch算法在dpu上以固定的時(shí)間間隔執(zhí)行，每個(gè)時(shí)間窗口的持續(xù)時(shí)間根據(jù)負(fù)載和流量模式進(jìn)行調(diào)整；
21、每個(gè)時(shí)間窗口結(jié)束時(shí)，dpu根據(jù)sketch算法統(tǒng)計(jì)的計(jì)數(shù)值計(jì)算每個(gè)編碼的訪問頻率，當(dāng)某個(gè)編碼在時(shí)間窗口內(nèi)的訪問頻率超過預(yù)設(shè)的閾值時(shí)，將該編碼標(biāo)記為熱點(diǎn)候選項(xiàng)。
22、根據(jù)本專利技術(shù)優(yōu)選的，熱點(diǎn)解碼；包括：
23、經(jīng)過熱點(diǎn)過濾后，對標(biāo)記為熱點(diǎn)候選項(xiàng)的鍵值進(jìn)行解碼處理；數(shù)據(jù)處理單元并行解碼熱點(diǎn)編碼，從熱點(diǎn)編碼中提取出服務(wù)器地址、鏈路狀態(tài)、工作負(fù)載類型及服務(wù)器負(fù)載信息，解碼后的熱點(diǎn)信息被存儲(chǔ)在緩存中。
24、進(jìn)一步優(yōu)選的，熱點(diǎn)解碼；包括：
25、數(shù)據(jù)處理單元將解碼任務(wù)分發(fā)至多個(gè)soc核心進(jìn)行并行解碼處理；每個(gè)soc核心負(fù)責(zé)熱點(diǎn)候選項(xiàng)中的某個(gè)子任務(wù)的解碼處理；
26、數(shù)據(jù)處理單元通過dram存儲(chǔ)器進(jìn)行管理，通過pcie接口進(jìn)行帶寬的動(dòng)態(tài)分配；
27、當(dāng)數(shù)據(jù)處理單元解碼出某個(gè)服務(wù)器的物理位置和鏈路信息后，數(shù)據(jù)將通過pcie接口傳輸回主機(jī)。
28、進(jìn)一步優(yōu)選的，數(shù)據(jù)處理單元通過自頂向下的解碼算法分階段處理熱點(diǎn)信息即熱點(diǎn)候選項(xiàng)中的所有編碼；包括：
29、數(shù)據(jù)處理單元解碼熱點(diǎn)候選項(xiàng)中的某個(gè)服務(wù)器的物理位置，利用soc核心的并行處理能力識(shí)別服務(wù)器負(fù)載情況；如果某個(gè)服務(wù)器的鏈路超載，數(shù)據(jù)處理單元優(yōu)先解碼該服務(wù)器上與鏈路相關(guān)的熱點(diǎn)鍵值信息，并進(jìn)一步解析導(dǎo)致超載的具體工作負(fù)載類型和鏈路狀態(tài)。
30、進(jìn)一步優(yōu)選的，在熱點(diǎn)解碼過程中，通過dpu的l2/l3緩存進(jìn)行數(shù)據(jù)預(yù)加載和存取。
31、進(jìn)一步優(yōu)選的，在熱點(diǎn)解碼之前，熱點(diǎn)候選項(xiàng)被臨時(shí)存儲(chǔ)在l2/l3緩存中。
32、基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測系統(tǒng)，包括：
33、熱點(diǎn)編碼模塊，被配置為：對接收到的鍵值請求進(jìn)行編碼；
34、熱點(diǎn)過濾模塊，被配置為：通過預(yù)設(shè)的閾值對請求進(jìn)行篩選，過濾掉非熱點(diǎn)鍵值；
35、熱點(diǎn)解碼模塊，被配置為：將篩選后的熱點(diǎn)鍵值進(jìn)行解碼；
36、熱點(diǎn)查詢模塊，被配置為：對熱點(diǎn)鍵值進(jìn)行查詢與處理，完成熱點(diǎn)檢測任務(wù)。
37、本專利技術(shù)的有益效果為：
【技術(shù)保護(hù)點(diǎn)】
1.一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼；包括：
3.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼；包括：
4.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼中，數(shù)據(jù)處理單元使用高速緩存包括L2/L3緩存加速數(shù)據(jù)的編碼與處理，并通過動(dòng)態(tài)調(diào)度資源。
5.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)過濾；包括：
6.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)過濾；包括：
7.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)解碼；包括：
8.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)解碼；包括：
9.根據(jù)權(quán)利要求1-8任一所述的
10.基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼；包括：
3.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼；包括：
4.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)編碼中，數(shù)據(jù)處理單元使用高速緩存包括l2/l3緩存加速數(shù)據(jù)的編碼與處理，并通過動(dòng)態(tài)調(diào)度資源。
5.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)處理單元的通用鍵值存儲(chǔ)熱點(diǎn)檢測方法，其特征在于，熱點(diǎn)過濾；包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周政演，張景軒，吳春明，
申請(專利權(quán))人：泉城省實(shí)驗(yàn)室，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。