【技術實現步驟摘要】
本專利技術涉及一種基于數據處理單元的sketch通用配置方法及系統，屬于數據處理。
技術介紹
1、網絡測量是現代網絡管理任務中不可或缺的組成部分，廣泛應用于入侵檢測、負載均衡、流量工程等領域，為了適應大規模、實時性要求，網絡測量需要高效的數據處理架構，傳統的網絡測量方法受到硬件和通信瓶頸的限制，難以應對現代高并發數據流量。
2、隨著數據處理單元(dpu)的引入，網絡測量的性能得到了一定提升，dpu作為獨立的處理模塊，位于主機與外部網絡之間，通過pcie與主機通信，通過網卡與外部通信，其設計可以有效分擔主機的處理負擔，并提升數據處理效率，然而，現有基于dpu的網絡測量架構仍然面臨多個挑戰：
3、1.系統位置的限制，dpu依賴主機上的網卡進行通信，同時通過pcie與主機進行數據交換，dpu在高帶寬的流量傳輸場景中面臨帶寬瓶頸，特別是在同時處理多個網絡流的情況下，通信效率成為了影響系統性能的關鍵因素；
4、2.硬件資源約束，dpu的硬件資源包括soc核心、dram、l2、l3緩存、pcie帶寬和網卡帶寬，這些資源有限，無法完全滿足現代網絡流量的大規模并發處理需求，當資源配置不合理時，系統性能往往難以達到最佳狀態，甚至可能出現性能瓶頸。
5、3.進程模型的復雜性，dpu支持pl(processing?logic)和rtc(real-timecomputing)兩種不同的進程模型，如何根據不同應用場景靈活配置進程模型并選擇單核運行或多核綁定，成為系統設計中的一大難點。
6、4.狀
7、5.優化目標的平衡，網絡測量任務中的核心目標在于準確率和吞吐量之間的平衡，在有限的資源條件下，如何通過優化手段在兩者之間取得最佳權衡，成為sketch在dpu部署中的一大挑戰。
8、基于上述背景，現有的dpu部署sketch方法在系統位置、硬件資源管理、進程模型選擇、狀態操作和優化目標平衡方面存在諸多問題，亟需一套高效的sketch通用配置方法。
技術實現思路
1、針對現有技術的不足，本專利技術提供一種基于數據處理單元的sketch通用配置方法及系統，旨在優化dpu與主機的通信效率，合理分配硬件資源，實現靈活的進程模型選擇以及高效的狀態操作配置，從而在有限資源下達到網絡測量的高準確率和高吞吐量目標。
2、術語解釋：
3、sketch：在數據處理和網絡測量中，sketch是一種用于實時流量數據估算的算法，通過對數據流中的信息進行壓縮計算，sketch能夠在資源受限的環境中高效地估算數據流的統計特性，廣泛應用于入侵檢測和流量優化任務。
4、本專利技術的技術方案如下：
5、一種基于數據處理單元的sketch通用配置方法，步驟如下：
6、(1)資源參數識別：監控數據處理單元的硬件資源，識別出可用資源，并在數據處理單元的sketch程序代碼中識別出所有與可用資源相關的原語，確定可配置的資源參數；
7、(2)進程模型選擇：配置數據處理單元上流水線模型(pl)和實時計算模型(rtc)，并在兩種模型之間進行動態切換；
8、(3)資源約束輸入：將可配置的資源參數作為輸入和約束條件，進行資源使用的實時調整；
9、(4)優化目標配置：設定優化目標，包括最大化準確率和吞吐量，最小化資源使用；
10、(5)參數配置推薦：利用貝葉斯優化算法推薦出多個參數值，將這些參數值填入sketch程序中運行，并通過測試測量sketch的準確率、吞吐量和資源使用情況，生成最優參數配置方案。
11、根據本專利技術優選的，步驟(1)中，可用資源包括soc核心、dram、l2緩存、l3緩存、pcie帶寬和網卡帶寬，可配置的資源參數為可使用的soc核心數量、dram的分配容量、l2緩存使用比例、l3緩存使用比例、pcie帶寬的占用比例、網卡帶寬的傳輸速率。
12、根據本專利技術進一步優選的，資源參數識別具體步驟為：
13、(1-1)監控：在數據處理單元運行sketch程序的過程中，通過profiler工具監控dpu內的硬件資源，實時記錄soc核心數量、dram分配容量、l2緩存大小、l3緩存大小、pcie帶寬以及網卡帶寬的使用情況，幫助用戶清晰了解當前任務占用的資源；
14、(1-2)資源的分類與提取：利用監控數據，識別硬件資源當前使用狀態與可用容量；
15、(1-3)原語識別：在數據處理單元的sketch程序代碼中，通過靜態分析方法找到所有涉及資源使用的代碼段，這些代碼段稱為原語，原語包含對硬件資源的調用，如內存分配、計算操作、數據傳輸等，識別這些原語，并確定每個原語涉及到的資源類型；
16、(1-4)可配置的資源參數:在識別出的原語中，找到可配置的資源參數，通過這一步驟，為sketch程序提供了靈活的資源配置基礎。
17、根據本專利技術優選的，步驟(2)中，具體為：
18、(2-1)流水線(pl)模型：該模型適用于高吞吐量的任務，通過流水線技術，多個任務可以在不同階段并行處理，為流水線模型配置任務分配和調度機制，確保不同的任務能夠在soc核心上得到均勻分布，實現資源的高效利用；
19、(2-2)實時計算(rtc)模型：rtc模型適用于對延遲有嚴格要求的實時任務，在該模型下，任務會優先綁定到特定的soc核心上運行，以確保任務的實時性執行，對于實時任務，允許用戶自定義任務的優先級，并根據任務的實時性需求動態分配計算資源；rtc模型未做改動；
20、(2-3)模型切換機制：設計動態模型切換機制，根據任務的不同特性，在流水線模型和實時計算模型之間進行切換，例如，當某些任務對吞吐量要求較高時，系統自動切換到pl模型；當遇到需要實時響應的任務時，系統切換到rtc模型，從而保證系統性能的最優狀態。
21、根據本專利技術優選的，步驟(2-1)中，實現不同任務均勻分布的關鍵機制是動態負載均衡，任務分配和調度機制為，持續監控每個soc核心的實時負載和任務隊列狀況，利用反饋控制系統來動態調整任務分配，當一組核心的任務負載超過一定閾值(例如80％的cpu使用率)時，調度系統將自動識別出負載較輕的核心，并將新到達的任務或者部分現有任務遷移至這些核心，緩解過載狀態，該過程通過輕量級的任務遷移協議，在不明顯影響任務處理的前提下動態調整任務位置，確保每個核心保持在合理的負載水平，實現資源的均衡利用，這種機制通過周期性的負載評估和自動適應調整，能夠快速響應任務需求的變化，始終維持各個soc核心的均衡負載，達到高效的資源利用目標。
22、根據本專利技術優選的，步驟本文檔來自技高網...
【技術保護點】
1.一種基于數據處理單元的sketch通用配置方法，其特征在于，步驟如下：
2.如權利要求1所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(1)中，可用資源包括SoC核心、DRAM、L2緩存、L3緩存、PCIe帶寬和網卡帶寬，可配置的資源參數為可使用的SoC核心數量、DRAM的分配容量、L2緩存使用比例、L3緩存使用比例、PCIe帶寬的占用比例、網卡帶寬的傳輸速率。
3.如權利要求2所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(1)中，資源參數識別具體步驟為：
4.如權利要求3所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(2)中，具體為：
5.如權利要求4所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(2-1)中，任務分配和調度機制為，持續監控每個SoC核心的實時負載和任務隊列狀況，動態調整任務分配，當一組核心的任務負載超過一定閾值時，自動識別出負載較輕的核心，并將新到達的任務或者部分現有任務遷移至這些核心，緩解過載狀態。
6.如權利要求
7.如權利要求4所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(3)具體為：
8.如權利要求7所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(3-3)中，動態資源調整機制通過實時監控任務的CPU負載、內存使用率和處理速度，及時識別資源需求變化，當檢測到任務的計算需求增加導致CPU或內存接近飽和時，根據預設策略規則確定需要增加的SoC核心數量或DRAM容量，并立即執行，執行過程不需要中斷任務，通過調動閑置的SoC核心或重新分配內存資源，實現資源即時生效，完成后，繼續監控并分析任務性能指標。
9.如權利要求1所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(5)中，參數值包括：可使用的SoC核心數量、DRAM的分配容量、L2緩存使用比例、L3緩存使用比例、PCIe帶寬的占用比例和網卡帶寬的傳輸速率。
10.一種基于數據處理單元的sketch通用配置系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于數據處理單元的sketch通用配置方法，其特征在于，步驟如下：
2.如權利要求1所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(1)中，可用資源包括soc核心、dram、l2緩存、l3緩存、pcie帶寬和網卡帶寬，可配置的資源參數為可使用的soc核心數量、dram的分配容量、l2緩存使用比例、l3緩存使用比例、pcie帶寬的占用比例、網卡帶寬的傳輸速率。
3.如權利要求2所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(1)中，資源參數識別具體步驟為：
4.如權利要求3所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(2)中，具體為：
5.如權利要求4所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(2-1)中，任務分配和調度機制為，持續監控每個soc核心的實時負載和任務隊列狀況，動態調整任務分配，當一組核心的任務負載超過一定閾值時，自動識別出負載較輕的核心，并將新到達的任務或者部分現有任務遷移至這些核心，緩解過載狀態。
6.如權利要求4所述的基于數據處理單元的sketch通用配置方法，其特征在于，步驟(2-3)中，動態模型切換機制具體過程包括：首先，通過實時監控任務的c...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。