【技術實現步驟摘要】
本專利技術屬于人工智能，具體說是一種面向高性能計算的gpu、npu資源調度方法。
技術介紹
1、在人工智能
上，針對ai計算任務的特點，如計算復雜度、輸入數據規模、實時性要求等，gpu、npu的資源調度方式成為了影響ai計算任務的計算性能以及資源利用率的關鍵因素，而現有技術主要方式以及主要存在以下局限性具體如下：
2、靜態調度為主：傳統的資源調度方法采用相對靜態的調度策略，即在任務分配前根據一些預設的規則或經驗值來確定計算任務在gpu和npu上的分配方式，缺乏對實時硬件資源狀況和任務動態變化的充分考慮。如，在任務執行過程中，如果硬件資源出現突發的負載變化或者任務本身的實時性要求發生改變，靜態調度方式難以做出及時有效的調整，從而導致資源浪費或計算性能下降。
3、對任務特性分析不足：部分現有技術在分配計算任務時，沒有全面深入地分析任務的各項特性，如僅考慮計算復雜度而忽略了輸入數據規模或實時性要求等其他重要因素。使得任務分配不能精準匹配硬件資源，無法讓gpu和npu以最佳狀態處理任務，從而限制了計算性能的提升。這使得任務分配不合理，無法充分發揮gpu和npu的優勢，進而影響整體計算效率。
4、優化算法單一或未結合硬件特性：有些資源調度方案雖然采用了優化算法，但只局限于某一種算法，缺乏多種算法的綜合運用以適應不同場景。并且，在運用算法時沒有充分結合gpu和npu的具體特性，導致算法在實際應用中無法達到最佳的優化效果，不能充分挖掘硬件資源的潛力。
5、缺乏動態適應性：現有技術在面對任務
6、因此，需要提供一種能夠面向高性能計算的gpu、npu資源調度方法以克服上述現有技術存在的局限性。
技術實現思路
1、本專利技術目的是提供一種面向高性能計算的gpu、npu資源調度方法，針對ai計算任務的特點,如計算復雜度、輸入數據規模、實時性要求等,采用多目標優化算法對gpu和npu資源進行動態調度,以滿足高性能ai計算需求。
2、本專利技術為實現上述目的所采用的技術方案是：一種面向高性能計算的gpu、npu資源調度方法，包括以下步驟：
3、1)對gpu和npu硬件加速器進行實時監控，并存儲采集到的gpu和npu硬件加速器的資源狀況數據等待調度優化模塊調用；
4、2)任務分析模塊分析待執行的ai計算任務，獲取任務特征數據，并將任務特征數據傳輸至調度優化模塊；
5、3)調度優化模塊采用pso和ga算法，根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，并傳遞給動態調度模塊；
6、4)設置動態調度模塊參數，動態調度模塊實時監控任務執行情況和資源變化，根據反饋信息動態調整任務分配方案，并反饋至調度優化模塊；同時動態調度模塊分別反饋資源狀況數據的變化信息和任務執行情況至資源監控模塊和任務分析模塊；
7、5)重復步驟4)，直至動態調度模塊下發新的任務分配方案至資源采集模塊，資源采集模塊通知任務分析模塊任務分配變更；重復步驟1)～步驟4)，直到滿足停止條件。
8、所述資源狀況數據，包括：計算能力、內存使用量、溫度、功耗的關鍵指標。
9、所述任務特征數據，包括：計算復雜度、內存訪問模式、性能分析及優化建議、輸入數據規模、數據分布特征、實時性要求。
10、所述任務分析模塊分析待執行的ai計算任務，獲取任務特征數據，具體為：
11、2-1)通過scitools對ai計算任務的源代碼進行靜態分析，提取計算復雜度、內存訪問模式；
12、2-2)將ai計算任務通過nvidia?nsight軟件在小規模輸入數據上運行，進行動態運行分析，得到性能分析及優化建議；
13、2-3)利用pandas、numpy數據分析庫對任務的輸入數據進行分析，確定輸入數據規模、數據分布特征；
14、2-4)使用realtime-uml進行建模分析，包括任務的業務需求，評估其對計算延遲的實時性要求，確定實時性約束條件。
15、調度優化模塊采用pso根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，包括以下步驟：
16、3-1)初始化：
17、隨機生成n個粒子，每個粒子代表一種任務分配方案；每個粒子的位置表示任務在gpu和npu上的分配情況，速度表示粒子在搜索空間中的移動方向和速度；同時，初始化每個粒子的歷史最優位置和群體的歷史最優位置；
18、3-2)適應度評估：
19、根據資源監測模塊和任務分析模塊提供的資源狀況數據和任務特征數據，計算每個粒子的適應度值；其中，適應度函數根據資源利用效率、計算性能設計；
20、3-3)速度更新：
21、根據以下公式更新每個粒子的速度：
22、v[i]＝w·v[i]+c1·rand()·(pbest[i]-x[i])+c2·rand()·(gbest-x[i])
23、其中，v[i]表示粒子i的速度，w為慣性權重，rand()為一個隨機數生成函數，c1和c2分別為學習因子，pbest[i]為粒子i的歷史最優位置，gbest為群體的歷史最優位置，x[i]為粒子i的位置；
24、3-4)位置更新：
25、根據更新后的速度，更新每個粒子的位置，即：
26、x[i]＝x[i]+v[i]
27、3-5)最優位置更新：
28、如果粒子的當前位置比其歷史最優位置更好，則更新粒子的歷史最優位置；如果群體中某個粒子的歷史最優位置比群體的歷史最優位置更好，則更新群體的歷史最優位置；
29、3-6)重復步驟3-2)～步驟3-5)，直到達到最大迭代次數或適應度值達到設定的精度要求。
30、調度優化模塊采用ga算法根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，包括以下步驟：
31、4-1)初始化：
32、隨機生成n個個體，每個個體代表一種任務分配方案；
33、4-2)適應度評估：
34、根據資源監測模塊和任務分析模塊提供的數據，計算每個個體的適應度值；
35、4-3)選擇操作：
36、根據個體的適應度值，選擇一部分優秀的個體作為父代個體，用于產生下一代個體；其中，選擇方法采用輪盤賭選擇或錦標賽選擇；
37、4-4)交叉操作：
38、對選擇出來的父代個體進行交叉操作，產生新的子代個體；其中，交叉操作采用單點交叉或兩點交叉方法；
39、4-5)變異操作：
40、對新產生的子代個體進行變異操作，增加個體的多樣性；其中，變異操作采用位變異或實數變異方法；本文檔來自技高網...
【技術保護點】
1.一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，所述資源狀況數據，包括：計算能力、內存使用量、溫度、功耗的關鍵指標。
3.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，所述任務特征數據，包括：計算復雜度、內存訪問模式、性能分析及優化建議、輸入數據規模、數據分布特征、實時性要求。
4.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，所述任務分析模塊分析待執行的AI計算任務，獲取任務特征數據，具體為：
5.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，調度優化模塊采用PSO根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，包括以下步驟：
6.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，調度優化模塊采用GA算法根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，包括
7.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，在所述調度優化模塊采用PSO和GA算法時，結合硬件加速器特性，執行以下步驟：
8.根據權利要求1所述的一種面向高性能計算的GPU、NPU資源調度方法，其特征在于，所述設置動態調度模塊參數，包括：設定監控頻率、設置資源變化閾值和任務執行進度閾值、使用資源監測模塊的信息以及設置觸發器；
9.一種面向高性能計算的GPU、NPU資源調度系統，其特征在于：
10.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1-8任一項所述的一種面向高性能計算的GPU、NPU資源調度方法。
...【技術特征摘要】
1.一種面向高性能計算的gpu、npu資源調度方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種面向高性能計算的gpu、npu資源調度方法，其特征在于，所述資源狀況數據，包括：計算能力、內存使用量、溫度、功耗的關鍵指標。
3.根據權利要求1所述的一種面向高性能計算的gpu、npu資源調度方法，其特征在于，所述任務特征數據，包括：計算復雜度、內存訪問模式、性能分析及優化建議、輸入數據規模、數據分布特征、實時性要求。
4.根據權利要求1所述的一種面向高性能計算的gpu、npu資源調度方法，其特征在于，所述任務分析模塊分析待執行的ai計算任務，獲取任務特征數據，具體為：
5.根據權利要求1所述的一種面向高性能計算的gpu、npu資源調度方法，其特征在于，調度優化模塊采用pso根據資源狀況數據和任務特征數據，計算出最優的任務分配方案，包括以下步驟：
6.根據權利要...
【專利技術屬性】
技術研發人員：趙偉，莊曉川，張佳鑫，張博熙，
申請(專利權)人：遼寧省煙草公司營口市公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。