【技術實現步驟摘要】
本專利技術涉及調度，尤其涉及一種算力卡超分和優先級調度方法、系統、電子設備及存儲介質。
技術介紹
1、在ai大模型快速崛起的時代背景下，無論是大模型的訓練還是運行實時推理任務，都高度依賴于圖形處理單元（gpu）的強大計算能力。gpu以其并行處理架構在加速大規模矩陣運算和神經網絡計算方面展現出了卓越的性能，成為支撐ai發展的關鍵技術之一。對于機器學習平臺而言，如何高效管理和利用gpu資源，提升資源利用率，成為了一個至關重要的挑戰。
2、kubernetes?作為云原生領域的事實標準，通過其強大的容器編排和集群管理能力，為提升gpu使用效率提供了有力支持。kubernetes?能夠基于資源的請求和限制自動調度容器到合適的節點上，通過精細的資源配置策略，如cpu、內存以及gpu的數量和類型，可以確保任務得到足夠的資源，同時避免資源浪費。此外，kubernetes?調度器可以支持基于gpu類型的親和性和反親和性調度，使得特定類型的任務能夠運行在特定的gpu硬件上，優化資源使用效率。為了最大化gpu資源的使用率，kubernetes?支持通過特定的設備插件（如nvidia?device?plugin）實現gpu的共享。這些插件允許多個容器或pod共享同一個gpu，通過虛擬化技術或時間片輪轉機制來分配gpu，從而顯著提高資源利用率。同時，kubernetes還提供了資源隔離機制，確保不同工作負載之間的互不干擾，保證任務的穩定性和安全性。
3、主流的?gpu?共享調度方案旨在提高?gpu?資源的利用率和調度公平性。為了
4、盡管當前的gpu共享調度方案為高性能算力卡提供了靈活的切分能力，使得多個容器或任務能夠共享同一塊gpu的資源，從而提高了資源利用率和成本效益。然而，這種共享機制也伴隨著一個顯著的問題——碎卡問題。碎卡問題主要指的是在gpu被多個任務共享時，由于每個任務對gpu資源的需求不同，且這些需求往往難以精確預測和匹配，導致gpu資源被分割成多個碎片化資源。這些碎片化的資源可能無法被有效利用，因為它們的大小可能不滿足后續任務的需求，或者由于管理上的復雜性而難以重新組合。
技術實現思路
1、針對上述問題中存在的不足之處，本專利技術提供一種算力卡超分和優先級調度方法、系統、電子設備及存儲介質。
2、為實現上述目的，本專利技術提供一種算力卡超分和優先級調度方法，包括：
3、將單個物理gpu劃分為多個邏輯上的gpu實例，預先設置所述單個物理gpu超分數和每個邏輯上的所述gpu實例的核心數限制、顯存限制；
4、將所述超分數、所述核心數限制和所述顯存限制注冊到節點的kubernetes上；
5、所述kubernetes的調度器在調度過程中識別pod對所述超分數、所述核心數限制和所述顯存限制的聲明，實現不同的調度策略；
6、所述調度策略包括binpack策略和spread策略，所述binpack策略則為選擇分數最高進行調度，所述spread策略則為選擇分數最低進行調度。
7、優選的是，對節點進行打分公式為：
8、；
9、式中：表示當前調度pod需要使用的物理gpu個數，表示當前節點已經使用的物理gpu個數，表示當前節點的可用gpu個數，表示權重。
10、優選的是，當單個所述pod經過調度器時，獲取所述pod使用卡數、使用顯存和使用核心。
11、優選的是，基于所述pod使用卡數、使用顯存和使用核心，從三個維度進行打分，打分公式為：
12、；
13、；
14、。
15、優選的是，超分維度和顯存維度的默認權重設為?0.4，算力維度的默認權重設為0.2，默認為10，最終得分的計算公式為：
16、。
17、本申請還提供一種算力卡超分和優先級調度系統，包括：
18、劃分模塊，用于將單個物理gpu劃分為多個邏輯上的gpu實例，預先設置所述單個物理gpu超分數和每個邏輯上的所述gpu實例的核心數限制、顯存限制；
19、注冊模塊，用于將所述超分數、所述核心數限制和所述顯存限制注冊到節點的kubernetes上；
20、調度模塊，用于所述kubernetes的調度器在調度過程中識別pod對所述超分數、所述核心數限制和所述顯存限制的聲明，實現不同的調度策略；
21、策略模塊，用于所述調度策略包括binpack策略和spread策略，所述binpack策略則為選擇分數最高進行調度，所述spread策略則為選擇分數最低進行調度。
22、本專利技術還提供一種電子設備，包括至少一個處理單元以及至少一個存儲單元，其中，所述存儲單元存儲有計算機程序，當所述程序被所述處理單元執行時，使得所述處理單元執行上述的方法。
23、本專利技術還提供一種存儲介質，其存儲有可由電子電子設備執行的計算機程序，當所述程序在所述電子電子設備上運行時，使得所述電子電子設備執行上述的方法。
24、與現有技術相比，本專利技術的有益效果為：
25、本專利技術有效降低碎卡率，通過精細的調度策略和gpu資源的超分技術，能夠更合理地分配和管理gpu資源，減少因資源分配不當而導致的gpu碎片，提高資源利用效率和系統性能。
本文檔來自技高網...【技術保護點】
1.一種算力卡超分和優先級調度方法，其特征在于，包括：
2.根據權利要求1所述的算力卡超分和優先級調度方法，其特征在于，對節點進行打分公式為：
3.根據權利要求2所述的算力卡超分和優先級調度方法，其特征在于，當單個所述Pod經過調度器時，獲取所述Pod使用卡數、使用顯存和使用核心。
4.根據權利要求3所述的算力卡超分和優先級調度方法，其特征在于，基于所述Pod使用卡數、使用顯存和使用核心，從三個維度進行打分，打分公式為：
5.根據權利要求4所述的算力卡超分和優先級調度方法，其特征在于，超分維度和顯存維度的默認權重設為?0.4，算力維度的默認權重設為?0.2，默認為10，最終得分的計算公式為：
6.一種算力卡超分和優先級調度系統，其特征在于，包括：
7.一種電子設備，其特征在于，包括至少一個處理單元以及至少一個存儲單元，其中，所述存儲單元存儲有計算機程序，當所述程序被所述處理單元執行時，使得所述處理單元執行權利要求1～5任一權利要求所述的方法。
8.一種存儲介質，其特征在于，其存儲有可由電子電子設備
...【技術特征摘要】
1.一種算力卡超分和優先級調度方法，其特征在于，包括：
2.根據權利要求1所述的算力卡超分和優先級調度方法，其特征在于，對節點進行打分公式為：
3.根據權利要求2所述的算力卡超分和優先級調度方法，其特征在于，當單個所述pod經過調度器時，獲取所述pod使用卡數、使用顯存和使用核心。
4.根據權利要求3所述的算力卡超分和優先級調度方法，其特征在于，基于所述pod使用卡數、使用顯存和使用核心，從三個維度進行打分，打分公式為：
5.根據權利要求4所述的算力卡超分和優先級調度方法，其特征在于，超分維度和顯存維度...
【專利技術屬性】
技術研發人員：谷嘉樂，王翱宇，王羽中，陳雪兒，蔣咪，司云起，
申請(專利權)人：杭州諧云科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。