【技術實現(xiàn)步驟摘要】
本公開涉及人工智能，尤其涉及一種資源分配方法、裝置及電子設備。
技術介紹
1、大語言模型(llm，large?language?model)或人工智能代理(ai?agent)在加載、運行或者訓練時，通常會匹配神經(jīng)網(wǎng)絡處理器(cpu，neural?processing?unit)、圖形處理器(gpu，graphics?processing?unit)、神經(jīng)網(wǎng)絡處理器(npu，neural-network?processingunit)來加速推理或運算，然而，這種方法缺乏全局視野和邊界性，無法充分利用人工智能(ai，artificial?intelligence)個人電腦(pc，personal?computer)上的硬件資源。例如，在加載某個大量并行計算模型時指定gpu資源，此時gpu已經(jīng)接近滿載，cpu、npu等仍有許多空閑資源可用，盡管它們可能不完全適合該運算類型，但利用這些空閑資源仍然能提升性能。相關技術方案僅根據(jù)指定資源類型進行調(diào)度，無法合理運用資源，并且，由于不合理的調(diào)度，也可能影響用戶同時運行的大型游戲或高渲染需求的軟件，出現(xiàn)響應緩慢或卡頓的問題。
技術實現(xiàn)思路
1、本公開提供了一種資源分配方法、裝置、設備及存儲介質(zhì)。
2、根據(jù)本公開的第一方面，提供了一種資源分配方法，所述方法包括：
3、第一處理模塊確定至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求；所述硬件資源需求包括：硬件資源類型和資源需求量；
4、第一處理模塊基于至少一個第
5、根據(jù)本公開的第二方面，提供了一種資源調(diào)度裝置，所述裝置包括：
6、確定模塊，用于確定至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求；所述硬件資源需求包括：硬件資源類型和資源需求量；
7、處理模塊，用于基于至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求、設備狀態(tài)信息和第二類型的對象所需的資源需求，確定至少一個所述第一類型的運行對象的目標分配策略，所述目標分配策略包括為每個所述運行對象分配的目標硬件資源，以使得每個所述運行對象基于所分配的目標硬件資源進行性能加速；所述設備狀態(tài)信息包括：至少一種硬件資源的空閑資源。
8、根據(jù)本公開的第三方面，提供了一種電子設備，包括：
9、至少一個處理器；以及
10、與所述至少一個處理器通信連接的存儲器；其中，
11、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本公開所述的方法。
12、根據(jù)本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，所述計算機指令用于使所述計算機執(zhí)行本公開所述的方法。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種資源分配方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標分配策略還包括：預留資源量；
3.根據(jù)權(quán)利要求1所述的方法，確定至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求，包括：
4.根據(jù)權(quán)利要求1所述的方法，所述設備狀態(tài)信息還包括：電池電量和/或性能模式；
5.根據(jù)權(quán)利要求1所述的方法，基于至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求、設備狀態(tài)信息和第二類型的對象所需的資源需求，確定至少一個所述第一類型的運行對象的目標分配策略，包括：
6.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的方法，所述目標硬件資源包括：資源最大值和資源最小值；
8.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：
9.一種資源調(diào)度裝置，所述裝置包括：
10.一種電子設備，包括：
【技術特征摘要】
1.一種資源分配方法，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標分配策略還包括：預留資源量；
3.根據(jù)權(quán)利要求1所述的方法，確定至少一個第一類型的運行對象執(zhí)行任務所需的硬件資源需求，包括：
4.根據(jù)權(quán)利要求1所述的方法，所述設備狀態(tài)信息還包括：電池電量和/或性能模式；
5.根據(jù)權(quán)利要求1所述的方法，基于至少一個第一類型的運行對象執(zhí)行任務所需的...
【專利技術屬性】
技術研發(fā)人員：單玉飛，
申請(專利權(quán))人：聯(lián)想北京有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。