資源服務(wù)裝置、資源調(diào)度方法和裝置制造方法及圖紙

本申請(qǐng)實(shí)施例公開了一種圖形處理裝置。其中，邏輯單元是最小的GPU資源調(diào)度單元，該圖形處理裝置映射至少一個(gè)GPU多進(jìn)程代理服務(wù)器GPU?MPS，GPU?MPS為調(diào)度該圖形處理裝置的代理，GPU?MPS的一個(gè)客戶端可調(diào)度至少一個(gè)邏輯單元，一個(gè)任務(wù)進(jìn)程對(duì)應(yīng)為GPU?MPS的一個(gè)客戶端，該圖形處理裝置可包含的最大邏輯單元數(shù)為M×N×K個(gè)；M為GPU?MPS的一個(gè)客戶端可調(diào)度的邏輯單元數(shù)，N為一個(gè)GPU?MPS包含的最大客戶端數(shù)，K為該圖形處理裝置映射的GPU?MPS數(shù)。通過本申請(qǐng)，可以在提高GPU資源的利用率的同時(shí)，也能為該圖形處理裝置節(jié)約建立和切換GPU上下文的開銷。本申請(qǐng)還公開了一種資源服務(wù)裝置、資源調(diào)度方法和裝置。

Graphics processing device, resource service device, resource scheduling method and device

The embodiment of the invention discloses a graphic processing device. The logic unit is the smallest unit of GPU resource scheduling, the graphics processing apparatus for mapping of at least one GPU multi process GPU-MPS proxy server, GPU-MPS scheduling is the agent of the graphics processing unit, a GPU-MPS client can dispatch at least one logical unit, a task corresponds to a client GPU-MPS, the graphics maximum number of logical unit processing device can be included as M * N * K; the number of logic unit M is a client of GPU-MPS scheduling, N is the maximum number of clients included in a GPU-MPS, K for the graphics processing unit mapping GPU-MPS number. Through the application, the utilization rate of the GPU resource can be improved, and the cost of establishing and switching the GPU context can be saved for the graphics processing device. The invention also discloses a resource service device, a resource scheduling method and a device.

【技術(shù)實(shí)現(xiàn)步驟摘要】

本申請(qǐng)涉及計(jì)算機(jī)應(yīng)用領(lǐng)域，特別是涉及圖形處理裝置、資源服務(wù)裝置、資源調(diào)度方法和裝置。
技術(shù)介紹
由于在現(xiàn)代的計(jì)算機(jī)中，圖形的處理越來越重要，因此，需要一種專門用于圖形處理的核心處理器，而圖形處理器(GPU，Graphics Processing Unit)就是一種專門用于圖形處理的器件。與此同時(shí)，把GPU的強(qiáng)大的計(jì)算能力處理通用計(jì)算(GPGPU，General Purpose GPU)也日益盛行，用于各種高性能計(jì)算集群中。目前，在現(xiàn)有的GPU集群技術(shù)中，當(dāng)處理用戶提交的作業(yè)(job)時(shí)，主要存在兩種GPU資源的調(diào)度方法。其中，一種調(diào)度方法是，資源調(diào)度器將一個(gè)GPU(如，一張GPU卡)只調(diào)度給一個(gè)用戶的作業(yè)。另一種調(diào)度方法是，資源調(diào)度器將一個(gè)GPU同時(shí)調(diào)度給多個(gè)用戶的作業(yè)。在實(shí)現(xiàn)本申請(qǐng)的過程中，本申請(qǐng)的專利技術(shù)人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：在第一種調(diào)度方法中，由于一個(gè)GPU只被一個(gè)用戶的作業(yè)獨(dú)占，而一個(gè)用戶的作業(yè)很可能無法充分利用一個(gè)GPU的資源，因此會(huì)出現(xiàn)GPU資源利用率低的問題。而在第二種調(diào)度方法中，由于一個(gè)GPU是被多個(gè)用戶的作業(yè)共享的，而多個(gè)用戶更有可能會(huì)充分利用一個(gè)GPU的資源，因此一定程度上提高了GPU資源的利用率。雖然第二種調(diào)度方法可以提高GPU資源的利用率，但是，當(dāng)多個(gè)用戶的作業(yè)共享一個(gè)GPU時(shí)，多個(gè)用戶的作業(yè)同時(shí)開啟的進(jìn)程數(shù)可能會(huì)很大，對(duì)于每一個(gè)進(jìn)程，GPU都要為其建立一個(gè)GPU上下文，因此，在GPU上建立的GPU上下文的數(shù)量也就可能非常大，并且，還會(huì)在數(shù)量眾多的GPU上下文中進(jìn)行切換，建立和切換GPU上下文會(huì)使GPU資源產(chǎn)生巨大開銷，從而導(dǎo)致過度共享GPU問題。
技術(shù)實(shí)現(xiàn)思路
為了解決上述技術(shù)問題，本申請(qǐng)實(shí)施例提供了圖形處理裝置、資源服務(wù)裝置、資源調(diào)度方法和裝置，以在提高GPU資源的利用率的同時(shí)，也能節(jié)約建立和切換GPU上下文的開銷。進(jìn)一步的，盡可能地避免GPU的過度共享的問題。本申請(qǐng)實(shí)施例公開了如下技術(shù)方案：一種圖形處理裝置，在所述圖形處理裝置中，邏輯單元是最小的圖形處理器GPU資源調(diào)度單元，所述圖形處理裝置映射至少一個(gè)GPU多進(jìn)程代理服務(wù)器GPU-MPS，所述GPU-MPS為調(diào)度所述圖形處理裝置的代理，GPU-MPS的一個(gè)客戶端可調(diào)度至少一個(gè)所述邏輯單元，一個(gè)任務(wù)進(jìn)程為GPU-MPS的一個(gè)客戶端，所述圖形處理裝置可包含的最大邏輯單元數(shù)為M×N×K個(gè)；其中，M為GPU-MPS的一個(gè)客戶端可調(diào)度的邏輯單元數(shù)，N為一個(gè)GPU-MPS包含的最大客戶端數(shù)，K為所述圖形處理裝置映射的GPU-MPS數(shù)，M、N和K均為非零正整數(shù)。優(yōu)選的，GPU-MPS的一個(gè)客戶端可調(diào)度一個(gè)邏輯單元。優(yōu)選的，所述圖形處理裝置映射一個(gè)GPU多進(jìn)程代理服務(wù)器。優(yōu)選的，所述圖形處理裝置包含M×N×K個(gè)邏輯單元。一種資源服務(wù)裝置，包括至少一個(gè)上述任意一項(xiàng)所述的圖形處理裝置、監(jiān)測(cè)單元和第一通信單元，其中，監(jiān)測(cè)單元，用于在監(jiān)測(cè)周期到達(dá)時(shí)，監(jiān)測(cè)當(dāng)前周期內(nèi)所述圖形處理裝置中剩余的邏輯單元的數(shù)量；第一通信單元，用于將監(jiān)測(cè)到的數(shù)據(jù)發(fā)送給集群中的監(jiān)控節(jié)點(diǎn)，以便所述監(jiān)控節(jié)點(diǎn)在更新周期到達(dá)時(shí)利用監(jiān)測(cè)到的數(shù)據(jù)原子更新預(yù)設(shè)的資源動(dòng)態(tài)表；其中，所述資源動(dòng)態(tài)表至少包含圖形處理裝置中剩余的邏輯單元的數(shù)量。優(yōu)選的，所述資源服務(wù)裝置為集群中的一個(gè)從節(jié)點(diǎn)。優(yōu)選的，所述資源動(dòng)態(tài)表還包含圖形處理裝置的實(shí)際使用率；所述監(jiān)測(cè)單元還用于，在監(jiān)測(cè)周期到達(dá)時(shí)，監(jiān)測(cè)當(dāng)前周期內(nèi)本地的圖形處理裝置的實(shí)際使用率。一種資源調(diào)度方法，應(yīng)用在上述任意一項(xiàng)所述的資源服務(wù)裝置，所述方法包括：接收為目標(biāo)作業(yè)調(diào)度圖形處理器GPU資源的調(diào)度請(qǐng)求，所述調(diào)度請(qǐng)求中指示了請(qǐng)求調(diào)度的邏輯單元的數(shù)量；響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找剩余的邏輯單元的數(shù)量不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元；其中，所述資源動(dòng)態(tài)表至少包含圖形處理裝置中剩余的邏輯單元的數(shù)量。優(yōu)選的，所述資源動(dòng)態(tài)表還包含圖形處理裝置的實(shí)際使用率；所述響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找剩余的邏輯單元的數(shù)量不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元為：響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找實(shí)際使用率小于或等于預(yù)設(shè)的最大閾值且剩余的邏輯單元的個(gè)數(shù)不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元。優(yōu)選的，所述資源動(dòng)態(tài)表還包含資源服務(wù)器集群中的資源服務(wù)裝置的工作狀態(tài)和資源服務(wù)裝置中的圖形處理裝置的工作狀態(tài)；所述方法還包括：在更新周期到達(dá)時(shí)，原子更新所述資源動(dòng)態(tài)表中資源服務(wù)裝置的工作狀態(tài)和圖形處理裝置的工作狀態(tài)，所述工作狀態(tài)包括工作和非工作。一種資源調(diào)度裝置，其特征在于，應(yīng)用在上述任意一項(xiàng)所述的資源服務(wù)裝置，包括：第二通信單元，用于接收為目標(biāo)作業(yè)調(diào)度圖形處理器GPU資源的調(diào)度請(qǐng)求，所述調(diào)度請(qǐng)求中指示了請(qǐng)求調(diào)度的邏輯單元的數(shù)量；響應(yīng)單元，用于響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找剩余的邏輯單元的數(shù)量不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元；其中，所述資源動(dòng)態(tài)表至少包含圖形處理裝置中剩余的邏輯單元的數(shù)量。優(yōu)選的，所述資源動(dòng)態(tài)表還包含圖形處理裝置的實(shí)際使用率；所述響應(yīng)單元具體用于，響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找實(shí)際使用率小于或等于預(yù)設(shè)的最大閾值且剩余的邏輯單元的個(gè)數(shù)不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元。優(yōu)選的，所述資源動(dòng)態(tài)表還包含資源服務(wù)器集群中的資源服務(wù)裝置的工作狀態(tài)和資源服務(wù)裝置中的圖形處理裝置的工作狀態(tài)；所述裝置還包括：更新單元，用于在更新周期到達(dá)時(shí)，原子更新所述資源動(dòng)態(tài)表中資源服務(wù)裝置的工作狀態(tài)和圖形處理裝置的工作狀態(tài)，所述工作狀態(tài)包括工作和非工作。由上述實(shí)施例可以看出，與現(xiàn)有技術(shù)相比，本申請(qǐng)的優(yōu)點(diǎn)在于：由于邏輯單元是最小的GPU資源調(diào)度單元，因此，可以將一個(gè)圖形處理裝置中不同的邏輯單元調(diào)度給不同的任務(wù)進(jìn)程，使不同的用戶作業(yè)共同占用同一個(gè)圖形處理裝置，保證圖形處理裝置中GPU資源的利用率。同時(shí)，本申請(qǐng)利用GPU-MPS技術(shù)，使一個(gè)任務(wù)進(jìn)程成為GPU-MPS的一個(gè)客戶端，這樣，GPU-MPS就可以像管理客戶端一樣管理任務(wù)進(jìn)程。由于一個(gè)GPU-MPS中的所有客戶端共享一個(gè)GPU上下文，因此，在一個(gè)GPU多進(jìn)程代理服務(wù)器中，作為其客戶端的多個(gè)任務(wù)進(jìn)程也就只需共享一個(gè)GPU上下文。另外，在資源調(diào)度時(shí)，基于各GPU的實(shí)際使用率調(diào)度邏輯單元，還可以避免出現(xiàn)GPU過度共享的問題。附圖說明為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1示意性地示出了根據(jù)本申請(qǐng)的實(shí)施方式的一種圖形處理裝置的結(jié)構(gòu)圖；圖2示意性地示出了根據(jù)本申請(qǐng)的實(shí)施方式的另一種圖形處理裝置的結(jié)構(gòu)圖；圖3示意性地示出了根據(jù)本申請(qǐng)的實(shí)施本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種圖形處理裝置，其特征在于，在所述圖形處理裝置中，邏輯單元是最小的圖形處理器GPU資源調(diào)度單元，所述圖形處理裝置映射至少一個(gè)GPU多進(jìn)程代理服務(wù)器GPU?MPS，所述GPU?MPS為調(diào)度所述圖形處理裝置的代理，GPU?MPS的一個(gè)客戶端可調(diào)度至少一個(gè)所述邏輯單元，一個(gè)任務(wù)進(jìn)程為GPU?MPS的一個(gè)客戶端，所述圖形處理裝置可包含的最大邏輯單元數(shù)為M×N×K個(gè)；其中，M為GPU?MPS的一個(gè)客戶端可調(diào)度的邏輯單元數(shù)，N為一個(gè)GPU?MPS包含的最大客戶端數(shù)，K為所述圖形處理裝置映射的GPU?MPS數(shù)，M、N和K均為非零正整數(shù)。

【技術(shù)特征摘要】
1.一種圖形處理裝置，其特征在于，在所述圖形處理裝置中，邏輯單元是最小的圖形處理器GPU資源調(diào)度單元，所述圖形處理裝置映射至少一個(gè)GPU多進(jìn)程代理服務(wù)器GPU-MPS，所述GPU-MPS為調(diào)度所述圖形處理裝置的代理，GPU-MPS的一個(gè)客戶端可調(diào)度至少一個(gè)所述邏輯單元，一個(gè)任務(wù)進(jìn)程為GPU-MPS的一個(gè)客戶端，所述圖形處理裝置可包含的最大邏輯單元數(shù)為M×N×K個(gè)；其中，M為GPU-MPS的一個(gè)客戶端可調(diào)度的邏輯單元數(shù)，N為一個(gè)GPU-MPS包含的最大客戶端數(shù)，K為所述圖形處理裝置映射的GPU-MPS數(shù)，M、N和K均為非零正整數(shù)。2.根據(jù)權(quán)利要求1所述的圖形處理裝置，其特征在于，GPU-MPS的一個(gè)客戶端可調(diào)度一個(gè)邏輯單元。3.根據(jù)權(quán)利要求1或2所述的圖形處理裝置，其特征在于，所述圖形處理裝置映射一個(gè)GPU多進(jìn)程代理服務(wù)器。4.根據(jù)權(quán)利要求1所述的圖形處理裝置，其特征在于，所述圖形處理裝置包含M×N×K個(gè)邏輯單元。5.一種資源服務(wù)裝置，其特征在于，包括至少一個(gè)如權(quán)利要求1至4中任意一項(xiàng)所述的圖形處理裝置、監(jiān)測(cè)單元和第一通信單元，其中，監(jiān)測(cè)單元，用于在監(jiān)測(cè)周期到達(dá)時(shí)，監(jiān)測(cè)當(dāng)前周期內(nèi)所述圖形處理裝置中剩余的邏輯單元的數(shù)量；第一通信單元，用于將監(jiān)測(cè)到的數(shù)據(jù)發(fā)送給集群中的監(jiān)控節(jié)點(diǎn)，以便所述監(jiān)控節(jié)點(diǎn)在更新周期到達(dá)時(shí)利用監(jiān)測(cè)到的數(shù)據(jù)原子更新預(yù)設(shè)的資源動(dòng)態(tài)表；其中，所述資源動(dòng)態(tài)表至少包含圖形處理裝置中剩余的邏輯單元的數(shù)量。6.根據(jù)權(quán)利要求5所述的資源服務(wù)裝置，其特征在于，所述資源服務(wù)裝置為集群中的一個(gè)從節(jié)點(diǎn)。7.根據(jù)權(quán)利要求5所述的資源服務(wù)裝置，其特征在于，所述資源動(dòng)態(tài)表還包含圖形處理裝置的實(shí)際使用率；所述監(jiān)測(cè)單元還用于，在監(jiān)測(cè)周期到達(dá)時(shí)，監(jiān)測(cè)當(dāng)前周期內(nèi)本地的圖形處理裝置的實(shí)際使用率。8.一種資源調(diào)度方法，其特征在于，應(yīng)用在如權(quán)利要求5至7中任意一
\t項(xiàng)所述的資源服務(wù)裝置，所述方法包括：接收為目標(biāo)作業(yè)調(diào)度圖形處理器GPU資源的調(diào)度請(qǐng)求，所述調(diào)度請(qǐng)求中指示了請(qǐng)求調(diào)度的邏輯單元的數(shù)量；響應(yīng)于所述調(diào)度請(qǐng)求，從預(yù)設(shè)的資源動(dòng)態(tài)表中查找剩余的邏輯單元的數(shù)量不為零的圖形處理裝置，并按照所述調(diào)度請(qǐng)求指示的數(shù)量，從查找到的圖形處理裝置中為所述目標(biāo)作業(yè)調(diào)度邏輯單元；其中，所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孔建鋼，
申請(qǐng)(專利權(quán))人：阿里巴巴集團(tuán)控股有限公司，
類型：發(fā)明
國別省市：開曼群島;KY