【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)實(shí)施例涉及計(jì)算機(jī)，尤其涉及一種cuda資源獲取方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。
技術(shù)介紹
1、深度學(xué)習(xí)模型的訓(xùn)練需要強(qiáng)大的算力支持。算力是對(duì)數(shù)據(jù)的處理能力，已成為深度學(xué)習(xí)模型發(fā)展的關(guān)鍵。傳統(tǒng)算力面臨挑戰(zhàn)，cpu無(wú)法滿足大數(shù)據(jù)并行場(chǎng)景，gpu(graphicsprocessing?unit，圖形處理器)由于強(qiáng)大的并行處理能力逐漸變?yōu)樗懔Φ闹饕握摺?/p>
2、cuda(compute?unified?device?architecture，運(yùn)算平臺(tái))是一種通用并行計(jì)算架構(gòu)，該架構(gòu)使gpu能夠解決復(fù)雜的計(jì)算問(wèn)題。
3、對(duì)于計(jì)算能力強(qiáng)大的gpu，一些小型ai推理任務(wù)如果獨(dú)占該gpu資源，就會(huì)造成資源浪費(fèi)，這就需要將gpu虛擬切片劃分，然后多個(gè)任務(wù)共同使用同一個(gè)gpu資源，以充分利用gpu算力資源。
4、通過(guò)上述方式實(shí)現(xiàn)gpu資源的調(diào)度，是在gpu驅(qū)動(dòng)之上進(jìn)行虛擬化，通過(guò)軟件全虛擬化的方式提供虛擬化cuda支持，該額外的軟件層需要處理虛擬機(jī)和物理硬件之間的交互，增加了處理的復(fù)雜性和時(shí)間成本，開銷較大，并且調(diào)度能力通常受限于虛擬化軟件，如固定的vgpu配置、固定的資源分配比例等。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)實(shí)施例提供一種cuda資源獲取方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，以解決上述問(wèn)題中的至少一種。
2、根據(jù)本專利技術(shù)的一方面，提供了一種cuda資源獲取方法，由目標(biāo)服務(wù)端執(zhí)行，所述目標(biāo)服務(wù)端包括：本地服務(wù)端或遠(yuǎn)程服務(wù)端，所述cuda資源獲取方法
3、接收中間設(shè)備發(fā)送的資源請(qǐng)求，其中，所述資源請(qǐng)求為客戶端發(fā)送至中間件的資源請(qǐng)求，所述資源請(qǐng)求攜帶目標(biāo)服務(wù)端地址；
4、通過(guò)vcuda接口攔截資源請(qǐng)求，將資源請(qǐng)求發(fā)送至vcuda庫(kù)；
5、通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型；
6、根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda；
7、將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源。
8、根據(jù)本專利技術(shù)的另一方面，提供了一種cuda資源獲取方法，由中間設(shè)備執(zhí)行，所述cuda資源獲取方法包括：
9、接收客戶端發(fā)送的資源請(qǐng)求，其中，所述資源請(qǐng)求攜帶目標(biāo)服務(wù)端地址；
10、將資源請(qǐng)求發(fā)送至目標(biāo)服務(wù)端，以使目標(biāo)服務(wù)端通過(guò)vcuda接口攔截資源請(qǐng)求，將資源請(qǐng)求發(fā)送至vcuda庫(kù)，通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型，根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda，將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源。
11、根據(jù)本專利技術(shù)的另一方面，提供了一種cuda資源請(qǐng)求裝置，配置在目標(biāo)服務(wù)端中，所述目標(biāo)服務(wù)端包括：本地服務(wù)端或遠(yuǎn)程服務(wù)端，該cuda資源請(qǐng)求裝置包括：
12、第一資源請(qǐng)求接收模塊，用于接收中間設(shè)備發(fā)送的資源請(qǐng)求，其中，所述資源請(qǐng)求為客戶端發(fā)送至中間件的資源請(qǐng)求，所述資源請(qǐng)求攜帶目標(biāo)服務(wù)端地址；
13、第一資源請(qǐng)求發(fā)送模塊，用于通過(guò)vcuda接口攔截資源請(qǐng)求，將資源請(qǐng)求發(fā)送至vcuda庫(kù)；
14、資源請(qǐng)求解析模塊，用于通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型；
15、目標(biāo)cuda確定模塊，用于根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda；
16、cuda資源獲取模塊，用于將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源。
17、根據(jù)本專利技術(shù)的另一方面，提供了一種cuda資源請(qǐng)求裝置，配置在中間設(shè)備中，該cuda資源請(qǐng)求裝置包括：
18、第二資源請(qǐng)求接收模塊，用于接收客戶端發(fā)送的資源請(qǐng)求，其中，所述資源請(qǐng)求攜帶目標(biāo)服務(wù)端地址；
19、第二資源請(qǐng)求發(fā)送模塊，用于將資源請(qǐng)求發(fā)送至目標(biāo)服務(wù)端，以使目標(biāo)服務(wù)端通過(guò)vcuda接口攔截資源請(qǐng)求，將資源請(qǐng)求發(fā)送至vcuda庫(kù)，通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型，根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda，將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源。
20、根據(jù)本專利技術(shù)的另一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：
21、至少一個(gè)處理器；以及
22、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，
23、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本專利技術(shù)任一實(shí)施例所述的cuda資源獲取方法。
24、根據(jù)本專利技術(shù)的另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)本專利技術(shù)任一實(shí)施例所述的cuda資源獲取方法。
25、根據(jù)本專利技術(shù)的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本專利技術(shù)實(shí)施例中任一所述的cuda資源獲取方法。
26、本專利技術(shù)實(shí)施例通過(guò)客戶端向中間設(shè)備發(fā)送資源請(qǐng)求，中間設(shè)備根據(jù)資源請(qǐng)求攜帶的目標(biāo)服務(wù)端的地址，將資源請(qǐng)求發(fā)送至目標(biāo)服務(wù)端，目標(biāo)服務(wù)端接收資源請(qǐng)求；通過(guò)vcuda接口攔截資源請(qǐng)求，將資源請(qǐng)求發(fā)送至vcuda庫(kù)；通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型；根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda；將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源，解決了在gpu驅(qū)動(dòng)之上進(jìn)行虛擬化，通過(guò)軟件全虛擬化的方式提供虛擬化cuda支持，導(dǎo)致增加了處理的復(fù)雜性和時(shí)間成本，開銷較大，并且調(diào)度能力通常受限于虛擬化軟件的問(wèn)題，提升了cuda資源的調(diào)度和分配能力。
27、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本專利技術(shù)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本專利技術(shù)的范圍。本專利技術(shù)的其它特征將通過(guò)以下的說(shuō)明書而變得容易理解。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種CUDA資源獲取方法，其特征在于，由目標(biāo)服務(wù)端執(zhí)行，所述目標(biāo)服務(wù)端包括：本地服務(wù)端或遠(yuǎn)程服務(wù)端，所述CUDA資源獲取方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)CUDA，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，將資源請(qǐng)求發(fā)送至目標(biāo)CUDA，以獲取CUDA資源，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，目標(biāo)服務(wù)端為遠(yuǎn)程服務(wù)端；
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)VCUDA庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將資源請(qǐng)求發(fā)送至目標(biāo)CUDA，以獲取CUDA資源，包括：
7.一種CUDA資源獲取方法，其特征在于，由中間設(shè)備執(zhí)行，所述CUDA資源獲取方法包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，接收客戶端發(fā)送的資源請(qǐng)求，包括：
9.一種CUDA資源請(qǐng)求裝置，其特征在于，配置在目標(biāo)服務(wù)端中，所述目標(biāo)服務(wù)端包括：本地服務(wù)端或遠(yuǎn)程服務(wù)端，所述CUDA資源請(qǐng)求
10.一種CUDA資源獲取裝置，其特征在于，配置在中間設(shè)備中，所述CUDA資源獲取裝置包括：
11.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：
12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-8中任一項(xiàng)所述的CUDA資源獲取方法。
13.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的CUDA資源獲取方法。
...【技術(shù)特征摘要】
1.一種cuda資源獲取方法，其特征在于，由目標(biāo)服務(wù)端執(zhí)行，所述目標(biāo)服務(wù)端包括：本地服務(wù)端或遠(yuǎn)程服務(wù)端，所述cuda資源獲取方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)資源請(qǐng)求類型和資源請(qǐng)求確定目標(biāo)cuda，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，目標(biāo)服務(wù)端為遠(yuǎn)程服務(wù)端；
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)vcuda庫(kù)對(duì)所述資源請(qǐng)求進(jìn)行解析，得到資源請(qǐng)求類型，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將資源請(qǐng)求發(fā)送至目標(biāo)cuda，以獲取cuda資源，包括：
7.一種cuda資源獲取方法，其特征在于，由中間設(shè)備執(zhí)行，所述cuda資源獲取方法包括：...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：修杰，汪鑄杰，李榮華，陳光，李曙光，周航，王寧，盧麗婧，陳紅麗，
申請(qǐng)(專利權(quán))人：中國(guó)第一汽車股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。