【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種加速器、數(shù)據(jù)處理方法及相關(guān)設(shè)備。
技術(shù)介紹
1、隨著高性能計(jì)算(high?performance?computing，hpc)和人工智能(artificialintelligence，ai)技術(shù)的方法的發(fā)展，計(jì)算設(shè)備需要處理的數(shù)據(jù)的規(guī)模也在不斷增大，為例解決大規(guī)模數(shù)據(jù)的計(jì)算問題，分布式計(jì)算應(yīng)運(yùn)而生。當(dāng)前的分布式計(jì)算領(lǐng)域中，分布式計(jì)算將計(jì)算任務(wù)分配給多個(gè)計(jì)算設(shè)備執(zhí)行，在進(jìn)行分布式計(jì)算的過程中，各個(gè)計(jì)算設(shè)備之間會(huì)涉及到數(shù)據(jù)的交互，集合通信在分布式計(jì)算中有著大量且重要的應(yīng)用，例如全局規(guī)約(allreduce)、全局收集(allgather)等集合通信方法是實(shí)現(xiàn)分布式計(jì)算中多個(gè)計(jì)算設(shè)備之間進(jìn)行數(shù)據(jù)交互的常用方法。但是當(dāng)前的集合通信方式存在資源利用率不高的問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┮环N加速器、數(shù)據(jù)處理方法和相關(guān)設(shè)備，能夠提高加速器的資源利用率，提高分布式計(jì)算的效率。
2、第一方面，本申請(qǐng)?zhí)峁┮环N加速器，該加速器包括通信調(diào)度引擎、通信單元，計(jì)算調(diào)度引擎和計(jì)算單元。該通信調(diào)度引擎用于獲取模型推理任務(wù)或模型訓(xùn)練任務(wù)對(duì)應(yīng)的中間表示，然后根據(jù)中間表示調(diào)用通信單元執(zhí)行一個(gè)通信任務(wù)所包括的多個(gè)通信算子中的第一通信算子，并調(diào)用計(jì)算單元執(zhí)行該通信任務(wù)中的計(jì)算算子，或者通知計(jì)算調(diào)度引擎使得計(jì)算調(diào)度引擎調(diào)用計(jì)算單元執(zhí)行該通信任務(wù)中的計(jì)算算子。上述中間表示包括上述通信任務(wù)，該通信任務(wù)指示執(zhí)行一次集合通信。
3、用于實(shí)現(xiàn)集合通信的通信任務(wù)中既包括用
4、在一種可能的實(shí)現(xiàn)方式中，上述中間表示還包括計(jì)算任務(wù)，計(jì)算調(diào)度引擎用于根據(jù)中間表示調(diào)用計(jì)算單元執(zhí)行計(jì)算任務(wù)。中間表示用于實(shí)現(xiàn)模型推理任務(wù)或模型訓(xùn)練任務(wù)，中間表示所對(duì)應(yīng)的任務(wù)包括計(jì)算任務(wù)和通信任務(wù)，計(jì)算任務(wù)通過計(jì)算單元執(zhí)行以生成需要傳輸?shù)臄?shù)據(jù)，通信任務(wù)用于對(duì)計(jì)算任務(wù)生成的數(shù)據(jù)進(jìn)行集合通信，實(shí)現(xiàn)不同加速器之間的數(shù)據(jù)的聚合。
5、在一種可能的實(shí)現(xiàn)方式中，通信調(diào)度引擎，還用于在執(zhí)行完通信任務(wù)的情況下，向計(jì)算調(diào)度引擎發(fā)送通知信息；計(jì)算調(diào)度引擎，還用于在接收到通知信息的情況下，執(zhí)行中間表示中通信任務(wù)之后的計(jì)算任務(wù)。
6、在一種可能的實(shí)現(xiàn)方式中，上述計(jì)算調(diào)度引擎，還用于在執(zhí)行完計(jì)算任務(wù)的情況下，向通信調(diào)度引擎發(fā)送通知信息；通信調(diào)度引擎，還用于在接收到通知信息的情況下，執(zhí)行中間表示中計(jì)算任務(wù)之后的通信任務(wù)。
7、通信調(diào)度引擎用于執(zhí)行通信任務(wù)，計(jì)算調(diào)度引擎用于執(zhí)行計(jì)算任務(wù)，通信調(diào)度引擎和計(jì)算調(diào)度引擎在執(zhí)行完各自對(duì)應(yīng)的任務(wù)后，會(huì)向另一個(gè)調(diào)度引擎發(fā)送通知信息以通知另一個(gè)調(diào)度引擎執(zhí)行對(duì)應(yīng)的任務(wù)。
8、在一種可能的實(shí)現(xiàn)方式中，上述中間表示中的通信任務(wù)由處理器調(diào)用第一函數(shù)產(chǎn)生，第一函數(shù)的輸入為集合通信標(biāo)識(shí)，例如集合通信的名稱。
9、在一種可能的實(shí)現(xiàn)方式中，上述通信任務(wù)為全局規(guī)約allreduce或全局收集allgather。
10、在一種可能的實(shí)現(xiàn)方式中，在通信任務(wù)為allreduce的情況下，上述計(jì)算算子包括量化算子和反量化算子；其中，每個(gè)量化算子指示對(duì)加速器中的部分?jǐn)?shù)據(jù)進(jìn)行量化操作。
11、在一種可能的實(shí)現(xiàn)方式中，在通信任務(wù)為allgather的情況下，上述計(jì)算算子包括矩陣乘算子。
12、在一種可能的實(shí)現(xiàn)方式中，上述加速器為圖形處理器(graphics?processingunit，gpu)、神經(jīng)網(wǎng)絡(luò)處理器(neural?network?processing?unit，npu)、張量處理器(tensorprocessing?unit，tpu)或?qū)Ｓ胊i處理芯片。
13、第二方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法，應(yīng)用于計(jì)算設(shè)備，該計(jì)算設(shè)備包括通信調(diào)度引擎、通信單元、計(jì)算調(diào)度引擎和計(jì)算單元，所述方法包括：通信調(diào)度引擎獲取模型推理任務(wù)或模型訓(xùn)練任務(wù)對(duì)應(yīng)的中間表示，然后根據(jù)中間表示調(diào)用通信單元執(zhí)行一個(gè)通信任務(wù)所包括的多個(gè)通信算子中的第一通信算子，并調(diào)用計(jì)算單元執(zhí)行該通信任務(wù)中的計(jì)算算子，或者通知計(jì)算調(diào)度引擎使得計(jì)算調(diào)度引擎調(diào)用計(jì)算單元執(zhí)行該通信任務(wù)中的計(jì)算算子。上述中間表示包括上述通信任務(wù)，該通信任務(wù)指示執(zhí)行一次集合通信。
14、在一種可能的實(shí)現(xiàn)方式中，上述中間表示還包括計(jì)算任務(wù)，上述方法還包括：計(jì)算調(diào)度引擎根據(jù)上述中間表示調(diào)用計(jì)算單元執(zhí)行計(jì)算任務(wù)。
15、在一種可能的實(shí)現(xiàn)方式中，上述計(jì)算調(diào)度引擎根據(jù)中間表示調(diào)用計(jì)算單元執(zhí)行計(jì)算任務(wù)，包括：通信調(diào)度引擎在執(zhí)行完通信任務(wù)的情況下，向計(jì)算調(diào)度引擎發(fā)送通知信息；計(jì)算調(diào)度引擎在接收到通知信息的情況下，執(zhí)行中間表示中通信任務(wù)之后的計(jì)算任務(wù)。
16、在一種可能的實(shí)現(xiàn)方式中，上述方法還包括：計(jì)算調(diào)度引擎在執(zhí)行完計(jì)算任務(wù)的情況下，向通信調(diào)度引擎發(fā)送通知信息；通信調(diào)度引擎在接收到通知信息的情況下，執(zhí)行中間表示中所述計(jì)算任務(wù)之后的通信任務(wù)。
17、在一種可能的實(shí)現(xiàn)方式中，上述中間表示中的通信任務(wù)由處理器調(diào)用第一函數(shù)產(chǎn)生，第一函數(shù)的輸入為集合通信標(biāo)識(shí)。
18、在一種可能的實(shí)現(xiàn)方式中，上述通信任務(wù)為全局規(guī)約allreduce或全局收集allgather。
19、在一種可能的實(shí)現(xiàn)方式中，在通信任務(wù)為allreduce的情況下，上述計(jì)算算子包括量化算子和反量化算子；其中，每個(gè)量化算子指示對(duì)加速器中的部分?jǐn)?shù)據(jù)進(jìn)行量化操作。
20、在一種可能的實(shí)現(xiàn)方式中，在通信任務(wù)為allgather的情況下，上述計(jì)算算子包括矩陣乘算子。
21、在一種可能的實(shí)現(xiàn)方式中，上述計(jì)算設(shè)備包括加速器，計(jì)算單元和通信單元位于加速器；該加速器為gpu、npu、tpu或?qū)Ｓ萌斯ぶ悄躠i處理芯片。
22、第三方面，本申請(qǐng)?zhí)峁┮环N計(jì)算設(shè)備，該計(jì)算設(shè)備包括處理器、加速器和存儲(chǔ)器，存儲(chǔ)器用于存儲(chǔ)指令，處理器用于執(zhí)行所述指令，當(dāng)處理器執(zhí)行指令時(shí)，調(diào)用加速器實(shí)現(xiàn)如第二方面或第二方面任意一種可能的實(shí)現(xiàn)方式中所述的方法。
23、第四方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)程序產(chǎn)品，當(dāng)該計(jì)算機(jī)程序產(chǎn)品在服務(wù)器上運(yùn)行時(shí)，使得服務(wù)器執(zhí)行第二方面或第二方面任一種可能實(shí)現(xiàn)方式中所述的方法。
24、第五方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)所述指令在服務(wù)器上運(yùn)行時(shí)，使得服務(wù)器執(zhí)行第二方面或第二方面任一種可能實(shí)現(xiàn)方式中所述的方法。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種加速器，其特征在于，包括通信調(diào)度引擎、通信單元，計(jì)算調(diào)度引擎和計(jì)算單元，其中，
2.根據(jù)權(quán)利要求1所述的加速器，其特征在于，所述中間表示還包括計(jì)算任務(wù)，
3.根據(jù)權(quán)利要求2所述的加速器，其特征在于，
4.根據(jù)權(quán)利要求2所述的加速器，其特征在于，
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的加速器，其特征在于，所述中間表示中的通信任務(wù)由處理器調(diào)用第一函數(shù)產(chǎn)生，所述第一函數(shù)的輸入為集合通信標(biāo)識(shí)。
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的加速器，其特征在于，所述通信任務(wù)為全局規(guī)約allreduce或全局收集allgather。
7.根據(jù)權(quán)利要求6所述的加速器，其特征在于，在所述通信任務(wù)為allreduce的情況下，所述計(jì)算算子包括量化算子和反量化算子；其中，每個(gè)量化算子用于對(duì)所述加速器中的部分?jǐn)?shù)據(jù)進(jìn)行量化操作。
8.根據(jù)權(quán)利要求6所述的加速器，其特征在于，在所述通信任務(wù)為allgather的情況下，所述計(jì)算算子包括矩陣乘算子。
9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的加速器，其特征在于，所述加速器為圖像處
10.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于計(jì)算設(shè)備，所述計(jì)算設(shè)備包括通信調(diào)度引擎、通信單元、計(jì)算調(diào)度引擎和計(jì)算單元，所述方法包括：
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述中間表示還包括計(jì)算任務(wù)，所述方法還包括：
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述計(jì)算調(diào)度引擎根據(jù)所述中間表示調(diào)用所述計(jì)算單元執(zhí)行所述計(jì)算任務(wù)，包括：
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述方法還包括：
14.根據(jù)權(quán)利要求10-13任一項(xiàng)所述的方法，其特征在于，所述中間表示中的通信任務(wù)由處理器調(diào)用第一函數(shù)產(chǎn)生，所述第一函數(shù)的輸入為集合通信標(biāo)識(shí)。
15.根據(jù)權(quán)利要求10-14任一項(xiàng)所述的方法，其特征在于，所述通信任務(wù)為全局規(guī)約allreduce或全局收集allgather。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，在所述通信任務(wù)為allreduce的情況下，所述計(jì)算算子包括量化算子和反量化算子；其中，每個(gè)量化算子用于對(duì)所述加速器中的部分?jǐn)?shù)據(jù)進(jìn)行量化操作。
17.根據(jù)權(quán)利要求15所述的方法，其特征在于，在所述通信任務(wù)為allgather的情況下，所述計(jì)算算子包括矩陣乘算子。
18.根據(jù)權(quán)利要求10-17任一項(xiàng)所述的方法，其特征在于，所述計(jì)算設(shè)備包括加速器，所述計(jì)算單元和所述通信單元位于所述加速器；所述加速器為圖像處理器GPU、神經(jīng)網(wǎng)絡(luò)處理器NPU、張量處理器TPU或?qū)Ｓ萌斯ぶ悄蹵I處理芯片。
19.一種計(jì)算設(shè)備，其特征在于，所述計(jì)算設(shè)備包括處理器、加速器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)指令，所述處理器用于執(zhí)行所述指令，當(dāng)所述處理器執(zhí)行所述指令時(shí)，調(diào)用所述加速器實(shí)現(xiàn)如權(quán)利要求10至18中任意一項(xiàng)所述的方法。
20.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，包括計(jì)算機(jī)程序指令，當(dāng)所述計(jì)算機(jī)程序指令由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算設(shè)備執(zhí)行如權(quán)利要求10至18中任意一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種加速器，其特征在于，包括通信調(diào)度引擎、通信單元，計(jì)算調(diào)度引擎和計(jì)算單元，其中，
2.根據(jù)權(quán)利要求1所述的加速器，其特征在于，所述中間表示還包括計(jì)算任務(wù)，
3.根據(jù)權(quán)利要求2所述的加速器，其特征在于，
4.根據(jù)權(quán)利要求2所述的加速器，其特征在于，
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的加速器，其特征在于，所述中間表示中的通信任務(wù)由處理器調(diào)用第一函數(shù)產(chǎn)生，所述第一函數(shù)的輸入為集合通信標(biāo)識(shí)。
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的加速器，其特征在于，所述通信任務(wù)為全局規(guī)約allreduce或全局收集allgather。
7.根據(jù)權(quán)利要求6所述的加速器，其特征在于，在所述通信任務(wù)為allreduce的情況下，所述計(jì)算算子包括量化算子和反量化算子；其中，每個(gè)量化算子用于對(duì)所述加速器中的部分?jǐn)?shù)據(jù)進(jìn)行量化操作。
8.根據(jù)權(quán)利要求6所述的加速器，其特征在于，在所述通信任務(wù)為allgather的情況下，所述計(jì)算算子包括矩陣乘算子。
9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的加速器，其特征在于，所述加速器為圖像處理器gpu、神經(jīng)網(wǎng)絡(luò)處理器npu、張量處理器tpu或?qū)Ｓ萌斯ぶ悄躠i處理芯片。
10.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于計(jì)算設(shè)備，所述計(jì)算設(shè)備包括通信調(diào)度引擎、通信單元、計(jì)算調(diào)度引擎和計(jì)算單元，所述方法包括：
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述中間表示還包括計(jì)算任務(wù)，所述方法還包括：
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述計(jì)算調(diào)度引擎...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：端啟航，
申請(qǐng)(專利權(quán))人：華為技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。