【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)實(shí)施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本申請(qǐng)實(shí)施方式涉及一種模型融合方法及相關(guān)裝置。
技術(shù)介紹
1、在現(xiàn)代人工智能領(lǐng)域，特別是在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用中，算法的效率和性能至關(guān)重要。神經(jīng)網(wǎng)絡(luò)模型，如在大語(yǔ)言模型(llm)中的生成式預(yù)訓(xùn)練轉(zhuǎn)換(gpt)模型和泛光(bloom)大模型，都需要大量的計(jì)算資源進(jìn)行數(shù)據(jù)處理和模型訓(xùn)練。這些過(guò)程主要由許多復(fù)雜的數(shù)學(xué)計(jì)算構(gòu)成，因此，如何高效利用硬件資源提高運(yùn)算效率是至關(guān)重要的。
2、相關(guān)技術(shù)中，神經(jīng)網(wǎng)絡(luò)模型是由各個(gè)功能模塊組成的，這些模塊間有著清晰的劃分。然而，數(shù)據(jù)需要在各模塊間通過(guò)內(nèi)存空間進(jìn)行傳遞，從而產(chǎn)生不必要的讀寫(xiě)操作，使得模型執(zhí)行流程變長(zhǎng)，降低了模型執(zhí)行效率。此外，由于模塊間的劃分，后面模塊需要等待前面的模塊完成計(jì)算，得到全部結(jié)果數(shù)據(jù)后才能繼續(xù)進(jìn)行計(jì)算，這就可能會(huì)導(dǎo)致計(jì)算單元出現(xiàn)空閑狀態(tài)，浪費(fèi)硬件計(jì)算資源。
3、綜上，亟待提供一種全新的技術(shù)方案，用以解決相關(guān)技術(shù)中存在的上述至少一個(gè)技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、在本上下文中，本申請(qǐng)的實(shí)施方式期望提供一種模型融合方法及相關(guān)裝置，用以避免神經(jīng)網(wǎng)絡(luò)模型中因讀寫(xiě)操作過(guò)多而導(dǎo)致的模型執(zhí)行效率下降，計(jì)算資源浪費(fèi)的技術(shù)問(wèn)題。
2、在本申請(qǐng)實(shí)施方式的第一方面中，提供了一種模型融合方法，該方法包括：
3、識(shí)別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件；
4、根據(jù)與待優(yōu)化模型匹配的模塊融合方式
5、執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。
6、在本申請(qǐng)實(shí)施方式的第二方面中，提供了一種模型融合裝置，該裝置至少包括：
7、識(shí)別模塊，用于識(shí)別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件；
8、融合模塊，用于根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對(duì)第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；
9、執(zhí)行模塊，用于執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。
10、在本申請(qǐng)實(shí)施方式的第三方面中，提供了一種計(jì)算設(shè)備，所述計(jì)算設(shè)備包括：
11、至少一個(gè)處理器、存儲(chǔ)器和輸入輸出單元；
12、其中，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序來(lái)執(zhí)行第一方面的模型融合方法。
13、在本申請(qǐng)實(shí)施方式的第四方面中，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行該指令時(shí)，使得計(jì)算機(jī)執(zhí)行第一方面的模型融合方法。
14、在本申請(qǐng)實(shí)施方式的第五方面中，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面的模型融合方法。
15、在本申請(qǐng)實(shí)施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的模型融合方法。
16、在本申請(qǐng)實(shí)施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計(jì)算機(jī)可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設(shè)備執(zhí)行如第一方面的模型融合方法。
17、本申請(qǐng)實(shí)施方式中，提供了一種模型融合方法及相關(guān)裝置。本申請(qǐng)實(shí)施方式中，首先，識(shí)別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計(jì)算模塊與第二計(jì)算模塊；第一計(jì)算模塊與第二計(jì)算模塊符合預(yù)先設(shè)置的優(yōu)化條件。其次，根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對(duì)第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計(jì)算模塊與第二計(jì)算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式。最后，執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。本申請(qǐng)實(shí)施方式中，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型中的第一計(jì)算模塊和第二計(jì)算模塊進(jìn)行操作融合，減少計(jì)算資源占用，顯著提升了模型的整體性能，提高模型執(zhí)行效率。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種模型融合方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述優(yōu)化條件至少包括：計(jì)算模塊執(zhí)行數(shù)據(jù)處理過(guò)程中包含至少一次對(duì)內(nèi)存空間的存取操作；和/或，計(jì)算模塊之間數(shù)據(jù)傳輸過(guò)程中包含包含至少一次對(duì)內(nèi)存空間的存取操作；和/或，計(jì)算模塊各自執(zhí)行獨(dú)立的離散運(yùn)算。
3.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對(duì)第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：
4.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述重新構(gòu)建所述待優(yōu)化單元，包括：
5.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將第一計(jì)算模塊與第二計(jì)算模塊中具有邏輯關(guān)聯(lián)的操作進(jìn)行操作融合，包括：
6.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將多層感知機(jī)模塊中第一個(gè)線性變換層和激活函數(shù)進(jìn)行操作融合，包括：
7.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述根據(jù)模塊結(jié)構(gòu)、模塊參數(shù)以及連接關(guān)系，獲取第一計(jì)算模塊中與第二計(jì)算模塊相匹配的待優(yōu)
8.根據(jù)權(quán)利要求7所述的模型融合方法，其特征在于，所述將所述第一待優(yōu)化單元得到的中間計(jì)算結(jié)果融合到第二計(jì)算模塊中，并重新構(gòu)建第二計(jì)算模塊中的待優(yōu)化計(jì)算邏輯，包括：
9.根據(jù)權(quán)利要求8所述的模型融合方法，其特征在于，若神經(jīng)網(wǎng)絡(luò)模型為泛光大模型，并且以多層感知機(jī)模塊的線性變化操作以及殘差連接模塊中的加法操作作為第一待優(yōu)化單元，則
10.一種模型融合裝置，其特征在于，所述裝置至少包括：
...【技術(shù)特征摘要】
1.一種模型融合方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述優(yōu)化條件至少包括：計(jì)算模塊執(zhí)行數(shù)據(jù)處理過(guò)程中包含至少一次對(duì)內(nèi)存空間的存取操作；和/或，計(jì)算模塊之間數(shù)據(jù)傳輸過(guò)程中包含包含至少一次對(duì)內(nèi)存空間的存取操作；和/或，計(jì)算模塊各自執(zhí)行獨(dú)立的離散運(yùn)算。
3.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對(duì)第一計(jì)算模塊與第二計(jì)算模塊進(jìn)行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：
4.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述重新構(gòu)建所述待優(yōu)化單元，包括：
5.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將第一計(jì)算模塊與第二計(jì)算模塊中具有邏輯關(guān)聯(lián)的操作進(jìn)行操作融合，包括：...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：闖小明，楊龔軼凡，鄭瀚尋，潘維維，
申請(qǐng)(專(zhuān)利權(quán))人：上海泰則半導(dǎo)體有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。