【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及神經(jīng)網(wǎng)絡(luò)，尤其涉及一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法及系統(tǒng)。
技術(shù)介紹
1、近年來，深度學(xué)習(xí)技術(shù)在各個(gè)領(lǐng)域取得了顯著的進(jìn)展，尤其是在自然語言處理、計(jì)算機(jī)視覺和強(qiáng)化學(xué)習(xí)等方面。深度學(xué)習(xí)框架已經(jīng)成為研究和工業(yè)界廣泛使用的工具。這些框架提供了豐富的應(yīng)用程序編程接口api和靈活的編程模型，使得研究人員和開發(fā)者能夠輕松地設(shè)計(jì)和訓(xùn)練復(fù)雜的神經(jīng)網(wǎng)絡(luò)。
2、然而，隨著模型規(guī)模的不斷增長，傳統(tǒng)的深度學(xué)習(xí)框架在處理大規(guī)模數(shù)據(jù)和復(fù)雜模型時(shí)面臨顯存和計(jì)算資源的限制。
3、盡管現(xiàn)有的大規(guī)模并行訓(xùn)練技術(shù)在一定程度上解決了資源利用和訓(xùn)練效率的問題，但它們大多依賴于預(yù)先設(shè)定的參數(shù)和策略，不能夠根據(jù)實(shí)際情況和各種變化因素自主且靈活地對(duì)模型訓(xùn)練的策略進(jìn)行相應(yīng)的調(diào)整，缺乏對(duì)訓(xùn)練過程中動(dòng)態(tài)變化的適應(yīng)能力。那么在實(shí)際應(yīng)用中，模型訓(xùn)練常常受到數(shù)據(jù)分布、硬件環(huán)境等多種因素的影響，固定的訓(xùn)練策略可能無法達(dá)到最優(yōu)效果。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中大規(guī)模并行訓(xùn)練技術(shù)的不能夠根據(jù)實(shí)際情況和各種變化因素調(diào)整對(duì)模型訓(xùn)練的策略，導(dǎo)致多模態(tài)大模型訓(xùn)練無法達(dá)到最優(yōu)效果的缺陷。
2、本專利技術(shù)提供一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，包括：
3、接收提交的多模態(tài)大模型的訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略；所述訓(xùn)練執(zhí)行腳本用于提供分布式訓(xùn)練任務(wù)所需信息；
4、根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大
5、獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)；
6、基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整，根據(jù)所述大模型訓(xùn)練執(zhí)行腳本以及調(diào)整后的訓(xùn)練策略，利用所述大模型訓(xùn)練腳本繼續(xù)執(zhí)行分布式訓(xùn)練任務(wù)，直至得到訓(xùn)練好的多模態(tài)大模型。
7、根據(jù)本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的顯存使用量以及顯存使用層數(shù)；
8、基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整，包括：將所述顯存使用量與設(shè)置的顯存閾值進(jìn)行比較，判斷是否需要調(diào)整顯存使用層數(shù)；在確定需要調(diào)整顯存使用量的情況下，調(diào)用對(duì)應(yīng)的顯存調(diào)整函數(shù)調(diào)整所述顯存使用層數(shù)。
9、根據(jù)本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
10、獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的學(xué)習(xí)率；
11、基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整，包括：基于所述學(xué)習(xí)率，判斷用戶是否提供了學(xué)習(xí)率的自定義設(shè)置；若是，則根據(jù)用戶的學(xué)習(xí)率調(diào)整指令調(diào)整所述學(xué)習(xí)率；若否，則根據(jù)預(yù)定義的學(xué)習(xí)率設(shè)定值自動(dòng)調(diào)整所述學(xué)習(xí)率。
12、根據(jù)本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的梯度信息、損失值以及準(zhǔn)確率；
13、基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整，包括：
14、根據(jù)所述梯度信息、損失值以及準(zhǔn)確率，判斷是否需要調(diào)整并行訓(xùn)練策略；其中，所述并行訓(xùn)練策略包括模型并行策略、數(shù)據(jù)并行策略和流水線并行策略；
15、在確定需要調(diào)整并行訓(xùn)練策略的情況下，根據(jù)用戶輸入的策略調(diào)整指令，調(diào)整所述并行訓(xùn)練策略。
16、根據(jù)本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行所述分布式訓(xùn)練任務(wù)，具體包括：
17、根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，在分布式云平臺(tái)中獲取訓(xùn)練數(shù)據(jù)，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行所述分布式訓(xùn)練任務(wù)，并將生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)存儲(chǔ)于分布式云平臺(tái)的存儲(chǔ)集群中；
18、獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，具體包括：
19、在分布式云平臺(tái)的存儲(chǔ)集群中獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的所述實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)。
20、根據(jù)本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，在獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)之后，所述方法還包括：基于所述實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行特征提取和分析，并顯示分析結(jié)果。
21、本專利技術(shù)還提供一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化系統(tǒng)，包括：
22、訓(xùn)練數(shù)據(jù)接收模塊，用于接收提交的多模態(tài)大模型的訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，所述訓(xùn)練執(zhí)行腳本用于提供分布式訓(xùn)練任務(wù)所需信息；
23、訓(xùn)練任務(wù)執(zhí)行模塊，用于根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行所述分布式訓(xùn)練任務(wù)，以生成多模態(tài)大模型；所述大模型訓(xùn)練腳本用于定義所述分布式訓(xùn)練任務(wù)的過程；
24、監(jiān)控?cái)?shù)據(jù)獲取模塊，用于獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)；
25、訓(xùn)練策略調(diào)整模塊，用于基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整，根據(jù)所述大模型訓(xùn)練執(zhí)行腳本以及調(diào)整后的訓(xùn)練策略，利用所述大模型訓(xùn)練腳本繼續(xù)執(zhí)行分布式訓(xùn)練任務(wù)，直至得到訓(xùn)練好的多模態(tài)大模型。
26、本專利技術(shù)還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法。
27、本專利技術(shù)還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法。
28、本專利技術(shù)還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法。
29、本專利技術(shù)提供的多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法及系統(tǒng)，通過接收提交的多模態(tài)大模型的訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略；根據(jù)訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行分布式訓(xùn)練任務(wù)，以生成多模態(tài)大模型；獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)；基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行訓(xùn)練策略的調(diào)整；通過實(shí)時(shí)動(dòng)態(tài)調(diào)整訓(xùn)練策略，避免了不必要的計(jì)算資源浪費(fèi)，縮短了模型的訓(xùn)練時(shí)間，以提升訓(xùn)練效率；然后根據(jù)大模型訓(xùn)練執(zhí)行腳本以及調(diào)整后的訓(xùn)練策略繼續(xù)執(zhí)行分布式訓(xùn)練任務(wù)，直至得到訓(xùn)練好的多模態(tài)大模型，由于可以根據(jù)監(jiān)控?cái)?shù)據(jù)的特點(diǎn)自適應(yīng)地優(yōu)化模型，從而提升最終得到的多模態(tài)大模型的準(zhǔn)確性和泛化能力。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
4.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
5.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行所述分布式訓(xùn)練任務(wù)，具體包括：
6.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，在獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)之后，所述方法還包括：
7.一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化系統(tǒng)，其特征在于，包括：
8.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述多模態(tài)大模
9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法。
10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法。
...【技術(shù)特征摘要】
1.一種多模態(tài)大模型的訓(xùn)練過程自適應(yīng)優(yōu)化方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
4.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，獲取在執(zhí)行分布式訓(xùn)練任務(wù)的過程中生成的實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，包括：
5.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，根據(jù)所述訓(xùn)練執(zhí)行腳本以及訓(xùn)練策略，利用預(yù)存的大模型訓(xùn)練腳本執(zhí)行所述分布式訓(xùn)練任務(wù)，具體包括：
6.根據(jù)權(quán)利要求1所述的自適應(yīng)優(yōu)化方法，其特征在于，在獲取在執(zhí)行分布式訓(xùn)練...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，請(qǐng)求不公布姓名，
申請(qǐng)(專利權(quán))人：上海壁仞科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。