【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及電數(shù)字?jǐn)?shù)據(jù)處理，具體涉及一種基于大模型的擴(kuò)縮容方法和系統(tǒng)。
技術(shù)介紹
1、在大規(guī)模語言模型（大模型）服務(wù)中，自動擴(kuò)縮容是確保系統(tǒng)穩(wěn)定性和性能的核心環(huán)節(jié)。現(xiàn)有的擴(kuò)縮容方案通常依賴于cpu、內(nèi)存、網(wǎng)絡(luò)i/o等資源指標(biāo)的使用量來預(yù)測并調(diào)整資源配置。然而，大模型在使用過程中存在一些基礎(chǔ)的計(jì)算負(fù)載因素，這種擴(kuò)縮容方案并未直接針對和考慮模型處理的具體負(fù)載。
2、在詞元（token）數(shù)量急劇增加時，資源分配不足，進(jìn)而影響服務(wù)性能。基于歷史數(shù)據(jù)和資源使用的負(fù)載預(yù)測方法可能無法準(zhǔn)確預(yù)測由?token?數(shù)量變化引發(fā)的負(fù)載波動。現(xiàn)有的擴(kuò)縮容方案無法適應(yīng)大模型服務(wù)的負(fù)載變化。
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)中存在的上述技術(shù)問題，本專利技術(shù)提供一種基于大模型的擴(kuò)縮容方法和系統(tǒng)，通過監(jiān)測token量，進(jìn)行資源的擴(kuò)縮容配置。
2、本專利技術(shù)公開了基于大模型的擴(kuò)縮容方法，包括以下步驟：采集資源性能數(shù)據(jù)和詞元數(shù)量；將性能數(shù)據(jù)和詞元數(shù)量輸入第二大模型，獲得預(yù)測的性能數(shù)據(jù)和詞元數(shù)量；根據(jù)所預(yù)測的性能數(shù)據(jù)和詞元數(shù)量、以及預(yù)設(shè)的策略，匹配擴(kuò)縮容動作。
3、優(yōu)選的，所述第二大模型訓(xùn)練的方法包括：
4、采集第一大模型的資源性能和詞元數(shù)量的歷史數(shù)據(jù)，獲得性能數(shù)據(jù)集和相應(yīng)的詞元數(shù)據(jù)集；
5、根據(jù)所述性能數(shù)據(jù)集和詞元數(shù)據(jù)集，構(gòu)建訓(xùn)練集；
6、通過訓(xùn)練集，對第一大模型進(jìn)行微調(diào)，獲得第二大模型。
7、優(yōu)選的，訓(xùn)練集中數(shù)據(jù)組標(biāo)簽的構(gòu)建方法包括
8、以時間域值區(qū)間t為滑動窗口，根據(jù)歷史數(shù)據(jù)構(gòu)建數(shù)據(jù)組，所述數(shù)據(jù)組包括第一數(shù)據(jù)組和第二數(shù)據(jù)組，所述第二數(shù)據(jù)組滑動窗口的時間序列為第一數(shù)據(jù)組滑動窗口的下一時間序列；
9、將所述第二數(shù)據(jù)組作為第一數(shù)據(jù)組的真實(shí)標(biāo)簽，將第二數(shù)據(jù)組的指標(biāo)均值作為第一數(shù)據(jù)組相應(yīng)指標(biāo)的真實(shí)值或標(biāo)簽值。
10、優(yōu)選的，將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法：
11、獲得上下文文本的第一模板，并通過所述第一模板和第一數(shù)據(jù)組，生成上下文文本；
12、獲得問題模板，根據(jù)所述問題模板和第二數(shù)據(jù)組的時間序列，生成問題文本；
13、獲得回答模板，根據(jù)所述回答模板和第二數(shù)據(jù)組，生成回答文本。
14、優(yōu)選的，數(shù)據(jù)組包括時間序列依次遞增的第一數(shù)據(jù)組、第二數(shù)據(jù)組、第三數(shù)據(jù)組和第四數(shù)據(jù)組，將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法包括：
15、獲得上下文文本的第一模板，并通過所述第一模板、第一數(shù)據(jù)組、第二數(shù)據(jù)組、第三數(shù)據(jù)組及其均值，生成上下文文本；
16、獲得問題模板，根據(jù)所述問題模板和第四數(shù)據(jù)組的時間序列，生成問題文本；
17、獲得回答模板，根據(jù)所述回答模板和第四數(shù)據(jù)組，生成回答文本。
18、優(yōu)選的，通過所述上下文文本、問題文本和回答文本，構(gòu)建文本訓(xùn)練集；
19、通過所述文本訓(xùn)練集，對第一大模型進(jìn)行微調(diào)，獲得第二大模型；
20、將第二大模型與第一大進(jìn)行合并，獲得第三大模型，所述第三模型用于根據(jù)輸入的性能數(shù)據(jù)和詞元數(shù)據(jù)，輸出預(yù)測的性能數(shù)據(jù)和詞元數(shù)量。
21、優(yōu)選的，所述預(yù)設(shè)的策略包括：
22、若預(yù)測的性能指標(biāo)大于第一閾值，詞元數(shù)量小于第二閾值，則增加所述性能指標(biāo)的資源；
23、若預(yù)測的性能指標(biāo)小于第一閾值，詞元數(shù)量大于第二閾值，則增加第二大模型的實(shí)例數(shù)；
24、若預(yù)測的性能指標(biāo)大于第一閾值，且詞元數(shù)量大于第二閾值，則增加所述性能指標(biāo)的資源、且增加第二大模型的實(shí)例數(shù)。
25、優(yōu)選的，所述預(yù)設(shè)的策略還包括：
26、若預(yù)測的性能指標(biāo)小于第三閾值，詞元數(shù)量小于第二閾值，則減少所述性能指標(biāo)的資源；
27、若預(yù)測的性能指標(biāo)小于第三閾值，詞元數(shù)量小于第四閾值，則減少所述性能指標(biāo)的資源、且減少第二大模型的實(shí)例數(shù)，
28、其中，第四閾值小于第二閾值，第三閾值小于第一閾值。
29、本專利技術(shù)還提供一種用于實(shí)現(xiàn)上述方法的系統(tǒng)，包括采集模塊、預(yù)測模塊和決策模塊，所述采集模塊用于采集性能數(shù)據(jù)和詞元數(shù)量；所述預(yù)測模塊用于將性能數(shù)據(jù)和詞元數(shù)量輸入第二大模型，獲得預(yù)測的性能數(shù)據(jù)和詞元數(shù)量；所述決策模塊用于根據(jù)所預(yù)測的性能數(shù)據(jù)和詞元數(shù)量、以及預(yù)設(shè)的策略，匹配擴(kuò)縮容動作。
30、優(yōu)選的，所述系統(tǒng)還包括訓(xùn)練模塊，
31、所述訓(xùn)練模塊用于根據(jù)性能數(shù)據(jù)和詞元數(shù)據(jù)，構(gòu)建訓(xùn)練集；并通過訓(xùn)練集，對第一大模型進(jìn)行微調(diào)，獲得第二大模型。
32、與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果為：根據(jù)歷史數(shù)據(jù)對詞元數(shù)量和性能數(shù)據(jù)進(jìn)行預(yù)測，并通過預(yù)測結(jié)果調(diào)整大模型的擴(kuò)縮容動作，可避免過度配置或資源不足的情況，從而提高整體資源利用效率，并降低運(yùn)營成本；能夠在高并發(fā)和突發(fā)負(fù)載情況下更好地適應(yīng)變化，增強(qiáng)大模型服務(wù)的彈性和可靠性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.基于大模型的擴(kuò)縮容方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的擴(kuò)縮容方法，其特征在于，所述第二大模型的訓(xùn)練方法包括：
3.根據(jù)權(quán)利要求2所述的擴(kuò)縮容方法，其特征在于，訓(xùn)練集中數(shù)據(jù)組標(biāo)簽的構(gòu)建方法包括：
4.根據(jù)權(quán)利要求3所述的擴(kuò)縮容方法，其特征在于，還包括將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法：
5.根據(jù)權(quán)利要求4所述的擴(kuò)縮容方法，其特征在于，第一數(shù)據(jù)組、第二數(shù)據(jù)組、第三數(shù)據(jù)組和第四數(shù)據(jù)組的時間序列依次遞增，將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法包括：
6.根據(jù)權(quán)利要求4或5所述的擴(kuò)縮容方法，其特征在于，通過所述上下文文本、問題文本和回答文本，構(gòu)建文本訓(xùn)練集；
7.根據(jù)權(quán)利要求1所述的擴(kuò)縮容方法，其特征在于，所述預(yù)設(shè)的策略包括：
8.根據(jù)權(quán)利要求7所述的擴(kuò)縮容方法，其特征在于，所述預(yù)設(shè)的策略還包括：
9.一種系統(tǒng)，其特征在于，用于實(shí)現(xiàn)如權(quán)利要求1-8任一項(xiàng)所述的擴(kuò)縮容方法，所述系統(tǒng)包括采集模塊、預(yù)測模塊和決策模塊，
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，還包括訓(xùn)練模塊，p>...
【技術(shù)特征摘要】
1.基于大模型的擴(kuò)縮容方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的擴(kuò)縮容方法，其特征在于，所述第二大模型的訓(xùn)練方法包括：
3.根據(jù)權(quán)利要求2所述的擴(kuò)縮容方法，其特征在于，訓(xùn)練集中數(shù)據(jù)組標(biāo)簽的構(gòu)建方法包括：
4.根據(jù)權(quán)利要求3所述的擴(kuò)縮容方法，其特征在于，還包括將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法：
5.根據(jù)權(quán)利要求4所述的擴(kuò)縮容方法，其特征在于，第一數(shù)據(jù)組、第二數(shù)據(jù)組、第三數(shù)據(jù)組和第四數(shù)據(jù)組的時間序列依次遞增，將數(shù)據(jù)組轉(zhuǎn)換為文本組的方法包括...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吉梁茜，才振功，王羽中，陳雪兒，蔣咪，王翱宇，
申請(專利權(quán))人：杭州諧云科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。