【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及人工智能(artificial?intelligence，ai)，尤其涉及一種數(shù)據(jù)處理方法、裝置、芯片、計(jì)算設(shè)備、計(jì)算設(shè)備集群、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。
技術(shù)介紹
1、隨著ai技術(shù)的不斷發(fā)展，越來(lái)越多的行業(yè)和領(lǐng)域采用ai模型(為了便于描述，有些情況下也簡(jiǎn)稱為模型)實(shí)現(xiàn)業(yè)務(wù)的智能化、自動(dòng)化。例如，電子商務(wù)行業(yè)中，電商平臺(tái)通過訓(xùn)練ai模型，向用戶推薦感興趣的物品。又例如，在社交領(lǐng)域，社交平臺(tái)通過訓(xùn)練ai模型，向用戶推薦感興趣的圖文，實(shí)現(xiàn)個(gè)性化推薦。
2、ai模型是指基于ai技術(shù)構(gòu)建的、用于對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的數(shù)學(xué)模型。ai模型的一個(gè)典型應(yīng)用是推薦模型，包括但不限于物品推薦模型、視頻推薦模型、文本推薦模型、圖像推薦模型。上述ai模型可以由數(shù)據(jù)驅(qū)動(dòng)，通常需要通過大量數(shù)據(jù)(例如是樣本數(shù)據(jù))進(jìn)行訓(xùn)練。
3、以推薦模型為代表的ai模型的樣本數(shù)據(jù)規(guī)模通常可以達(dá)到幾十太字節(jié)(terabyte，tb)，甚至是幾百tb。在訓(xùn)練上述ai模型時(shí)，通常會(huì)使用大規(guī)模的稀疏特征，包括物品標(biāo)識(shí)(identifier，id)、用戶id等id類特征。為此，通常需要將上述稀疏特征進(jìn)行向量映射，例如通過嵌入(embedding)方式將其映射為稠密向量，并存儲(chǔ)在稀疏表中，以便于使用深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。具體實(shí)現(xiàn)時(shí)，ai模型的業(yè)務(wù)腳本可以指定創(chuàng)建的稀疏表的參數(shù)，然后稀疏表初始化時(shí)可以按照上述參數(shù)初始化。
4、然而，更換數(shù)據(jù)集時(shí)，上述方案需要調(diào)整初始化稀疏表的參數(shù)，泛化性較差，訓(xùn)練效率比較低下，難以滿足業(yè)務(wù)需求。p>
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，該方法無(wú)需設(shè)置稀疏表的容量，而是通過數(shù)據(jù)集中特征鍵的規(guī)模自動(dòng)擴(kuò)容。針對(duì)不同的模型、數(shù)據(jù)集或硬件形態(tài)，稀疏表的建表接口不需要用戶調(diào)整初始化稀疏表的參數(shù)，泛化性好，提高訓(xùn)練效率，提升用戶體驗(yàn)。本申請(qǐng)還提供了與上述數(shù)據(jù)處理方法對(duì)應(yīng)的裝置、芯片、計(jì)算設(shè)備、計(jì)算設(shè)備集群、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。
2、第一方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法。該方法應(yīng)用于計(jì)算設(shè)備中主機(jī)側(cè)的第一芯片。第一芯片例如可以是中央處理單元(central?processing?unit，cpu)。該第一芯片用于基于ai模型的業(yè)務(wù)腳本，使用數(shù)據(jù)集中的稀疏特征訓(xùn)練所述ai模型。
3、具體地，第一芯片可以接收稀疏表初始化請(qǐng)求，然后響應(yīng)于稀疏表初始化請(qǐng)求，調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，該內(nèi)存塊用于存儲(chǔ)稀疏表，其中，內(nèi)存塊的數(shù)量根據(jù)數(shù)據(jù)集中所述稀疏特征的規(guī)模確定，然后第一芯片存儲(chǔ)稀疏特征的特征鍵以及稀疏表的地址的對(duì)應(yīng)關(guān)系。
4、該方法在稀疏表初始化時(shí)，調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，其中，內(nèi)存塊的數(shù)量可以根據(jù)數(shù)據(jù)集中稀疏特征的規(guī)模確定。如此，稀疏表的建表接口中無(wú)需設(shè)置稀疏表的容量，而是通過數(shù)據(jù)集中特征key的規(guī)模自動(dòng)擴(kuò)容。針對(duì)不同的模型、數(shù)據(jù)集或硬件形態(tài)，稀疏表的建表接口不需要用戶調(diào)整初始化稀疏表的參數(shù)，泛化性好，提高訓(xùn)練效率，提升用戶體驗(yàn)。
5、在一些可能的實(shí)現(xiàn)方式中，第一芯片可以先發(fā)送內(nèi)存分配接口的第一調(diào)用請(qǐng)求，以申請(qǐng)第一內(nèi)存塊，該第一內(nèi)存塊用于存儲(chǔ)數(shù)據(jù)集中第一稀疏特征的特征鍵對(duì)應(yīng)的向量。當(dāng)?shù)谝粌?nèi)存塊的剩余容量滿足設(shè)定條件，例如第一內(nèi)存塊的剩余容量為0(第一內(nèi)存塊被寫滿)，或者第一內(nèi)存塊的剩余容量小于設(shè)定值或設(shè)定比例，第一芯片可以發(fā)送內(nèi)存分配接口的第二調(diào)用請(qǐng)求，以申請(qǐng)第二內(nèi)存塊，該第二內(nèi)存塊用于存儲(chǔ)數(shù)據(jù)集中第二稀疏特征的特征鍵對(duì)應(yīng)的向量。
6、如此可以實(shí)現(xiàn)按需申請(qǐng)內(nèi)存塊，當(dāng)數(shù)據(jù)集發(fā)生變更導(dǎo)致稀疏表的容量變更或者其他因素變更導(dǎo)致稀疏表的容量變更時(shí)，無(wú)需調(diào)整初始化稀疏表的參數(shù)，可以實(shí)現(xiàn)無(wú)感知的數(shù)據(jù)集切換，具有較好的泛化性。
7、在一些可能的實(shí)現(xiàn)方式中，第一芯片接收計(jì)算設(shè)備中設(shè)備側(cè)的第二芯片發(fā)送的擴(kuò)容提示，該擴(kuò)容提示用于提示對(duì)稀疏表進(jìn)行擴(kuò)容，擴(kuò)容提示可以是第二芯片檢測(cè)到第一內(nèi)存塊的剩余容量滿足設(shè)定條件時(shí)生成，然后第一芯片根據(jù)擴(kuò)容提示生成內(nèi)存分配接口的第二調(diào)用請(qǐng)求，接著第一芯片發(fā)送內(nèi)存分配接口的第二調(diào)用請(qǐng)求。
8、如此可以實(shí)現(xiàn)動(dòng)態(tài)申請(qǐng)內(nèi)存塊，以便于對(duì)稀疏表進(jìn)行擴(kuò)容，滿足模型訓(xùn)練在不同階段的需求。
9、在一些可能的實(shí)現(xiàn)方式中，當(dāng)檢測(cè)到稀疏表的可分配內(nèi)存空間變更，例如是由數(shù)據(jù)集變更、ai模型變更、硬件形態(tài)變更導(dǎo)致稀疏表的可分配內(nèi)存空間變更，第一芯片還可以發(fā)送可分配內(nèi)存空間的變更信息，該變更信息用于指示根據(jù)變更后的可分配內(nèi)存空間分配內(nèi)存塊。
10、在分配內(nèi)存時(shí)，內(nèi)存空間可以劃分為稀疏表的可分配內(nèi)存空間、模型圖的可分配內(nèi)存空間。當(dāng)感知到稀疏表的可分配內(nèi)存空間變更，第一芯片可以發(fā)送變更信息指示按照變更后的可分配內(nèi)存空間分配內(nèi)存塊，從而實(shí)現(xiàn)數(shù)據(jù)集變更、模型變更、硬件形態(tài)變更時(shí)的自適應(yīng)。
11、在一些可能的實(shí)現(xiàn)方式中，所述稀疏表初始化請(qǐng)求中不包括所述稀疏表的容量。針對(duì)不同的模型，數(shù)據(jù)集和硬件形態(tài)，稀疏表的建表接口不需要用戶調(diào)整參數(shù)，具有較好的泛化性，提升了用戶體驗(yàn)。
12、在一些可能的實(shí)現(xiàn)方式中，第一芯片還可以接收查詢請(qǐng)求，該查詢請(qǐng)求包括目標(biāo)特征鍵。相應(yīng)地，第一芯片可以根據(jù)稀疏特征的特征鍵以及稀疏表的地址的對(duì)應(yīng)關(guān)系，確定目標(biāo)特征鍵對(duì)應(yīng)的目標(biāo)地址，然后根據(jù)目標(biāo)地址訪問所述稀疏表，獲得目標(biāo)特征鍵對(duì)應(yīng)的向量。
13、如此可以實(shí)現(xiàn)根據(jù)hash?map獲得稀疏特征對(duì)應(yīng)的向量的地址，基于該地址可以獲得稀疏特征對(duì)應(yīng)的向量，進(jìn)而可以用于模型訓(xùn)練。由于稀疏表的容量可以根據(jù)需求動(dòng)態(tài)調(diào)整，由此解決了傳統(tǒng)方法中稀疏表的容量設(shè)置過小導(dǎo)致gather算子溢出，進(jìn)而訓(xùn)練失敗，浪費(fèi)大量資源的問題。
14、在一些可能的實(shí)現(xiàn)方式中，所述內(nèi)存塊還用于存儲(chǔ)優(yōu)化器的參數(shù)，所述查詢請(qǐng)求還用于查詢所述優(yōu)化器的參數(shù)。相應(yīng)地，第一芯片可以根據(jù)所述目標(biāo)地址訪問所述稀疏表，獲得所述目標(biāo)特征鍵對(duì)應(yīng)的向量和所述優(yōu)化器的參數(shù)。
15、該方法中，稀疏表和優(yōu)化器的參數(shù)耦合，通過一次查詢可以返回稀疏表中稀疏特征的向量和優(yōu)化器的參數(shù)，減少了算子操作次數(shù)，優(yōu)化查詢性能。
16、在一些可能的實(shí)現(xiàn)方式中，計(jì)算設(shè)備可以為異構(gòu)設(shè)備，該計(jì)算設(shè)備的設(shè)備側(cè)包括第二芯片。相應(yīng)地，第一芯片在調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊時(shí)，可以調(diào)用所述第二芯片的內(nèi)存分配接口以申請(qǐng)所述第二芯片的內(nèi)存塊。
17、如此可以實(shí)現(xiàn)充分利用設(shè)備側(cè)的算力資源，提高模型訓(xùn)練的效率。
18、第二方面，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法。該方法可以應(yīng)用于計(jì)算設(shè)備中設(shè)備側(cè)的第二芯片。其中，第二芯片可以為加速卡(或稱作加速器)，包括但不限于圖形處理器(graphical?processing?unit，gpu)、神經(jīng)網(wǎng)絡(luò)(neural?network?processing?unit，npu)處理器。第二芯片用于使用數(shù)據(jù)集中的稀疏特征，訓(xùn)練ai模型。
19、具體地，第二芯片接收內(nèi)存分配接口的調(diào)用請(qǐng)求，該內(nèi)存分配接口的調(diào)用請(qǐng)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于計(jì)算設(shè)備中主機(jī)側(cè)的第一芯片，所述第一芯片用于基于人工智能AI模型的業(yè)務(wù)腳本，使用數(shù)據(jù)集中的稀疏特征訓(xùn)練所述AI模型，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述當(dāng)所述第一內(nèi)存塊的剩余容量滿足設(shè)定條件，發(fā)送所述內(nèi)存分配接口的第二調(diào)用請(qǐng)求，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述稀疏表初始化請(qǐng)求中不包括所述稀疏表的容量。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述內(nèi)存塊還用于存儲(chǔ)優(yōu)化器的參數(shù)，所述查詢請(qǐng)求還用于查詢所述優(yōu)化器的參數(shù)；
8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述計(jì)算設(shè)備的設(shè)備側(cè)包括第二芯片，所述調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，包括：
9.一種數(shù)據(jù)處理裝置，其特
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述接口調(diào)用模塊具體用于：
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述接口調(diào)用模塊具體用于：
12.根據(jù)權(quán)利要求9至11任一項(xiàng)所述的裝置，其特征在于，所述通信模塊還用于：
13.根據(jù)權(quán)利要求9至12任一項(xiàng)所述的裝置，其特征在于，所述稀疏表初始化請(qǐng)求中不包括所述稀疏表的容量。
14.根據(jù)權(quán)利要求9至13任一項(xiàng)所述的裝置，其特征在于，所述通信模塊還用于：
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述內(nèi)存塊還用于存儲(chǔ)優(yōu)化器的參數(shù)，所述查詢請(qǐng)求還用于查詢所述優(yōu)化器的參數(shù)；
16.根據(jù)權(quán)利要求9至15任一項(xiàng)所述的裝置，其特征在于，所述計(jì)算設(shè)備的設(shè)備側(cè)包括第二芯片，所述接口調(diào)用模塊具體用于：
17.一種芯片，其特征在于，所述芯片包括處理器和通信接口，所述通信接口用于接收計(jì)算機(jī)可讀指令，所述處理器用于執(zhí)行所述計(jì)算機(jī)可讀指令，從而執(zhí)行如權(quán)利要求1至8任一項(xiàng)所述的方法。
18.一種計(jì)算設(shè)備，其特征在于，所述計(jì)算設(shè)備包括主機(jī)側(cè)的第一芯片和設(shè)備側(cè)的第二芯片，所述第一芯片用于執(zhí)行如權(quán)利要求1至8任一項(xiàng)所述的方法。
19.一種計(jì)算設(shè)備集群，其特征在于，所述計(jì)算設(shè)備集群包括至少一臺(tái)計(jì)算設(shè)備，所述至少一臺(tái)計(jì)算設(shè)備包括主機(jī)側(cè)的第一芯片和設(shè)備側(cè)的第二芯片，所述第一芯片用于執(zhí)行如權(quán)利要求1至8任一項(xiàng)所述的方法。
20.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，包括計(jì)算機(jī)可讀指令；所述計(jì)算機(jī)可讀指令用于實(shí)現(xiàn)權(quán)利要求1至8任一項(xiàng)所述的方法。
21.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)可讀指令；所述計(jì)算機(jī)可讀指令用于實(shí)現(xiàn)權(quán)利要求1至8任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于計(jì)算設(shè)備中主機(jī)側(cè)的第一芯片，所述第一芯片用于基于人工智能ai模型的業(yè)務(wù)腳本，使用數(shù)據(jù)集中的稀疏特征訓(xùn)練所述ai模型，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述當(dāng)所述第一內(nèi)存塊的剩余容量滿足設(shè)定條件，發(fā)送所述內(nèi)存分配接口的第二調(diào)用請(qǐng)求，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述稀疏表初始化請(qǐng)求中不包括所述稀疏表的容量。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述內(nèi)存塊還用于存儲(chǔ)優(yōu)化器的參數(shù)，所述查詢請(qǐng)求還用于查詢所述優(yōu)化器的參數(shù)；
8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述計(jì)算設(shè)備的設(shè)備側(cè)包括第二芯片，所述調(diào)用內(nèi)存分配接口以申請(qǐng)內(nèi)存塊，包括：
9.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置部署于計(jì)算設(shè)備中主機(jī)側(cè)的第一芯片，所述第一芯片用于基于人工智能ai模型的業(yè)務(wù)腳本，使用數(shù)據(jù)集中的稀疏特征訓(xùn)練所述ai模型，所述裝置包括：
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述接口調(diào)用模塊具體用于：
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述接口調(diào)用模塊具體用于：
12.根據(jù)權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郝日佩，黃鑫，
申請(qǐng)(專利權(quán))人：成都華為技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。