本發(fā)明專利技術(shù)涉及一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法及裝置。其包括：對(duì)歸一化計(jì)算源數(shù)據(jù)集內(nèi)任一的源數(shù)據(jù)進(jìn)行歸一化計(jì)算時(shí)，采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組，并基于所述歸一化計(jì)算中間數(shù)組計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)，其中，所述歸一化計(jì)算中間數(shù)組包括分子項(xiàng)中間數(shù)以及分母項(xiàng)中間數(shù)，將上述分子項(xiàng)中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算，以在相乘運(yùn)算后生成歸一化計(jì)算主項(xiàng)基數(shù)；將計(jì)算生成的歸一化計(jì)算主項(xiàng)數(shù)與歸一化計(jì)算輔項(xiàng)數(shù)進(jìn)行加法運(yùn)算，并將加法運(yùn)算的結(jié)果值作為當(dāng)前源數(shù)據(jù)的歸一化計(jì)算結(jié)果值。本發(fā)明專利技術(shù)能有效加速歸一化計(jì)算，提高歸一化計(jì)算的效率，降低歸一化計(jì)算的硬件開(kāi)銷(xiāo)成本。
1、歸一化(normalization)是一種常見(jiàn)的數(shù)據(jù)預(yù)處理方法，它將數(shù)據(jù)映射成[0，1]或者[-1，1]之間的小數(shù)，使得模型更容易收斂到最優(yōu)解。因此，在構(gòu)造機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型之前，需要對(duì)數(shù)據(jù)做歸一化處理，這不僅會(huì)加快求解的速度，還有可能提高模型的精度。
2、目前，歸一化時(shí)，通常是在軟件層面，直接讓硬件計(jì)算每一個(gè)中間結(jié)果，也就是逐步地計(jì)算乘法、加法、開(kāi)根號(hào)以及除法，再乘法…加法等，每一個(gè)步驟計(jì)算完畢，再去計(jì)算下一個(gè)步驟，直至完成整個(gè)歸一化的運(yùn)算。本
人員可知，目前采用的歸一化計(jì)算方式，存在步驟較多，耗時(shí)長(zhǎng)，效率低，難以滿足實(shí)際的歸一化計(jì)算需求。
1、本專利技術(shù)的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法及裝置，其能有效加速歸一化計(jì)算，提高歸一化計(jì)算的效率，降低歸一化計(jì)算的硬件開(kāi)銷(xiāo)成本。
2、按照本專利技術(shù)提供的技術(shù)方案，一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，所述加速運(yùn)行方法包括：
3、在神經(jīng)網(wǎng)絡(luò)內(nèi)進(jìn)行歸一化計(jì)算時(shí)，配置n個(gè)數(shù)據(jù)通道分別加載通道數(shù)據(jù)組，并基于n個(gè)通道數(shù)據(jù)組生成歸一化計(jì)算源數(shù)據(jù)集；
4、對(duì)歸一化計(jì)算源數(shù)據(jù)集內(nèi)任一的源數(shù)據(jù)進(jìn)行歸一化計(jì)算時(shí)，采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組，并基于所述歸一化計(jì)算中間數(shù)組計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)，其中，
>5、所述歸一化計(jì)算中間數(shù)組包括分子項(xiàng)中間數(shù)以及分母項(xiàng)中間數(shù)，6、所述分子項(xiàng)中間數(shù)包括與當(dāng)前源數(shù)據(jù)對(duì)應(yīng)的分子項(xiàng)第一中間數(shù)或分子項(xiàng)第二中間數(shù)，其中，分子項(xiàng)第一中間數(shù)基于平均數(shù)差距變形式計(jì)算生成，分子項(xiàng)第二中間數(shù)和分子項(xiàng)第一中間數(shù)與可學(xué)習(xí)參數(shù)的乘積結(jié)果相一致；
7、基于分母項(xiàng)中間數(shù)計(jì)算生成分母項(xiàng)目標(biāo)數(shù)，其中，計(jì)算生成分母項(xiàng)目標(biāo)數(shù)時(shí)，至少對(duì)分母項(xiàng)中間數(shù)進(jìn)行平方根倒數(shù)運(yùn)算；
8、將上述分子項(xiàng)中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算，以在相乘運(yùn)算后生成歸一化計(jì)算主項(xiàng)基數(shù)；
9、基于歸一化計(jì)算主項(xiàng)基數(shù)，計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)；
10、將計(jì)算生成的歸一化計(jì)算主項(xiàng)數(shù)與歸一化計(jì)算輔項(xiàng)數(shù)進(jìn)行加法運(yùn)算，并將加法運(yùn)算的結(jié)果值作為當(dāng)前源數(shù)據(jù)的歸一化計(jì)算結(jié)果值。
11、采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組時(shí)，至少配置兩次通道數(shù)據(jù)組的加載處理，其中，
12、每次通道數(shù)據(jù)組加載后，均生成相應(yīng)的歸一化計(jì)算源數(shù)據(jù)集；
13、利用一個(gè)歸一化計(jì)算源數(shù)據(jù)集計(jì)算生成對(duì)應(yīng)的分子項(xiàng)中間數(shù)，利用另一個(gè)歸一化計(jì)算源數(shù)據(jù)集計(jì)算生成對(duì)應(yīng)的分母項(xiàng)中間數(shù)。
14、計(jì)算分母項(xiàng)中間數(shù)時(shí)，包括：
15、對(duì)n個(gè)數(shù)據(jù)通道分別加載的通道數(shù)據(jù)組，計(jì)算每個(gè)數(shù)據(jù)通道相應(yīng)通道數(shù)據(jù)組的通道數(shù)據(jù)累加和以及通道數(shù)據(jù)平方累加和；
16、對(duì)n個(gè)數(shù)據(jù)通道相應(yīng)的通道數(shù)據(jù)累加和進(jìn)行加法運(yùn)算，以計(jì)算生成源數(shù)據(jù)累加和；
17、對(duì)n個(gè)數(shù)據(jù)通道相應(yīng)的通道數(shù)據(jù)平方累加和進(jìn)行加法運(yùn)算，以計(jì)算生成源數(shù)據(jù)平方累加和；
18、基于源數(shù)據(jù)累加和以及源數(shù)據(jù)平方累加和，計(jì)算生成分母項(xiàng)中間數(shù)，其中，所述分母項(xiàng)中間數(shù)為為源數(shù)據(jù)累加和，為源數(shù)據(jù)平方累加和，n為歸一化計(jì)算源數(shù)據(jù)集內(nèi)源數(shù)據(jù)的個(gè)數(shù)，xi為歸一化計(jì)算源數(shù)據(jù)集內(nèi)第i個(gè)源數(shù)據(jù)，ε為常數(shù)。
19、對(duì)分母項(xiàng)中間數(shù)進(jìn)行平方根倒數(shù)運(yùn)算時(shí)，對(duì)分母項(xiàng)中間數(shù)采用插值擬合法進(jìn)行迭代運(yùn)算，以在迭代運(yùn)算后生成分母項(xiàng)目標(biāo)數(shù)。
20、每次通道數(shù)據(jù)組加載時(shí)，配置n個(gè)數(shù)據(jù)通道并行加載相應(yīng)的通道數(shù)據(jù)組。
21、當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第一中間數(shù)時(shí)，對(duì)基于平均數(shù)差距變形式計(jì)算的分子項(xiàng)第一中間數(shù)，則有：
22、
23、其中，n為歸一化計(jì)算源數(shù)據(jù)集內(nèi)源數(shù)據(jù)的個(gè)數(shù)，xa為當(dāng)前源數(shù)據(jù)，為源數(shù)據(jù)累加和。
24、當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第一中間數(shù)，計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)時(shí)，則有：
25、分子項(xiàng)中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算時(shí)，先將分子項(xiàng)第一中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算，以生成歸一化計(jì)算主項(xiàng)基數(shù)，此后，將歸一化計(jì)算主項(xiàng)基數(shù)與可學(xué)習(xí)參數(shù)相乘，以生成歸一化計(jì)算主項(xiàng)數(shù)；
26、或者，
27、分子項(xiàng)中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算時(shí)，先將分子項(xiàng)第一中間數(shù)與可學(xué)習(xí)參數(shù)相乘，并將相乘結(jié)果配置作為分子項(xiàng)第二中間數(shù)；此后，將分子項(xiàng)第二中間數(shù)與分母項(xiàng)目標(biāo)數(shù)相乘，以生成歸一化計(jì)算主項(xiàng)基數(shù)，并將所述歸一化計(jì)算主項(xiàng)基數(shù)作為歸一化計(jì)算主項(xiàng)數(shù)。
28、當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第二中間數(shù)，計(jì)算生成分子項(xiàng)第二中間數(shù)時(shí)，包括：
29、先基于平均數(shù)差距變形式計(jì)算生成分子數(shù)第一中間數(shù)，并將計(jì)算生成的分子數(shù)第一中間數(shù)與可學(xué)習(xí)參數(shù)相乘，且將相乘的結(jié)果配置作為分子項(xiàng)第二中間數(shù)；
30、或者，
31、先將可學(xué)習(xí)參數(shù)與每個(gè)源數(shù)據(jù)相乘，此后，基于平均數(shù)差距變形式計(jì)算生成分子項(xiàng)第二中間數(shù)；
32、計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)時(shí)，則有：
33、將分子項(xiàng)第二中間數(shù)與分母項(xiàng)目標(biāo)數(shù)進(jìn)行相乘運(yùn)算，以生成歸一化計(jì)算主項(xiàng)基數(shù)，并將所述歸一化計(jì)算主項(xiàng)基數(shù)作為歸一化計(jì)算主項(xiàng)數(shù)。
34、還包括數(shù)據(jù)格式轉(zhuǎn)換處理，其中，
35、數(shù)據(jù)格式轉(zhuǎn)換處理時(shí)，包括：
36、將歸一化計(jì)算源數(shù)據(jù)集內(nèi)所有源數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，以生成與每個(gè)源數(shù)據(jù)對(duì)應(yīng)的目標(biāo)格式數(shù)據(jù)，且基于所有的目標(biāo)格式數(shù)據(jù)生成歸一化計(jì)算目標(biāo)格式數(shù)據(jù)集，其中，目標(biāo)格式數(shù)據(jù)的數(shù)據(jù)位寬與源數(shù)據(jù)的數(shù)據(jù)位寬相一致；
37、基于歸一化計(jì)算目標(biāo)格式數(shù)據(jù)集，計(jì)算生成相應(yīng)的歸一化計(jì)算中間數(shù)組、歸一化計(jì)算主項(xiàng)數(shù)以及歸一化計(jì)算結(jié)果值時(shí)，分子項(xiàng)中間數(shù)、分母項(xiàng)中間數(shù)、歸一化計(jì)算主項(xiàng)數(shù)、以及歸一化計(jì)算結(jié)果值相應(yīng)的數(shù)據(jù)位寬均與目標(biāo)格式數(shù)據(jù)相應(yīng)的數(shù)據(jù)位寬相一致；
38、對(duì)上述得到的歸一化計(jì)算結(jié)果值進(jìn)行數(shù)據(jù)格式輸出處理，以經(jīng)數(shù)據(jù)格式輸出處理后生成目標(biāo)輸出格式的歸一化計(jì)算結(jié)果值。
39、一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行裝置，包括加速運(yùn)行處理器，其中，在所述加速運(yùn)行處理器內(nèi)至少部署神經(jīng)網(wǎng)絡(luò)，當(dāng)在神經(jīng)網(wǎng)絡(luò)內(nèi)進(jìn)行歸一化計(jì)算時(shí)，對(duì)歸一化計(jì)算源數(shù)據(jù)集內(nèi)任一的源數(shù)據(jù)，所述加速運(yùn)行處理器采用上述所述的加速運(yùn)行方法進(jìn)行歸一化計(jì)算，并生成當(dāng)前源數(shù)據(jù)對(duì)應(yīng)的歸一化運(yùn)算結(jié)果值。
40、本專利技術(shù)的優(yōu)點(diǎn)：對(duì)歸一化計(jì)算中的歸一化計(jì)算源數(shù)據(jù)，采用多個(gè)數(shù)據(jù)通道并行加載，并采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組，以能提高數(shù)據(jù)的吞吐量和計(jì)算效率；在歸一化計(jì)算時(shí)，采用兩次數(shù)據(jù)傳輸并加載歸一化計(jì)算源數(shù)據(jù)，與現(xiàn)有歸一化計(jì)算相比可，極大節(jié)省了保留輸入和中間變量的硬件面積消耗；方案采用流水線并發(fā)計(jì)算方式，可減少計(jì)算所需的時(shí)間，也即可提高歸一化計(jì)算的效率，降低歸一化計(jì)算的硬件開(kāi)銷(xiāo)成本。
本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，所述加速運(yùn)行方法包括：
2.根據(jù)權(quán)利要求1所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是：采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組時(shí)，至少配置兩次通道數(shù)據(jù)組的加載處理，其中，
3.根據(jù)權(quán)利要求2所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，計(jì)算分母項(xiàng)中間數(shù)時(shí)，包括：
4.根據(jù)權(quán)利要求3所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，對(duì)分母項(xiàng)中間數(shù)進(jìn)行平方根倒數(shù)運(yùn)算時(shí)，對(duì)分母項(xiàng)中間數(shù)采用插值擬合法進(jìn)行迭代運(yùn)算，以在迭代運(yùn)算后生成分母項(xiàng)目標(biāo)數(shù)。
5.根據(jù)權(quán)利要求2所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，每次通道數(shù)據(jù)組加載時(shí)，配置N個(gè)數(shù)據(jù)通道并行加載相應(yīng)的通道數(shù)據(jù)組。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第一中間數(shù)時(shí)，對(duì)基于平均數(shù)差距變形式計(jì)算的分子項(xiàng)第一中間數(shù)，則有：
7.根據(jù)權(quán)利要求6所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第一中間數(shù)，計(jì)算生成歸一化計(jì)算主項(xiàng)數(shù)時(shí)，則有：
8.根據(jù)權(quán)利要求6所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第二中間數(shù)，計(jì)算生成分子項(xiàng)第二中間數(shù)時(shí)，包括：
9.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，還包括數(shù)據(jù)格式轉(zhuǎn)換處理，其中，
10.一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行裝置，其特征是，包括加速運(yùn)行處理器，其中，在所述加速運(yùn)行處理器內(nèi)至少部署神經(jīng)網(wǎng)絡(luò)，當(dāng)在神經(jīng)網(wǎng)絡(luò)內(nèi)進(jìn)行歸一化計(jì)算時(shí)，對(duì)歸一化計(jì)算源數(shù)據(jù)集內(nèi)任一的源數(shù)據(jù)，所述加速運(yùn)行處理器采用上述權(quán)利要求1～權(quán)利要求9中任一項(xiàng)所述的加速運(yùn)行方法進(jìn)行歸一化計(jì)算，并生成當(dāng)前源數(shù)據(jù)對(duì)應(yīng)的歸一化運(yùn)算結(jié)果值。
...
【技術(shù)特征摘要】
1.一種適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，所述加速運(yùn)行方法包括：
2.根據(jù)權(quán)利要求1所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是：采用流水線并發(fā)計(jì)算方式計(jì)算生成歸一化計(jì)算中間數(shù)組時(shí)，至少配置兩次通道數(shù)據(jù)組的加載處理，其中，
3.根據(jù)權(quán)利要求2所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，計(jì)算分母項(xiàng)中間數(shù)時(shí)，包括：
4.根據(jù)權(quán)利要求3所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，對(duì)分母項(xiàng)中間數(shù)進(jìn)行平方根倒數(shù)運(yùn)算時(shí)，對(duì)分母項(xiàng)中間數(shù)采用插值擬合法進(jìn)行迭代運(yùn)算，以在迭代運(yùn)算后生成分母項(xiàng)目標(biāo)數(shù)。
5.根據(jù)權(quán)利要求2所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，每次通道數(shù)據(jù)組加載時(shí)，配置n個(gè)數(shù)據(jù)通道并行加載相應(yīng)的通道數(shù)據(jù)組。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的適于神經(jīng)網(wǎng)絡(luò)歸一化計(jì)算的加速運(yùn)行方法，其特征是，當(dāng)分子項(xiàng)中間數(shù)為分子項(xiàng)第...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：肖佐楠，湯遙，沈贄，匡啟和，鄭茳，
申請(qǐng)(專利權(quán))人：蘇州國(guó)芯科技股份有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。