【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于深度學(xué)習(xí)領(lǐng)域，尤其是一種用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法和系統(tǒng)。
技術(shù)介紹
1、隨著深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、自然語(yǔ)言處理和語(yǔ)音識(shí)別等領(lǐng)域的廣泛應(yīng)用，模型規(guī)模和計(jì)算復(fù)雜度呈指數(shù)級(jí)增長(zhǎng)。例如，gpt-3模型參數(shù)量達(dá)到1750億，一次推理計(jì)算需要數(shù)千萬(wàn)億次浮點(diǎn)運(yùn)算(tflops)算力。在邊緣計(jì)算和移動(dòng)設(shè)備等資源受限場(chǎng)景下，如何降低模型存儲(chǔ)開銷和計(jì)算復(fù)雜度，同時(shí)保持模型性能，已成為深度學(xué)習(xí)領(lǐng)域的關(guān)鍵挑戰(zhàn)。神經(jīng)網(wǎng)絡(luò)量化通過(guò)將高精度浮點(diǎn)數(shù)轉(zhuǎn)換為低位寬定點(diǎn)數(shù)，可以顯著減少模型大小和計(jì)算開銷，是解決上述問(wèn)題的重要技術(shù)路徑。
2、目前，神經(jīng)網(wǎng)絡(luò)量化主要包括訓(xùn)練后量化(post-training?quantization，?ptq)和量化感知訓(xùn)練(quantization-aware?training，?qat)兩類方法。ptq方法直接對(duì)預(yù)訓(xùn)練模型進(jìn)行量化，實(shí)現(xiàn)簡(jiǎn)單但精度損失較大。典型的ptq方法包括對(duì)稱均勻量化、非均勻量化和基于kl散度的量化等。qat方法在訓(xùn)練過(guò)程中引入量化操作，通過(guò)反向傳播對(duì)量化參數(shù)進(jìn)行優(yōu)化，可以獲得更好的量化精度。現(xiàn)有qat方法主要采用靜態(tài)量化策略，即為網(wǎng)絡(luò)所有層配置相同的量化參數(shù)；或基于簡(jiǎn)單啟發(fā)式規(guī)則進(jìn)行差異化配置，如根據(jù)層的深度或計(jì)算類型選擇量化位寬。
3、然而，現(xiàn)有量化方法仍存在以下技術(shù)問(wèn)題：首先，缺乏系統(tǒng)的網(wǎng)絡(luò)層量化敏感度評(píng)估機(jī)制，難以準(zhǔn)確識(shí)別和量化不同層對(duì)量化操作的敏感程度，導(dǎo)致量化參數(shù)配置缺乏理論依據(jù)；其次，傳統(tǒng)的靜態(tài)量化策略未考慮訓(xùn)練過(guò)程中網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)變化，量化參數(shù)無(wú)法自
技術(shù)實(shí)現(xiàn)思路
1、專利技術(shù)目的，提供一種用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法和系統(tǒng)，以期能夠解決現(xiàn)有技術(shù)存在的至少一個(gè)技術(shù)問(wèn)題。
2、技術(shù)方案，用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，包括如下步驟：
3、s1、獲取原始神經(jīng)網(wǎng)絡(luò)模型和驗(yàn)證數(shù)據(jù)集，通過(guò)計(jì)算層級(jí)敏感度指標(biāo)數(shù)據(jù)、拓?fù)渲匾葦?shù)據(jù)和綜合敏感度分?jǐn)?shù)，生成層敏感度矩陣；
4、s2、基于層敏感度矩陣和預(yù)存儲(chǔ)的量化參數(shù)范圍數(shù)據(jù)，為網(wǎng)絡(luò)各層分配量化參數(shù)并構(gòu)建量化約束，生成初始量化配置表；
5、s3、獲取原始網(wǎng)絡(luò)參數(shù)，基于原始網(wǎng)絡(luò)參數(shù)和初始量化配置表，構(gòu)建誤差補(bǔ)償機(jī)制，生成誤差補(bǔ)償矩陣和補(bǔ)償策略表；
6、s4、基于初始量化配置表、誤差補(bǔ)償矩陣和補(bǔ)償策略表，執(zhí)行雙尺度自適應(yīng)量化訓(xùn)練，生成訓(xùn)練狀態(tài)指標(biāo)；
7、s5、基于訓(xùn)練狀態(tài)指標(biāo)和預(yù)存儲(chǔ)的資源約束條件，動(dòng)態(tài)調(diào)整量化參數(shù)配置，生成優(yōu)化后的模型參數(shù)；
8、s6、基于優(yōu)化后的模型參數(shù)和預(yù)存儲(chǔ)的測(cè)試數(shù)據(jù)集，評(píng)估模型性能和資源效率，生成模型性能指標(biāo)和資源消耗報(bào)告。
9、用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練系統(tǒng)，包括：
10、至少一個(gè)處理器；以及，
11、與至少一個(gè)所述處理器通信連接的存儲(chǔ)器；其中，
12、所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的指令，所述指令用于被所述處理器執(zhí)行以實(shí)現(xiàn)所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法。
13、有益效果，本專利技術(shù)實(shí)現(xiàn)了網(wǎng)絡(luò)各層量化特性的精確建模，保證了訓(xùn)練過(guò)程的穩(wěn)定性；實(shí)現(xiàn)了量化誤差的精確控制和資源的高效利用，提升了量化訓(xùn)練的綜合性能；同時(shí)在減少量化位寬的同時(shí)，降低了模型精度損失，提升了訓(xùn)練速度和資源利用效率，為深度神經(jīng)網(wǎng)絡(luò)的高效部署提供了有力支持。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S1進(jìn)一步為：
3.根據(jù)權(quán)利要求2所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S2進(jìn)一步為：
4.根據(jù)權(quán)利要求3所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S3進(jìn)一步為：
5.根據(jù)權(quán)利要求4所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S4進(jìn)一步為：
6.根據(jù)權(quán)利要求5所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S5進(jìn)一步為：
7.根據(jù)權(quán)利要求6所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S6進(jìn)一步為：
8.根據(jù)權(quán)利要求7所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S11進(jìn)一步為：
9.根據(jù)權(quán)利要求7所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟S23進(jìn)一步為：
10.用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練系統(tǒng)，其特征在于，包括：
【技術(shù)特征摘要】
1.用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟s1進(jìn)一步為：
3.根據(jù)權(quán)利要求2所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟s2進(jìn)一步為：
4.根據(jù)權(quán)利要求3所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟s3進(jìn)一步為：
5.根據(jù)權(quán)利要求4所述的用于深度神經(jīng)網(wǎng)絡(luò)的量化訓(xùn)練方法，其特征在于，步驟s4進(jìn)一步為：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：羅曉彤，王培松，胡慶浩，張一帆，程健，
申請(qǐng)(專利權(quán))人：中科南京人工智能創(chuàng)新研究院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。