【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于深度學(xué)習(xí)模型量化優(yōu)化，具體涉及到一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法。
技術(shù)介紹
1、現(xiàn)有技術(shù)中，深度學(xué)習(xí)模型的量化通常采用int8量化方法，以減少模型的存儲和計(jì)算需求。然而，全int8量化可能導(dǎo)致模型精度下降，尤其在關(guān)鍵性能指標(biāo)(pr)上出現(xiàn)顯著的掉點(diǎn)問題。為了解決這一問題，提出了混合精度量化的方法，即部分層使用int8量化，而其他層使用fp16精度，但是現(xiàn)有的混合精度量化方法大多需要手動(dòng)調(diào)整，缺乏自動(dòng)化的調(diào)優(yōu)過程，導(dǎo)致運(yùn)行效率低。
技術(shù)實(shí)現(xiàn)思路
1、針對上述問題，本專利技術(shù)的主要目的在于設(shè)計(jì)一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，通過全精度模型調(diào)優(yōu)混合精度模型，解決混合精度量化調(diào)優(yōu)過程中，手動(dòng)調(diào)整帶來的運(yùn)行效率低的技術(shù)問題。
2、為了實(shí)現(xiàn)上述目的本專利技術(shù)采用如下技術(shù)方案：
3、一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，該方法通過全精度模型調(diào)優(yōu)混合精度模型和全量化模型，以獲得調(diào)優(yōu)后的混合精度模型，具體包括如下步驟：
4、步驟1：在量化調(diào)優(yōu)的初始化階段，通過python構(gòu)建程序鏈路進(jìn)行變量初始化，所述變量包括精度和召回率；
5、步驟2：加載預(yù)先訓(xùn)練并轉(zhuǎn)換為onnx格式的深度學(xué)習(xí)模型，以及模型量化工具得到的校準(zhǔn)表；
6、步驟3：基于步驟2的深度學(xué)習(xí)模型和校準(zhǔn)表，將步驟2的深度學(xué)習(xí)模型轉(zhuǎn)換為int8量化模型，并將第一版int8模型作為量化調(diào)優(yōu)的起點(diǎn)；
7、步驟4：預(yù)設(shè)測試集，基于該測試集并通過全精度模型與當(dāng)前迭
8、步驟5：針對迭代的精度和召回率未達(dá)到初始設(shè)定的閾值的int8模型進(jìn)行混合精度調(diào)整，并生成新的混合精度模型；
9、步驟6：按照步驟4再次計(jì)算新的混合精度模型的精度和召回率，并基于精度和召回率評估新的混合精度模型的性能，根據(jù)結(jié)果判斷是否繼續(xù)迭代或者恢復(fù)步驟5的混合精度調(diào)整配置；
10、步驟7：持續(xù)迭代，直至計(jì)算的精度和召回率達(dá)到初始設(shè)定的閾值，并在每次迭代中通過日志文件保存日志信息。
11、作為本專利技術(shù)進(jìn)一步的描述，所述步驟1中，所述變量初始化包括：設(shè)定pr目標(biāo)，所述pr目標(biāo)為精度和召回率的初始設(shè)定的閾值，用于評價(jià)混合精度模型與全精度模型檢測性能匹配度。
12、作為本專利技術(shù)進(jìn)一步的描述，所述步驟1中，在量化調(diào)優(yōu)的初始化階段，還包括創(chuàng)建日志文件，所述日志文件為文本文件，用于記錄量化調(diào)優(yōu)的迭代輪次、初始網(wǎng)絡(luò)層精度配置信息、每輪迭代后混合精度模型與全精度模型比對得到的準(zhǔn)確率、召回率指標(biāo)，以及混合精度模型的推理耗時(shí)。
13、作為本專利技術(shù)進(jìn)一步的描述，所述步驟2中，深度學(xué)習(xí)模型的加載為，使用兼容onnx的框架加載預(yù)先訓(xùn)練并轉(zhuǎn)換為onnx格式的深度學(xué)習(xí)模型，確保onnx格式的深度學(xué)習(xí)模型文件可訪問，并通過相應(yīng)api進(jìn)行加載。
14、作為本專利技術(shù)進(jìn)一步的描述，所述步驟2中，校準(zhǔn)表的加載為，獲取由模型量化工具tensorrt生成的量化校準(zhǔn)表，該量化校準(zhǔn)表包含深度學(xué)習(xí)模型中被int8量化的層的量化因子，通過tensorrt的api或工具鏈加載校準(zhǔn)表文件。
15、作為本專利技術(shù)進(jìn)一步的描述，所述步驟3中，使用量化轉(zhuǎn)換器converter將深度學(xué)習(xí)模型轉(zhuǎn)換為int8量化模型，包括如下步驟：
16、s31：使用量化轉(zhuǎn)換器converter，調(diào)用tensorrt提供的api接口，該api接口傳入的信息包括onnx格式的深度學(xué)習(xí)模型和校準(zhǔn)表；
17、s32：量化轉(zhuǎn)換器converter執(zhí)行轉(zhuǎn)換操作，生成第一版int8量化模型；
18、s33：將第一版int8量化模型作為量化調(diào)優(yōu)的起點(diǎn)。
19、作為本專利技術(shù)進(jìn)一步的描述，所述步驟4中，預(yù)設(shè)一個(gè)包含若干目標(biāo)的測試集a，則混合精度模型的性能的評估包括如下步驟：
20、s41：使用全精度模型在測試集a上進(jìn)行推理，得到結(jié)果b，并將結(jié)果b作為評估性能的真值；
21、s42：使用當(dāng)前迭代得到的混合精度模型，在測試集a上進(jìn)行推理，得到結(jié)果c，將結(jié)果c作為預(yù)測值；
22、s43：將結(jié)果b和結(jié)果c進(jìn)行定量分析，通過定量分析結(jié)果，計(jì)算精度precision和召回率recall，表達(dá)式為：
23、
24、其中，sum_match為結(jié)果b與結(jié)果c匹配的總目標(biāo)個(gè)數(shù)，sum_gt為真值的總目標(biāo)個(gè)數(shù)，sum_pred為預(yù)測值的總目標(biāo)個(gè)數(shù)；
25、s44：根據(jù)得到的精度和召回率，評估混合精度模型的性能，即精度和召回率滿足初始設(shè)定的閾值，則認(rèn)為混合精度模型性能良好，未滿足初始設(shè)定的閾值，則需要進(jìn)一步的優(yōu)化。
26、作為本專利技術(shù)進(jìn)一步的描述，所述步驟5中，混合精度調(diào)整為：使用量化工具針對校準(zhǔn)表的層配置信息進(jìn)行調(diào)整，隨機(jī)刪除校準(zhǔn)表末尾的某個(gè)層，將部分接近int8模型的輸出層設(shè)置為fp16或者fp32精度。
27、作為本專利技術(shù)進(jìn)一步的描述，所述步驟7中，迭代中止的條件為，精度和召回率達(dá)到初始設(shè)定的閾值或者達(dá)到刪除層的閾值，刪除層的閾值為混合精度模型中允許的最多n層設(shè)置為fp16或者fp32。
28、相對于現(xiàn)有技術(shù)，本專利技術(shù)的技術(shù)效果為：
29、本專利技術(shù)提供了一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，通過全精度模型調(diào)優(yōu)混合精度模型，自動(dòng)化混合精度量化調(diào)優(yōu)的過程，減少人工干預(yù)，提高調(diào)優(yōu)效率，其迭代策略，通過隨機(jī)刪除和恢復(fù)層來優(yōu)化模型，能夠逐步逼近最優(yōu)配置，提高模型精度，且基于pr關(guān)鍵指標(biāo)的自動(dòng)評估和決策機(jī)制，靈活適應(yīng)不同模型和校準(zhǔn)表，具有廣泛的適用性，同時(shí)，通過詳細(xì)的日志記錄，提供了可追溯性，便于分析和復(fù)現(xiàn)調(diào)優(yōu)過程。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于，該方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟1中，所述變量初始化包括：設(shè)定PR目標(biāo)，所述PR目標(biāo)為精度和召回率的初始設(shè)定的閾值，用于評價(jià)混合精度模型與全精度模型檢測性能匹配度。
3.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟1中，在量化調(diào)優(yōu)的初始化階段，還包括創(chuàng)建日志文件，所述日志文件為文本文件，用于記錄量化調(diào)優(yōu)的迭代輪次、初始網(wǎng)絡(luò)層精度配置信息、每輪迭代后混合精度模型與全精度模型比對得到的準(zhǔn)確率、召回率指標(biāo)，以及混合精度模型的推理耗時(shí)。
4.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟2中，深度學(xué)習(xí)模型的加載為，使用兼容ONNX的框架加載預(yù)先訓(xùn)練并轉(zhuǎn)換為ONNX格式的深度學(xué)習(xí)模型，確保ONNX格式的深度學(xué)習(xí)模型文件可訪問，并通過相應(yīng)API進(jìn)行加載。
5.根據(jù)權(quán)利要求4所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟2中，校準(zhǔn)表的加載為，獲取由模
6.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟3中，使用量化轉(zhuǎn)換器Converter將深度學(xué)習(xí)模型轉(zhuǎn)換為INT8量化模型，包括如下步驟：
7.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟4中，預(yù)設(shè)一個(gè)包含若干目標(biāo)的測試集A，則混合精度模型的性能的評估包括如下步驟：
8.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟5中，混合精度調(diào)整為：使用量化工具針對校準(zhǔn)表的層配置信息進(jìn)行調(diào)整，隨機(jī)刪除校準(zhǔn)表末尾的某個(gè)層，將部分接近INT8模型的輸出層設(shè)置為FP16或者FP32精度。
9.根據(jù)權(quán)利要求8所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟7中，迭代中止的條件為，精度和召回率達(dá)到初始設(shè)定的閾值或者達(dá)到刪除層的閾值，刪除層的閾值為混合精度模型中允許的最多N層設(shè)置為FP16或者FP32。
...【技術(shù)特征摘要】
1.一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于，該方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟1中，所述變量初始化包括：設(shè)定pr目標(biāo)，所述pr目標(biāo)為精度和召回率的初始設(shè)定的閾值，用于評價(jià)混合精度模型與全精度模型檢測性能匹配度。
3.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟1中，在量化調(diào)優(yōu)的初始化階段，還包括創(chuàng)建日志文件，所述日志文件為文本文件，用于記錄量化調(diào)優(yōu)的迭代輪次、初始網(wǎng)絡(luò)層精度配置信息、每輪迭代后混合精度模型與全精度模型比對得到的準(zhǔn)確率、召回率指標(biāo)，以及混合精度模型的推理耗時(shí)。
4.根據(jù)權(quán)利要求1所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟2中，深度學(xué)習(xí)模型的加載為，使用兼容onnx的框架加載預(yù)先訓(xùn)練并轉(zhuǎn)換為onnx格式的深度學(xué)習(xí)模型，確保onnx格式的深度學(xué)習(xí)模型文件可訪問，并通過相應(yīng)api進(jìn)行加載。
5.根據(jù)權(quán)利要求4所述的一種全自動(dòng)混合精度模型量化調(diào)優(yōu)方法，其特征在于：所述步驟2中，校準(zhǔn)表的加載為，獲取由模型量...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：謝曉汶，余俊峰，吳育春，龐梓維，葛鵬輝，劉豹，岳邦珊，郗上，衡量，
申請(專利權(quán))人：上海友道智途科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。