【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及計(jì)算機(jī)，主要涉及了一種量化處理方法及相關(guān)裝置。
技術(shù)介紹
1、隨著深度學(xué)習(xí)技術(shù)在各領(lǐng)域的廣泛應(yīng)用，涌現(xiàn)了大量比中央處理器(centralprocessing?unit/processor，cpu)、圖形處理器(graphics?processing?unit，gpu)等傳統(tǒng)架構(gòu)更高效的人工智能(artificial?intelligence，ai)芯片。
2、目前，本領(lǐng)域技術(shù)人員除使用tensorflow、caffe、pytorch等開源框架之外，還使用自研的ai運(yùn)算框架，例如，magicmind等自研框架，提高了ai運(yùn)算的多樣性。為了減小存儲(chǔ)需求，提升網(wǎng)絡(luò)模型推理速度，還在自研框架上構(gòu)造了量化算子。然而，自研框架和開源框架存在區(qū)別，如何提高量化算子的適用性是本領(lǐng)域技術(shù)人員待解決的技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種量化處理方法及相關(guān)裝置，可識(shí)別量化算子的精度。
2、第一方面，本申請(qǐng)實(shí)施例提供一種量化處理裝置，包括：
3、存儲(chǔ)單元，用于存儲(chǔ)量化請(qǐng)求；其中，量化請(qǐng)求包括自定義的量化功能；
4、模型構(gòu)造單元，用于從存儲(chǔ)單元獲取量化功能并基于量化功能得到對(duì)應(yīng)的參考計(jì)算算子以構(gòu)造模擬量化模型；
5、參數(shù)確定單元，用于根據(jù)模擬量化模型的輸入數(shù)據(jù)的范圍和權(quán)值數(shù)據(jù)的范圍確定量化參數(shù)；以及
6、計(jì)算單元，用于基于模擬量化模型的輸入數(shù)據(jù)和權(quán)值數(shù)據(jù)及量化參數(shù)對(duì)模擬量化模型進(jìn)行計(jì)算以獲取量化結(jié)果。
<...【技術(shù)保護(hù)點(diǎn)】
1.一種量化處理裝置，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述模型構(gòu)造單元具體用于在所述參考計(jì)算算子之前插入量化函數(shù)對(duì)應(yīng)的節(jié)點(diǎn)，且在所述參考計(jì)算算子之后插入反量化函數(shù)對(duì)應(yīng)的節(jié)點(diǎn)，得到模擬量化模型。
3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述參數(shù)確定單元具體用于運(yùn)行所述模擬量化模型的權(quán)值數(shù)據(jù)對(duì)應(yīng)的常量節(jié)點(diǎn)模型，得到所述權(quán)值數(shù)據(jù)的數(shù)據(jù)信息；基于所述權(quán)值數(shù)據(jù)的數(shù)據(jù)信息確定所述權(quán)值數(shù)據(jù)的范圍；以及基于所述權(quán)值數(shù)據(jù)的范圍確定所述權(quán)值數(shù)據(jù)的量化參數(shù)。
4.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述模型構(gòu)造單元還用于分別在所述模擬量化模型的輸入數(shù)據(jù)和權(quán)值數(shù)據(jù)對(duì)應(yīng)的節(jié)點(diǎn)之后插入?yún)⒖挤秶瘮?shù)對(duì)應(yīng)的節(jié)點(diǎn)，得到第一圖優(yōu)化節(jié)點(diǎn)模型；
5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，還包括：
6.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述量化結(jié)果包括所述輸入數(shù)據(jù)的第一輸出結(jié)果，所述存儲(chǔ)單元還用于存儲(chǔ)所述輸入數(shù)據(jù)在所述量化功能對(duì)應(yīng)的設(shè)計(jì)框架中運(yùn)算得到的第二輸出結(jié)果；
7.一種量化處理方法，其特征在于，
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述通過所述模型構(gòu)造單元從所述存儲(chǔ)單元獲取所述量化功能并基于所述量化功能得到對(duì)應(yīng)的參考計(jì)算算子以構(gòu)造模擬量化模型，包括：
9.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述通過所述參數(shù)確定單元根據(jù)所述模擬量化模型的輸入數(shù)據(jù)的范圍和權(quán)值數(shù)據(jù)的范圍確定量化參數(shù)，包括：
10.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，還包括：
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述量化處理裝置還包括判斷單元，所述方法還包括：
12.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述量化結(jié)果包括所述輸入數(shù)據(jù)的第一輸出結(jié)果，所述存儲(chǔ)單元還用于存儲(chǔ)所述輸入數(shù)據(jù)在所述量化功能對(duì)應(yīng)的設(shè)計(jì)框架中運(yùn)算得到的第二輸出結(jié)果；
13.一種計(jì)算機(jī)設(shè)備，其特征在于，包括處理器、存儲(chǔ)器、通信接口以及一個(gè)或多個(gè)程序，其中，所述一個(gè)或多個(gè)程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置由所述處理器執(zhí)行，所述程序包括用于執(zhí)行權(quán)利要求7-12中任一項(xiàng)方法中的步驟的指令。
14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行以實(shí)現(xiàn)權(quán)利要求7-12中任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種量化處理裝置，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述模型構(gòu)造單元具體用于在所述參考計(jì)算算子之前插入量化函數(shù)對(duì)應(yīng)的節(jié)點(diǎn)，且在所述參考計(jì)算算子之后插入反量化函數(shù)對(duì)應(yīng)的節(jié)點(diǎn)，得到模擬量化模型。
3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述參數(shù)確定單元具體用于運(yùn)行所述模擬量化模型的權(quán)值數(shù)據(jù)對(duì)應(yīng)的常量節(jié)點(diǎn)模型，得到所述權(quán)值數(shù)據(jù)的數(shù)據(jù)信息；基于所述權(quán)值數(shù)據(jù)的數(shù)據(jù)信息確定所述權(quán)值數(shù)據(jù)的范圍；以及基于所述權(quán)值數(shù)據(jù)的范圍確定所述權(quán)值數(shù)據(jù)的量化參數(shù)。
4.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述模型構(gòu)造單元還用于分別在所述模擬量化模型的輸入數(shù)據(jù)和權(quán)值數(shù)據(jù)對(duì)應(yīng)的節(jié)點(diǎn)之后插入?yún)⒖挤秶瘮?shù)對(duì)應(yīng)的節(jié)點(diǎn)，得到第一圖優(yōu)化節(jié)點(diǎn)模型；
5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，還包括：
6.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述量化結(jié)果包括所述輸入數(shù)據(jù)的第一輸出結(jié)果，所述存儲(chǔ)單元還用于存儲(chǔ)所述輸入數(shù)據(jù)在所述量化功能對(duì)應(yīng)的設(shè)計(jì)框架中運(yùn)算得到的第二輸出結(jié)果；
7.一種量化處理方法，其特征在于，應(yīng)用于量化處理裝置，所述量化處理裝置包括存儲(chǔ)單元、模型構(gòu)造單元、參數(shù)確定單元和計(jì)算單元，所述存儲(chǔ)單元中存儲(chǔ)有量化請(qǐng)求，所述量化請(qǐng)求包括自定...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：請(qǐng)求不公布姓名，
申請(qǐng)(專利權(quán))人：寒武紀(jì)西安集成電路有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。