【技術實現步驟摘要】
本公開涉及計算機，具體地，涉及一種模型量化方法、裝置、介質以及電子設備。
技術介紹
1、模型量化是指將浮點計算模型轉換為低比特的定點計算模型，從而有效地降低模型的計算強度、參數大小以及內存消耗。但是，在相關技術中，無論采用何種模型量化技術，均不可避免地給模型帶來巨大的精度損失。因此，如何在維持模型精度不變或者僅僅損失較小精度的情況下，對模型進行量化，成為亟需解決的技術問題。
技術實現思路
1、提供該
技術實現思路
部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該
技術實現思路
部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。
2、第一方面，本公開提供一種模型量化方法，包括：
3、根據初始量化位寬，對初始模型進行量化，獲得量化模型，其中所述初始模型為圖像類型的模型、文本類型的模型、音頻類型的模型中的一種；
4、將所述初始模型作為所述量化模型的教師模型，對所述量化模型進行蒸餾訓練，獲得訓練后的量化模型；
5、減小所述初始量化位寬，獲得目標量化位寬；
6、將所述目標量化位寬作為所述初始量化位寬，以及將所述訓練后的量化模型作為所述初始模型，返回執行根據初始量化位寬，對初始模型進行量化，獲得量化模型的步驟，直至所述目標量化位寬達到目標閾值，并將達到所述目標閾值的所述目標量化位寬對應的所述訓練后的量化模型確定為訓練完成的量化模型。
7、第二方面，本
8、量化模塊，被配置為根據初始量化位寬，對初始模型進行量化，獲得量化模型，其中所述初始模型為圖像類型的模型、文本類型的模型、音頻類型的模型中的一種；
9、訓練模塊，被配置為將所述初始模型作為所述量化模型的教師模型，對所述量化模型進行蒸餾訓練，獲得訓練后的量化模型；
10、獲得模塊，被配置為減小所述初始量化位寬，獲得目標量化位寬；
11、循環模塊，被配置為將所述目標量化位寬作為所述初始量化位寬，以及將所述訓練后的量化模型作為所述初始模型，返回所述量化模塊，直至所述目標量化位寬達到目標閾值，并將達到所述目標閾值的所述目標量化位寬對應的所述訓練后的量化模型確定為訓練完成的量化模型。
12、第三方面，本公開提供一種計算機可讀介質，其上存儲有計算機程序，該程序被處理裝置執行時實現第一方面所述方法的步驟。
13、第四方面，本公開提供一種電子設備，包括：
14、存儲裝置，其上存儲有計算機程序；
15、處理裝置，用于執行所述存儲裝置中的所述計算機程序，以實現第一方面所述方法的步驟。
16、基于上述技術方案，通過根據初始量化位寬，對初始模型進行量化，獲得量化模型，將初始模型作為量化模型的教師模型，對量化模型進行蒸餾訓練，獲得訓練后的量化模型，然后減小初始量化位寬，獲得目標量化位寬，進而將目標量化位寬作為初始量化位寬，以及將訓練后的量化模型作為初始模型，繼續對初始模型進行量化，直至目標量化位寬達到目標閾值，并將達到目標閾值的目標量化位寬對應的訓練后的量化模型確定為訓練完成的量化模型，可以將上一量化位寬的模型作為當前的量化模型的教師模型，對當前的量化模型進行蒸餾訓練，從而保證量化后的模型的精度能夠進一步提升。而且，通過將上一量化位寬的模型作為當前的量化模型的教師模型進行蒸餾訓練，可以使用參數量差異不大的模型進行蒸餾訓練，進一步保證了低比特的量化模型的精度的穩定性。
17、本公開的其他特征和優點將在隨后的具體實施方式部分予以詳細說明。
本文檔來自技高網...【技術保護點】
1.一種模型量化方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述初始模型作為所述量化模型的教師模型，對所述量化模型進行蒸餾訓練，獲得訓練后的量化模型，包括：
3.根據權利要求2所述的方法，其特征在于，所述根據所述第一損失以及所述第二損失，構建總損失函數，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據所述第一損失、所述第二損失以及所述第三損失，構建所述總損失函數，包括：
5.根據權利要求4所述的方法，其特征在于，所述第一自適應參數以及所述第二自適應參數通過以下步驟確定：
6.根據權利要求5所述的方法，其特征在于，所述根據所述量化模型的第一梯度值以及所述初始模型的第二梯度值，確定所述第一自適應參數以及所述第二自適應參數，包括：
7.根據權利要求6所述的方法，其特征在于，所述根據所述第一梯度下降幅度以及所述第二梯度下降幅度，確定所述第一自適應參數以及所述第二自適應參數，包括：
8.一種模型量化裝置，其特征在于，包括：
9.一種計算機可讀介質，其上存儲
10.一種電子設備，其特征在于，包括：
...【技術特征摘要】
1.一種模型量化方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述初始模型作為所述量化模型的教師模型，對所述量化模型進行蒸餾訓練，獲得訓練后的量化模型，包括：
3.根據權利要求2所述的方法，其特征在于，所述根據所述第一損失以及所述第二損失，構建總損失函數，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據所述第一損失、所述第二損失以及所述第三損失，構建所述總損失函數，包括：
5.根據權利要求4所述的方法，其特征在于，所述第一自適應參數以及所述第二自適應參數通過以下步驟確定：
【專利技術屬性】
技術研發人員：郭若愚，
申請(專利權)人：北京有竹居網絡技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。