System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 日韩免费a级毛片无码a∨,精品久久无码中文字幕,亚洲精品无码成人片久久不卡 
  • 

  • 
<ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>
    

    

    
    
      
    
          
          
    
            
    
                
    
                    
    
                        
    
                            
    一種基于語法層轉換的TVM量化模型的構建方法及相關裝置制造方法及圖紙
    
                            
    技術編號：44060238 閱讀：1 留言：0更新日期：2025-01-17 16:01
    
                        
    
                        
    
                            
                            本發明專利技術屬于人工智能技術領域，公開一種基于語法層轉換的TVM量化模型的構建方法及相關裝置；所述方法包括：獲取待參數量化模型的PyTorch模型文件和量化參數文件；在PyTorch框架中導入所述PyTorch模型文件，獲取模型推理的Python推理腳本；根據語法規則，逐行解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本；在TVM框架中解析轉換后的TVM?relay推理腳本，并保存為TVM模型文件；根據所述量化參數文件，計算并生成量化后的TVM模型參數文件。本發明專利技術解決了tvm架構中直接量化模型精度不夠的問題，且相比傳統基于計算圖語義轉換的構建方法，具有程序簡單、易于調試和擴展的優點。
    
                            
                            
    


    
                            

                            
    【技術實現步驟摘要】
    
                                
    本專利技術屬于人工智能，特別涉及一種基于語法層轉換的tvm量化模型的構建方法及相關裝置。

    技術介紹
    1、參數量化是一種在深度學習領域廣泛應用的模型壓縮與加速技術，它通過減少模型參數的表示位數來降低模型的計算和存儲開銷。參數量化是指將深度學習模型中的參數（如權重、激活值等）從原始的浮點數表示（通常是32位）轉換為較低位寬的定點數或整數表示（如16位、8位、4位、2位甚至1位）。
    2、參數量化的優點在于減少存儲空間和內存占用：通過降低參數的位寬，可以顯著減少模型參數的存儲空間和運行時內存占用。例如，將32位浮點型參數量化為8位整型，可以縮小約75%的存儲空間。參數量化能夠加快運算速度：較低位寬的參數在硬件上更容易處理，可以加快模型的運算速度。同時，讀取和處理較低位寬的參數所需的帶寬和功耗也更低。參數量化能夠提升邊緣設備部署能力：對于計算資源有限的邊緣設備和嵌入式設備來說，參數量化使得深度學習模型更容易在這些設備上部署和運行。
    3、參數量化可以減小模型大小，提高計算效率，方便專用硬件加速，甚至提高模型泛化能力，是神經網絡實用化部署的關鍵步驟，也是tvm（tensor?virtual?machine，意為張量虛擬機，一款開源的、端到端的深度學習模型編譯框架）一個關鍵模塊。目前tvm框架的量化算法有限，導致構建出的一些tvm量化模型精度下降。一些第三方模型量化工具中的更優算法不能被tvm框架直接使用。為tvm框架新增量化算法或傳統基于計算圖語義解析和轉換的方法，存在代碼量大，結構復雜、調試和維護難的問題。
    <p>4、因此，亟需一種更簡便高效的tvm量化模型構建方法。

    技術實現思路
    1、本專利技術的目的在于提供一種基于語法層轉換的tvm量化模型的構建方法及相關裝置，用于解決現有方法構建的tvm量化模型結構復雜、調試和維護難的技術問題。
    2、為了實現上述目的，本專利技術采用如下技術方案：
    3、第一方面，本專利技術提供一種基于語法層轉換的tvm量化模型的構建方法，包括：
    4、獲取待參數量化模型的pytorch模型文件和量化參數文件；
    5、在pytorch框架中導入所述pytorch模型文件，獲取模型推理的python推理腳本；
    6、根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本；
    7、在tvm框架中解析轉換后的tvm?relay推理腳本，并保存為tvm模型文件；
    8、根據所述量化參數文件，對所述tvm模型文件進行量化，生成量化后的tvm模型參數文件。
    9、本專利技術進一步的改進在于：所述結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟，包括：
    10、判斷是否需要量化計算算子，若需要量化計算算子，則參考所述量化參數文件，在tvm?relay推理腳本中插入相應的量化計算操作語句；
    11、基于量化計算操作語句對計算算子量化，基于量化后的計算算子結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本。
    12、本專利技術進一步的改進在于：所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvmrelay推理腳本的步驟中，通過將python腳本在語法層逐行轉換為tvm?relay語法，實現將python推理腳本轉換為tvm?relay推理腳本。
    13、本專利技術進一步的改進在于：所述獲取待參數量化模型的pytorch模型文件和量化參數文件的步驟，具體包括：
    14、運行第三方模型量化工具對待參數量化的模型進行處理，得到pytorch模型文件和量化參數文件；所述第三方模型量化工具為tensorflow?lite、tensorrt、paddleslim或pytorch。
    15、本專利技術進一步的改進在于：所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvmrelay推理腳本的步驟中，所述語法規則包括python腳本解析語法定義和relay腳本生成語法定義，其中：
    16、python腳本解析語法定義包括變量定義、操作定義及參數定義；
    17、relay腳本生成語法定義包括變量定義、操作定義及參數定義，且操作定義中包括多種量化相關的操作。
    18、本專利技術進一步的改進在于：所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvmrelay推理腳本的步驟中，所述語法轉換規則具體為：
    19、將python推理腳本中的變量、操作及參數，按照relay腳本的語法規則進行轉換，形成對應的tvm?relay推理腳本。
    20、本專利技術進一步的改進在于：所述將解析后的python推理腳本轉換為tvm?relay推理腳本的過程中，如果遇到需量化計算算子，參考量化參數文件，在tvm?relay推理中插入相應的量化計算操作語句的步驟中，針對需要量化的計算算子，從量化參數文件中讀取量化參數，生成對應的relay量化計算操作語句；所述量化參數包括輸入尺度、輸入偏移、權重尺度、權重偏移、輸出尺度和輸出偏移中的至少一種。
    21、第二方面，本專利技術提供一種基于語法層轉換的tvm量化模型的構建裝置，包括：
    22、模型量化工具運行模塊，用于獲取待參數量化模型的pytorch模型文件和量化參數文件；
    23、python腳本獲取模塊，用于在pytorch框架中導入所述pytorch模型文件，獲取模型推理的python推理腳本；
    24、語法轉換模塊，用于根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本；
    25、tvm模型生成模塊，用于在tvm框架中解析轉換后的tvm?relay推理腳本，并保存為tvm模型文件；
    26、量化參數計算模塊，用于根據所述量化參數文件，對所述tvm模型文件進行量化，生成量化后的tvm模型參數文件。
    27、本專利技術進一步的改進在于：所述結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟中，判斷是否需要量化計算算子，若需要量化計算算子，則參考所述量化參數文件，在tvm?relay推理腳本中插入相應的量化計算操作語句；
    28、基于量化計算操作語句對計本文檔來自技高網...
                            
    
                            
    【技術保護點】
    
                                
    1.一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，包括：
    2.根據權利要求1所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟，包括：
    3.根據權利要求1所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，通過將Python腳本在語法層逐行轉換為TVM?relay語法，實現將Python推理腳本轉換為TVM?relay推理腳本。
    4.根據權利要求1所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述獲取待參數量化模型的PyTorch模型文件和量化參數文件的步驟，具體包括：
    5.根據權利要求1所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，所述語法規則包括Python腳本解析語法定義和Relay腳本生成語法定義，其中：
    6.根據權利要求5所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，所述語法轉換規則具體為：
    7.根據權利要求2所述的一種基于語法層轉換的TVM量化模型的構建方法，其特征在于，所述將解析后的Python推理腳本轉換為TVM?relay推理腳本的過程中，如果遇到需量化計算算子，參考量化參數文件，在TVM?relay推理中插入相應的量化計算操作語句的步驟中，針對需要量化的計算算子，從量化參數文件中讀取量化參數，生成對應的Relay量化計算操作語句；所述量化參數包括輸入尺度、輸入偏移、權重尺度、權重偏移、輸出尺度和輸出偏移中的至少一種。
    8.一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，包括：
    9.根據權利要求8所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，判斷是否需要量化計算算子，若需要量化計算算子，則參考所述量化參數文件，在TVM?relay推理腳本中插入相應的量化計算操作語句；
    10.根據權利要求8所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，通過將Python腳本語法層逐行轉換為TVM?relay語法，實現將Python推理腳本轉換為TVM?relay推理腳本。
    11.根據權利要求8所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述獲取待參數量化模型的PyTorch模型文件和量化參數文件的步驟，具體包括：
    12.根據權利要求8所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，所述語法規則包括Python腳本解析語法定義和Relay腳本生成語法定義，其中：
    13.根據權利要求12所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述根據語法規則，解析所述Python推理腳本，并結合PyTorch模型文件中模型信息，根據語法轉換規則，將解析后的Python推理腳本轉換為TVM?relay推理腳本的步驟中，所述語法轉換規則具體為：
    14.根據權利要求9所述的一種基于語法層轉換的TVM量化模型的構建裝置，其特征在于，所述將解析后的Python推理腳本轉換為TVM?relay推理腳本的過程中，如果遇到需量化計算算子，參考量化參數文件，在TVM?relay推理中插入相應的量化計算操作語句的步驟中，針對需要量化的計算算子，從量化參數文件中讀取量化參數，生成對應的R...
                            
    
                            
    【技術特征摘要】
    
                                
    1.一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，包括：
    2.根據權利要求1所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟，包括：
    3.根據權利要求1所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟中，通過將python腳本在語法層逐行轉換為tvm?relay語法，實現將python推理腳本轉換為tvm?relay推理腳本。
    4.根據權利要求1所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述獲取待參數量化模型的pytorch模型文件和量化參數文件的步驟，具體包括：
    5.根據權利要求1所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟中，所述語法規則包括python腳本解析語法定義和relay腳本生成語法定義，其中：
    6.根據權利要求5所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述根據語法規則，解析所述python推理腳本，并結合pytorch模型文件中模型信息，根據語法轉換規則，將解析后的python推理腳本轉換為tvm?relay推理腳本的步驟中，所述語法轉換規則具體為：
    7.根據權利要求2所述的一種基于語法層轉換的tvm量化模型的構建方法，其特征在于，所述將解析后的python推理腳本轉換為tvm?relay推理腳本的過程中，如果遇到需量化計算算子，參考量化參數文件，在tvm?relay推理中插入相應的量化計算操作語句的步驟中，針對需要量化的計算算子，從量化參數文件中讀取量化參數，生成對應的relay量化計算操作語句；所述量化參數包括輸入尺度、輸入偏移、權重尺度、權重偏移、輸出尺度和輸出偏移中的至少一種。
    8.一種基于語法層轉換的tvm量化模型的構建裝置，其特征在于，包括：
    9.根據權利要求8所述的一種基于語法層轉換的tvm量化模型的構建裝...
                            
    
                            
    【專利技術屬性】
    
                                技術研發人員：林龍，楊訸，史存存，王劉旺，羅華峰，于軍，
    
        申請(專利權)人：國網智能電網研究院有限公司，
    
        類型：發明
    
        國別省市：
    
                            
    
                            
                        
    
                    
    
                    
                    
                     
                
    
                
                
    
                    
    
                        網友詢問留言
                        已有0條評論
                    
    
                    
    
                        
    
                            
      
                                
    • 
                                
						

      還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。
      


                              
                            
    
                            
    
                                 1 

                            
    
                        
    
                        
                        
    
                            
    
                              
                            
    
                            
                        
    
                    
    
                
    
            
    
              
             
          
    
      
    
    
    

    
    
    




  


主站蜘蛛池模板：
中文字幕在线无码一区|
久久无码av亚洲精品色午夜|
人妻丝袜无码专区视频网站|
av潮喷大喷水系列无码|
人妻系列AV无码专区|
日韩爆乳一区二区无码|
曰韩精品无码一区二区三区|
亚洲a∨无码男人的天堂|
无码人妻精品一区二区三区久久久|
精品久久久久久无码人妻|
亚洲av永久无码|
无码人妻一区二区三区在线水卜樱|
一夲道dvd高清无码|
无码国内精品人妻少妇蜜桃视频|
亚洲av永久无码精品秋霞电影影院|
久久亚洲精品无码AV红樱桃|
无码人妻精品一区二区三区蜜桃|
国产成人综合日韩精品无码|
中文成人无码精品久久久不卡|
国产成人无码av|
无码中文字幕一区二区三区|
日韩人妻无码精品久久免费一|
亚洲日韩精品A∨片无码加勒比|
亚洲Aⅴ无码一区二区二三区软件|
亚洲6080yy久久无码产自国产|
十八禁视频在线观看免费无码无遮挡骂过|
精品久久久无码人妻中文字幕豆芽|
亚洲男人在线无码视频|
亚洲日韩国产二区无码|
人妻中文字系列无码专区|
人妻丰满熟妇无码区免费|
岛国av无码免费无禁网站|
亚洲AV无码日韩AV无码导航|
精品无码久久久久国产动漫3d|
久久国产三级无码一区二区|
国产AV无码专区亚汌A√|
亚洲国产成人精品无码区在线观看|
亚洲精品～无码抽插|
国产成人亚洲精品无码AV大片|
亚洲成在人线在线播放无码|
亚洲日韩乱码中文无码蜜桃|