本發明專利技術公開了一種基于模型量化的工業缺陷檢測方法及系統，方法包括：對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型；將量化后的缺陷檢測模型設置為工業內窺鏡的啟動程序，獲取工業內窺鏡拍攝的周圍環境圖像或視頻；調用量化后的缺陷檢測模型結合圖像高低分辨率映射推理方法對周圍環境圖像或視頻的數據進行實時推理檢測得到檢測結果。可以將提出的模型加速方法應用到目標檢測模型中實現推理加速，并將加速后的模型部署到工業內窺鏡設備當中，能夠同時進行單幀圖片以及視頻流的高速推理，同時將檢測方法部署到工業內窺鏡設備當中，借助工業內窺鏡的體積小等優勢實現對狹小空間和非直線型等工業環境下的缺陷檢測任務。
【技術實現步驟摘要】
本專利技術屬于缺陷檢測，具體涉及一種基于模型量化的工業缺陷檢測方法及系統。
技術介紹
1、目標檢測作為當今計算機視覺領域中的一個熱門研究方向，已經被科學家持續探索和研究很多年了。目標檢測任務的主要目的是在一張圖或者是一段視頻中，將其中出現的物體例如：一輛車、一個人、一只狗等檢測出來，并以合適的邊界框標定，在其周圍標出該目標的置信度和最終的分類類別。上述闡述的是一般傳統意義上目標檢測任務的大致流程，具體到不同的應用場景和需求當中，可能最終任務的輸出方式會有較大的不同。目標檢測也是對圖像理解最本質的技術，是解決其他一些高級視覺識別技術的基礎，如：場景理解、圖像分割、動作識別等。目標檢測技術的應用場景非常廣泛，這些場景主要包括：無人機偵察定位、人臉檢測、垃圾檢測等，并且在工業制造中的零部件缺陷檢測，小區物業的安防方面等也均有很多已經實現的業務流程。
2、缺陷檢測作為計算機視覺技術在工業生產場景下的一個典型應用，已經有了很長時間的發展。從最開始使用基于傳統圖像處理技術到后來基于簡單機器學習技術再到后來由于深度學習技術的發展以及目標檢測技術的廣泛應用，產生了基于卷積神經網絡的缺陷檢測流程。缺陷檢測技術的目的是在工業環境下對拍攝到的抽檢產品圖像、視頻中的缺陷對象位置進行定位和分類，并結合其他軟硬件系統將結果反饋給質量檢測部門，輔助部門完成對生產產品的缺陷識別，這樣不僅幫助了工人們快速定位產品缺陷，并進行及時地整改，而且使得廠商生產產品質量得到一定程度的提升，進而不斷提升自身的產品競爭力，為用戶提供更好的服務和質量保證。
<
p>3、近年來，在傳統的工業生產制造的過程中，由于在一定時間內工件的生產量較大，企業單純安排大量人力對制造出來的工件表面存在的裂紋，凹點等缺陷進行人工肉眼識別檢測，一方面耗費了大量的人力物力，另一方面上述檢查過程帶來的員工高強度用眼會導致部分較微小缺陷無法被檢測到。這種情況可以說是制約工廠提升生產工件質量的關鍵因素。目前，隨著人工智能技術的發展，國內外大力推進智能制造產業發展，人工智能技術的應用越來越廣泛，采用機器視覺檢測實現復雜工件表面缺陷的精準定位和識別的檢測技術已逐漸成熟。4、缺陷檢測技術的進步與發展最后都要落到對模型的實際部署與應用上，因此，對檢測模型部署系統的研究就顯得格外重要。但現有的缺陷檢測系統，較多數采用的方案為：在終端設備采集圖像，然后通過無線或有限網絡上傳至后端服務器中，后端服務器使用檢測模型對接收到的圖像進行處理和檢測，之后再將檢測結果信息發送至終端設備進行顯示。雖然上述流程實現了前端采集圖像和后端檢測處理流程的解耦，但是仍無法滿足對檢測結果實時性要求較高的場景。此外，很多現有的缺陷檢測系統往往只可以對單幀圖像進行推理，而不能對視頻流進行推理，即便可以推理但由于fps（畫面每秒幀數）較低，會產生較大的重影，進而影響正常使用。
5、除了上述介紹的一種典型缺陷檢測系統外，隨著工業市場近年來對缺陷檢測系統要求由原來的精度導向逐漸向精度和速度雙導向轉變，越來越多兼顧精度和速度的缺陷檢測系統相繼出現并應用。但是這些系統往往在模型推理側采用顯卡加速推理，這意味著會產生高昂的系統部署費用和后續的維護成本。這對很多企業來說都是一筆不小的開支。同時，由于采用顯卡加速推理，所以在設計設備尺寸的同時需要兼顧所搭載的顯卡大小。但是這樣就會導致體積較大的設備在很多工業場景，例如：狹小密閉空間、非直線區域等無法使用，造成很多不便。
6、綜上所述，現有的缺陷檢測設備要么只考慮了精度需求，而對檢測速度考慮較少；要么雖然綜合考慮了檢測設備的精度和速度要求，但由于設備設計尺寸過大，使用場景將會受到很多限制。
技術實現思路
1、本專利技術的目的在于克服現有的缺陷檢測設備在滿足精度和速度要求下場景使用受限的問題，提出了一種基于模型量化的工業缺陷檢測方法及系統。
2、為達到上述目的，本專利技術采用如下技術方案：
3、一種基于模型量化的工業缺陷檢測方法，包括以下步驟：
4、對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型；
5、將量化后的缺陷檢測模型設置為工業內窺鏡的啟動程序，獲取工業內窺鏡拍攝的周圍環境圖像或視頻；
6、調用量化后的缺陷檢測模型結合圖像高低分辨率映射推理方法對周圍環境圖像或視頻的數據進行實時推理檢測得到檢測結果。
7、進一步地，所述對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型包括以下步驟：
8、對缺陷檢測模型進行權重轉換獲得中間形式模型
9、對中間形式模型進行量化得到量化后的模型；
10、封裝量化后的模型得到量化后的缺陷檢測模型。
11、進一步地，所述對缺陷檢測模型進行權重轉換獲得中間形式模型具體為：將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型；
12、所述缺陷檢測模型的權重為pth權重，所述中間形式權重為onnx權重，所述中間形式模型為onnx中間形式模型；
13、所述量化為int8量化，所述量化后的模型為onnx量化模型；
14、所述封裝使用c++語言并結合opencv庫，封裝過程中定義向外暴露函數訪問接口。
15、進一步地，所述int8量化包括如下步驟：
16、確定量化范圍，找出待量化權重的最小值和待量化權重的最大值后，使用縮放系數計算公式和零點計算公式計算得到縮放系數和零點，利用縮放系數和零點將onnx模型的原始浮點權重轉換為int8整數；
17、所述縮放系數計算公式如下所示：
18、
19、其中，
scale為縮放系數，為待量化權重的最小值，為待量化權重的最大值，int8量化的值的范圍為[-128,127]；
20、所述零點計算公式如下所示：
21、
22、其中，為零點，為待量化權重的最大值，
scale為縮放系數，int8量化的值的范圍為[-128,127]；
23、所述利用縮放系數和零點將onnx模型的原始浮點權重轉換為int8整數采用下式進行：
24、
25、其中，為int8量化后的模型權重，為onnx模型中間形式模型的權重，
round()用于將數字四舍五入到指定的小數位數
，forw?in表示對中每個網絡系數
w進行循環操作，
scale為縮放系數，為零點。
26、進一步地，將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型具體為：
27、對pth權重采用pth轉onnx工具，設置模型路徑與模型輸入大小后在終端運行轉換腳本文件，在目標路徑下得到轉換后的本文檔來自技高網
...
【技術保護點】
1.一種基于模型量化的工業缺陷檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型包括以下步驟：
3.根據權利要求2所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對缺陷檢測模型進行權重轉換獲得中間形式模型具體為：將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型；
4.根據權利要求3所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述int8量化包括如下步驟：
5.根據權利要求3所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型具體為：
6.根據權利要求5所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對周圍環境圖像或視頻進行缺陷檢測包括：創建缺陷檢測模型的結構體和推理函數，對單幀圖像進行缺陷檢測或對多幀視頻進行缺陷檢測；缺陷檢測模型的結構體的信息包括模型置信度閾值和onnx模型推理運行session對象；推理函數包括resize_image函數、normalize函數、nms函數和detect函數；
7.根據權利要求6所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述圖像高低分辨率映射推理方法包括如下步驟：
8.一種基于模型量化的工業缺陷檢測系統，其特征在于，包括封裝量化檢測模塊，用于對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型；
9.一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現權利要求1-7任一項中所述的一種基于模型量化的工業缺陷檢測方法。
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-7任一項中所述的一種基于模型量化的工業缺陷檢測方法。
...
【技術特征摘要】
1.一種基于模型量化的工業缺陷檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對缺陷檢測模型使用模型量化法進行加速并封裝后得到量化后的缺陷檢測模型包括以下步驟：
3.根據權利要求2所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對缺陷檢測模型進行權重轉換獲得中間形式模型具體為：將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型；
4.根據權利要求3所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述int8量化包括如下步驟：
5.根據權利要求3所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，將缺陷檢測模型的權重轉換為中間形式權重獲得中間形式模型具體為：
6.根據權利要求5所述的一種基于模型量化的工業缺陷檢測方法，其特征在于，所述對周圍環境圖像或視頻進行缺陷檢測包括：創建缺陷檢測模型的結構體和推理函數，對單幀圖像進行缺陷檢測或...
【專利技術屬性】
技術研發人員：魏平，王洋洋，毛凱，練逸揚，
申請(專利權)人：西安交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。