基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其存儲介質制造方法及圖紙

本發明專利技術涉及一種基于計算機視覺實現生產線裝配流程行為監測的系統，其中，該系統包括圖像檢測處理模塊，用于獲取系統預設目標對象的視頻幀圖像；目標識別處理模塊，用于獲取預設目標對象的參數信息；信息校準與存儲處理模塊，用于存儲標準校準信息，得到相應的監測結果；報警提示處理模塊，用于根據得到的監測結果，判斷是否進行報警處理；信息顯示與提示處理模塊，用于顯示報警提示處理模塊監測到的錯誤信息，并根據所述的待校準信息給出正確的提示操作。本發明專利技術還涉及一種相應的方法、裝置、處理器及其存儲介質。采用了本發明專利技術的該系統、方法、裝置、處理器及其存儲介質，能夠智能化實現在生產過程中，避免由于工人不正當操作而導致產品質量問題。產品質量問題。產品質量問題。

【技術實現步驟摘要】
基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其存儲介質


[0001]本專利技術涉及計算機視覺
，尤其涉及神經網絡模型和深度學習的人工智能領域，具體是指一種基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其計算機可讀存儲介質。

技術介紹

[0002]近年來，隨著人工智能的快速發展，深度學習網絡由于通過組合底層特征形成高層特征，受環境變化的影響較小，在計算機視覺領域取得了突破性成果，尤其在物體的檢測與識別上得到的極大的提升中，在某些特定的應用場景，甚至超過了人類的識別準確度。
[0003]智能制造是當前提升我國制造業的水平和競爭力的重要方向，通過人工智能解決制造環節的問題，提升生產效率具有重要的意義。在產品生產的組裝階段，工人在安裝高價值的服務器配件之前都需要經過長時間的培訓，并且安裝過程中必須再次認真閱讀工藝流程，一旦裝錯或者次序顛倒會導致產品質量問題。如何通過人工智能有效解決和降低這一質量問題，是制造型企業面臨的一個難題。
[0004]在服務器生產過程中，服務器主板在安裝配件時必須按照指定次序進行安裝，單個配件在安裝時必須安裝指定的方向進行安裝，一旦次序顛倒或者配件方向不對會造成質量隱患。目前生產企業嚴重依賴人工操作，暫時沒有智能化的附件防呆檢測系統幫助企業解決這一難題。

技術實現思路

[0005]本專利技術的目的是克服了上述現有技術的缺點，提供了一種智能化的具有自動糾正與引導作用的基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其存儲介質。
[0006]為了實現上述目的，本專利技術的基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其存儲介質如下：
[0007]該基于計算機視覺實現生產線裝配流程行為監測的系統，其主要特點是，所述的系統包括：
[0008]圖像檢測處理模塊，用于獲取系統預設目標對象的視頻幀圖像；
[0009]目標識別處理模塊，與所述的圖像檢測處理模塊相連接，用于根據所述的預設目標對象的視頻幀圖像獲取相應的預設目標對象的參數信息；
[0010]信息校準與存儲處理模塊，與所述的目標識別處理模塊相連接，用于存儲標準校準信息，并與獲取到的預設目標對象的參數信息進行對比，得到相應的監測結果；
[0011]報警提示處理模塊，與所述的信息校準與存儲處理模塊相連接，用于根據所述的信息校準與存儲處理模塊得到的監測結果，判斷是否進行報警處理；以及
[0012]信息顯示與提示處理模塊，與所述的報警提示處理模塊相連接，用于顯示所述的
報警提示處理模塊監測到的錯誤信息，并根據所述的待校準信息給出正確的提示操作。
[0013]較佳地，所述的預設目標對象的視頻幀圖像具體包括：
[0014]配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像。
[0015]較佳地，所述的標準校準信息具體包括：
[0016]配件類型標準信息、配件插座類型標準信息、服務器單板類型標準信息以及服務器單板狀態標準信息。
[0017]該利用上述系統實現基于計算機視覺的生產線裝配流程行為監測的方法，其主要特點是，所述的方法包括以下步驟：
[0018](1)利用所述的圖像檢測處理模塊，獲取指定位置處的標準識別視頻幀圖像；
[0019](2)將所述的標準識別視頻幀圖像進行數據標注，并將其輸入到深度學習算法中進行參數訓練，獲取訓練后的標準算法模型；
[0020](3)系統預設目標對象開始工作，所述的圖像檢測處理模塊獲取所述的系統預設目標對象在裝配過程中的待識別視頻幀圖像；
[0021](4)將所述的待識別視頻幀圖像輸入到YOLOv5深度神經網絡，并根據預先訓練好的所述的標準算法模型，獲取當前各個部件的裝配狀態；
[0022](5)根據所述的裝配狀態判斷是否進行報警與提示處理，直至各個部件均滿足安裝需求后，完成行為監測。
[0023]較佳地，所述的步驟(1)具體為：
[0024]利用所述的圖像檢測處理模塊，獲取當前所述的指定位置處的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像。
[0025]較佳地，所述的步驟(2)具體包括以下步驟：
[0026](2.1)將獲取到所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像進行待識別區域的數據標注；
[0027](2.2)將進行數據標注處理后的所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像輸入到深度學習算法中進行標準參數訓練，獲取訓練后的標準算法模型；
[0028](2.3)將所述的標準算法模型作為后續監測實施階段的對比參考。
[0029]較佳地，所述的步驟(3)具體包括以下步驟：
[0030](3.1)系統預設目標對象在指定位置上進行部件裝配；
[0031](3.2)所述的圖像檢測處理模塊采集當前指定位置處的待識別視頻幀圖像，包括：配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像。
[0032]較佳地，所述的步驟(4)具體包括以下步驟：
[0033](4.1)將所述的配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像輸入到所述的YOLOv5深度神經網絡中進行識別處理；
[0034](4.2)利用識別出的服務器單板類型確定當前所處位置的完整工藝操作流程；
[0035](4.3)根據服務器單板上各個配件插座的安裝狀態獲取當前系統預設目標對象的待操作步驟以及各個部件的正確安裝方向和位置；
[0036](4.4)將采集到的所述的配件類型圖像與當前待操作步驟需安裝的配件類型進行
對比處理。
[0037]較佳地，所述的步驟(5)具體包括以下步驟：
[0038](5.1)如果所述的配件類型圖像與當前待操作步驟需安裝的配件類型一致，則識別通過；否則，進入步驟(5.2)；
[0039](5.2)所述的報警提示處理模塊執行報警處理，并通過所述的信息顯示與提示處理模塊在顯示器上給出該裝配流程需正確安裝的配件、配件的正確安裝方向以及位置信息；
[0040](5.3)將安裝完成后采集到的配件插座裝配結構圖像輸入到所述的標準算法模型中進行識別，判斷配件以及配件插座是否與當前指定位置所需的配件以及配件插座一致，如果一致，則進入步驟(5.4)，否則，進入步驟(5.5)；
[0041](5.4)系統匹配識別成功，配件安裝正確，所述的顯示器顯示PASS通過；
[0042](5.5)系統匹配識別失敗，配件安裝錯誤，所述的顯示器顯示FAIL失敗，并作出告警提示。
[0043]該用于實現基于計算機視覺的生產線裝配流程行為監測的裝置，其主要特點是，所述的裝置包括：
[0044本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的系統包括：圖像檢測處理模塊，用于獲取系統預設目標對象的視頻幀圖像；目標識別處理模塊，與所述的圖像檢測處理模塊相連接，用于根據所述的預設目標對象的視頻幀圖像獲取相應的預設目標對象的參數信息；信息校準與存儲處理模塊，與所述的目標識別處理模塊相連接，用于存儲標準校準信息，并與獲取到的預設目標對象的參數信息進行對比，得到相應的監測結果；報警提示處理模塊，與所述的信息校準與存儲處理模塊相連接，用于根據所述的信息校準與存儲處理模塊得到的監測結果，判斷是否進行報警處理；以及信息顯示與提示處理模塊，與所述的報警提示處理模塊相連接，用于顯示所述的報警提示處理模塊監測到的錯誤信息，并根據所述的待校準信息給出正確的提示操作。2.根據權利要求1所述的基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的預設目標對象的視頻幀圖像具體包括：配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像。3.根據權利要求2所述的基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的標準校準信息具體包括：配件類型標準信息、配件插座類型標準信息、服務器單板類型標準信息以及服務器單板狀態標準信息。4.一種利用權利要求3所述的系統實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的方法包括以下步驟：(1)利用所述的圖像檢測處理模塊，獲取指定位置處的標準識別視頻幀圖像；(2)將所述的標準識別視頻幀圖像進行數據標注，并將其輸入到深度學習算法中進行參數訓練，獲取訓練后的標準算法模型；(3)系統預設目標對象開始工作，所述的圖像檢測處理模塊獲取所述的系統預設目標對象在裝配過程中的待識別視頻幀圖像；(4)將所述的待識別視頻幀圖像輸入到YOLOv5深度神經網絡，并根據預先訓練好的所述的標準算法模型，獲取當前各個部件的裝配狀態；(5)根據所述的裝配狀態判斷是否進行報警與提示處理，直至各個部件均滿足安裝需求后，完成行為監測。5.根據權利要求4所述的實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的步驟(1)具體為：利用所述的圖像檢測處理模塊，獲取當前所述的指定位置處的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像。6.根據權利要求5所述的實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的步驟(2)具體包括以下步驟：(2.1)將獲取到所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像進行待識別區域的數據標注；(2.2)將進行數據標注處理后的所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像輸入到深度學習算法中進行標準參
數訓練，獲取訓練后的標準算法...

【專利技術屬性】
技術研發人員：邱亮，
申請(專利權)人：上海鉑端科技有限公司，
類型：發明
國別省市：