制造行業(yè)現場工藝的異常操作行為檢測方法及裝置制造方法及圖紙

本發(fā)明專利技術公開了制造行業(yè)現場工藝的異常操作行為檢測方法，包括：獲取目標區(qū)域監(jiān)控視頻，并檢測其對應的監(jiān)控圖像是否存在操作體；若是，從監(jiān)控圖像的當前幀開始，逐幀獲取監(jiān)控圖像中的第一操作體和第一被操作體，并確定第一操作體和第一被操作體是否與預設第一操作場景圖像中一致；若是，則確實目標監(jiān)控圖像中的第一位置關系與第一標準位置關系是否一致；若是，則認為第一個工序已正常執(zhí)行，并繼續(xù)對目標監(jiān)控圖像的下一幀圖像進行檢測。與現有技術相比，本發(fā)明專利技術僅需要確定監(jiān)控視頻中是否按現場工藝的發(fā)生順序出現預設的操作場景圖像，其操作過程簡單，且無需創(chuàng)建復雜的深度學習算法模型，降低了對檢測設備的計算力要求，從而降低了檢測成本。了檢測成本。

【技術實現步驟摘要】
制造行業(yè)現場工藝的異常操作行為檢測方法及裝置


[0001]本專利技術涉及圖像檢測的
，尤其涉及制造行業(yè)現場工藝的異常操作行為檢測方法及裝置。

技術介紹

[0002]智能制造是利用現代信息技術和人工智能技術來實現智能化、自動化、柔性化生產的一種制造方式，已經成為了全球制造業(yè)發(fā)展的重要趨勢。智能制造的引入和應用，可以降低生產成本，提高產品質量和生產效率，為制造業(yè)提供更強的競爭力和創(chuàng)新能力，從而推動制造業(yè)向高端、智能化方向發(fā)展，促進產業(yè)轉型升級。
[0003]在現代化制造業(yè)中，為了保證產品的合格率，需要對生產的產品進行檢測。現有技術中，存在對生產得到的最終形態(tài)的產品進行檢測的系統(tǒng)，但是這種檢測系統(tǒng)無法檢測到以人工操作為主的工序因工作人員操作不規(guī)范帶來的缺陷，導致產品的不合格率提升；例如：在安裝電路板CPU的散熱片之前，需要對CPU表面涂抹硅脂，之后再安裝散熱片，涂抹硅脂這一步驟屬于隱蔽工藝，當散熱片安裝之后，對整體產品進行檢測是無法辨別是否已經進行了硅脂涂抹這一操作的，而這一操作會直接影響電路板的使用效果。
[0004]針對上述問題，研究人員又提出了針對產品的操作工序進行監(jiān)督檢查的方法，例如：在公開號為CN111709437A的中國專利中，提出了一種面向石油化工行業(yè)現場工藝行為的異常行為檢測方法，該檢測方法基于無監(jiān)督學習的工控系統(tǒng)態(tài)勢理解算法，結合精餾塔現場實時數據，通過自編碼器和K
?
means等無監(jiān)督學習算法對系統(tǒng)的正常工況進行建模，并以此作為基準來得到每個時刻系統(tǒng)狀態(tài)與正常工況的偏離程度來作為安全態(tài)勢要素，在時間維度上對其進行融合計算，得到系統(tǒng)當前態(tài)勢，為后續(xù)態(tài)勢預測階段提供數據基礎，在計算出的狀態(tài)偏離正常工況狀態(tài)超出預設閾值時，觸發(fā)危險警告；但是這種檢測方法方案復雜，使用的算法對檢測設備計算力要求非常高，會大幅增加產品的生產及檢測成本。

技術實現思路

[0005]本專利技術提供一種制造行業(yè)現場工藝的異常操作行為檢測方法及裝置，能夠更為簡單的對制造行業(yè)現場工藝的異常操作行為進行檢測，解決現有技術對檢測設備計算力要求高的技術問題，降低產品的生產及檢測成本。
[0006]為達到上述目的，本專利技術采用如下技術方案：
[0007]第一方面，本專利技術提供了制造行業(yè)現場工藝的異常操作行為檢測方法，該方法包括：獲取目標區(qū)域的監(jiān)控視頻，并檢測所述監(jiān)控視頻對應的監(jiān)控圖像中是否存在操作體；所述目標區(qū)域為執(zhí)行操作工藝的區(qū)域，所述操作體為執(zhí)行所述操作工藝的主體；
[0008]在檢測到存在所述操作體后，從所述監(jiān)控圖像的當前幀開始，逐幀獲取所述監(jiān)控圖像中的第一操作體和第一被操作體，并確定所述第一操作體和所述第一被操作體是否與預設第一操作場景圖像中的第一標準操作體和第一標準被操作體一致；所述預設第一操作場景圖像為所述操作工藝的第一個工序對應的標準操作場景，所述操作場景包括操作體、
被操作體以及所述操作體和所述被操作體的位置關系；
[0009]對于所述第一操作體和所述第一被操作體分別與所述第一標準操作體和所述第一標準被操作體一致的目標監(jiān)控圖像，確定所述目標監(jiān)控圖像中的所述第一操作體和所述第一被操作體的第一位置關系；
[0010]若所述第一位置關系與所述第一標準操作體和所述第一標準被操作體的第一標準位置關系一致，則確定所述第一個工序已正確執(zhí)行，繼續(xù)對所述目標監(jiān)控圖像對應的下一幀圖像中的操作體和被操作體進行檢測，以確定所述下一幀圖像中的操作場景是否與下一個工序對應的標準操作場景一致，直至所述監(jiān)控視頻中的全部圖像幀均被檢測完成；
[0011]若所述第一位置關系與所述第一標準操作體和所述第一標準被操作體的第一標準位置關系不一致，繼續(xù)對所述目標監(jiān)控圖像對應的下一幀圖像中的操作體和被操作體進行檢測，直至檢測到所述下一幀圖像中的操作體和被操作體與所述第一標準操作體和第一標準被操作體一致，且所述第一位置關系與所述第一標準位置關系一致，則確定所述第一個工序正確執(zhí)行；或，直至所述監(jiān)控視頻的最后一幀都未檢測到所述第一位置關系與所述第一標準位置關系一致的監(jiān)控圖像，則確定所述第一個工序執(zhí)行異常，輸出告警信息。
[0012]在一種可能的實現方式中，所述確定所述第一操作體和所述第一被操作體是否與預設第一操作場景圖像中的第一標準操作體和第一標準被操作體一致，具體包括：
[0013]從基元數據庫獲取所述預設第一操作場景圖像中包括所述第一標準被操作體的不同姿態(tài)的單體圖像；
[0014]基于所述不同姿態(tài)的單體圖像，通過預設目標檢測算法識別所述第一被操作體，并確認所述第一被操作體是否為所述第一標準被操作體；
[0015]通過預設姿態(tài)檢測算法對預設檢測點進行檢測，以識別所述第一操作體，并確認所述第一操作體是否為所述第一標準操作體；所述預設檢測點為多個所述第一操作體的特征點。
[0016]在一種可能的實現方式中，所述確定所述目標監(jiān)控圖像中的所述第一操作體和所述第一被操作體的第一位置關系，具體包括：
[0017]基于預設姿態(tài)檢測算法識別所述第一操作體，并將所述第一操作體的位置以多個關鍵點表示；所述關鍵點的位置根據識別到的所述特征點的位置確定；
[0018]基于預設目標檢測算法識別所述目標監(jiān)控圖像中的所述第一被操作體，并將所述第一被操作體的位置以目標框表示；
[0019]根據多個所述關鍵點與所述目標框的交疊程度、以及所述目標框之間的交疊程度確定所述第一操作體和所述第一被操作體的第一位置關系。
[0020]在一種可能的實現方式中，所述根據多個所述關鍵點與所述目標框的交疊程度、以及所述目標框之間的交疊程度確定所述第一操作體和所述第一被操作體的第一位置關系，具體包括：
[0021]獲取位于所述目標框內的所述關鍵點的數量，并根據所述數量與預設第一閾值的大小，確定所述第一操作體和所述第一被操作體之間的第一相對關系；所述第一相對關系包括接觸與分離，在所述數量大于所述預設第一閾值時，所述第一操作體和所述第一被操作體之間接觸；
[0022]獲取多個所述第一被操作體的目標框的交疊部分面積占多個所述第一被操作體
的目標框的總面積的比值，并根據所述比值與第二預設閾值的大小，確定多個所述第一被操作體之間的第二相對關系；所述第二相對關系包括接觸與分離，在所述比值大于所述預設第二閾值時，所述多個所述第一被操作體之間分離；
[0023]根據所述第一相對關系和所述第二相對關系確定所述第一位置關系。
[0024]在一種可能的實現方式中，在所述繼續(xù)對所述目標監(jiān)控圖像對應的下一幀圖像中的操作體和被操作體進行檢測，以確定所述下一幀圖像中的操作場景是否與下一個工序對應的標準操作場景一致之后，所述方法還包括：
[0025]若所述監(jiān)控視頻對應的監(jiān)控圖像中的操作場景與最后一個工序對應的標準操作場景一致，輸出檢測通過信息。
[0026]在一種可能的實現方式中，在所述在檢測到存在所述操作體后，從所述監(jiān)控圖像的當前幀開始，逐幀獲取所述監(jiān)控圖像中的第一操作體本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.制造行業(yè)現場工藝的異常操作行為檢測方法，其特征在于，包括：獲取目標區(qū)域的監(jiān)控視頻，并檢測所述監(jiān)控視頻對應的監(jiān)控圖像中是否存在操作體；所述目標區(qū)域為執(zhí)行操作工藝的區(qū)域，所述操作體為執(zhí)行所述操作工藝的主體；在檢測到存在所述操作體后，從所述監(jiān)控圖像的當前幀開始，逐幀獲取所述監(jiān)控圖像中的第一操作體和第一被操作體，并確定所述第一操作體和所述第一被操作體是否與預設第一操作場景圖像中的第一標準操作體和第一標準被操作體一致；所述預設第一操作場景圖像為所述操作工藝的第一個工序對應的標準操作場景，所述操作場景包括操作體、被操作體以及所述操作體和所述被操作體的位置關系；對于所述第一操作體和所述第一被操作體分別與所述第一標準操作體和所述第一標準被操作體一致的目標監(jiān)控圖像，確定所述目標監(jiān)控圖像中的所述第一操作體和所述第一被操作體的第一位置關系；若所述第一位置關系與所述第一標準操作體和所述第一標準被操作體的第一標準位置關系一致，則確定所述第一個工序已正確執(zhí)行，繼續(xù)對所述目標監(jiān)控圖像對應的下一幀圖像中的操作體和被操作體進行檢測，以確定所述下一幀圖像中的操作場景是否與下一個工序對應的標準操作場景一致，直至所述監(jiān)控視頻中的全部圖像幀均被檢測完成；若所述第一位置關系與所述第一標準操作體和所述第一標準被操作體的第一標準位置關系不一致，繼續(xù)對所述目標監(jiān)控圖像對應的下一幀圖像中的操作體和被操作體進行檢測，直至檢測到所述下一幀圖像中的操作體和被操作體與所述第一標準操作體和第一標準被操作體一致，且所述第一位置關系與所述第一標準位置關系一致，則確定所述第一個工序正確執(zhí)行；或，直至所述監(jiān)控視頻的最后一幀都未檢測到所述第一位置關系與所述第一標準位置關系一致的監(jiān)控圖像，則確定所述第一個工序執(zhí)行異常，輸出告警信息。2.根據權利要求1所述的檢測方法，其特征在于，所述確定所述第一操作體和所述第一被操作體是否與預設第一操作場景圖像中的第一標準操作體和第一標準被操作體一致，具體包括：從基元數據庫獲取所述預設第一操作場景圖像中包括所述第一標準被操作體的不同姿態(tài)的單體圖像；基于所述不同姿態(tài)的單體圖像，通過預設目標檢測算法識別所述第一被操作體，并確認所述第一被操作體是否為所述第一標準被操作體；通過預設姿態(tài)檢測算法對預設檢測點進行檢測，以識別所述第一操作體，并確認所述第一操作體是否為所述第一標準操作體；所述預設檢測點為多個所述第一操作體的特征點。3.根據權利要求2所述的檢測方法，其特征在于，所述確定所述目標監(jiān)控圖像中的所述第一操作體和所述第一被操作體的第一位置關系，具體包括：基于預設姿態(tài)檢測算法識別所述第一操作體，并將所述第一操作體的位置以多個關鍵點表示；所述關鍵點的位置根據識別到的所述特征點的位置確定；基于預設目標檢測算法識別所述目標監(jiān)控圖像中的所述第一被操作體，并將所述第一被操作體的位置以目標框表示；根據多個所述關鍵點與所述目標框的交疊程度、以及所述目標框之間的交疊程度確定所述第一操作體和所述第一被操作體的第一位置關系。
4.根據權利要求3所述的檢測方法，其特征在于，所述根據多個所述關鍵點與所述目標框的交疊程度、以及所述目標框之間的交疊程度確定所述第一操作體和所述第一被操作體的第一位置關系，具體包括：獲取位于所述目標框內的所述關鍵點的數量，并根據所述數量與預設第一閾值的大小，確定所述第一操作體和所述第一被操作體之間的第一相對關系；所述第一相對關系包括接觸與分離，在所述數量大于所述預設第一閾值時，所述第一操作體和所述第一被操作體之間接觸；獲取多個所述第一被操作體的目標框的交疊部分面積占多個所述第一被操作體的目標框的總面積的比值，并根據所述比值與第二預設閾值的大小，確定多個所述第一被操作體之間的第二相對關系；所述第二相對關系包括接觸與分離，在所述比值大于所...

【專利技術屬性】
技術研發(fā)人員：謝雪梅，劉藝，張鵬，
申請(專利權)人：琶洲實驗室黃埔，
類型：發(fā)明
國別省市：