一種基于機器視覺的自動化測試作業方法、機器人及系統技術方案

本發明專利技術涉及一種基于機器視覺的自動化測試作業方法、機器人及系統，其方法包括：基于自動接線的指示信息構建置于環境箱中的待測試設備與測試臺之間的信號通道；或基于自動拆線的指示信息拆除自動配置的置于環境箱中的待測試設備與測試臺之間的信號通道；在信號通道有效時間段內，基于狀態監測的指示信息獲取指定區域的包含人機界面與指示燈的圖像并傳輸至集控平臺進行識別，在獲取到識別結果時通過對人機界面的進行觸控操作來調整測試方案。實施本發明專利技術方案可在包含無源電子元件、電路板、芯片、線纜以及電子裝置等設備測試試驗中的絕大部分環節均實現自動化，使得機器人滿足包括機器視覺采集工作、自動拆接線以及觸控顯示屏等多種作業能力。等多種作業能力。等多種作業能力。

【技術實現步驟摘要】
一種基于機器視覺的自動化測試作業方法、機器人及系統


[0001]本專利技術涉及電子設備測試
，尤其涉及一種基于機器視覺的自動化測試作業方法、機器人及系統。

技術介紹

[0002]隨著技術發展，現代試驗室已經有了長足的進步，試驗室針對儀器設備的測試部分已實現計算機程序自動化控制，但是在設備與設備之間的轉運、接線等關鍵環節依然需要試驗人員在現場操作，并實行人工記錄試驗參數，這樣不僅存在人力成本過高、測試過程易出錯等問題，且在環境要求苛刻的試驗室中更加需要減少測試人員的參與。
[0003]另一方面，考慮到目前試驗室的各個環節大多是分散進行，有人工參與就無法進行統一地集中控制，這大大降低了效率，且提高了測試試驗的成本。
[0004]由此，試驗室的測試方案和測試流程的自動化程度仍然亟需提高。

技術實現思路

[0005]（一）要解決的技術問題鑒于現有技術的上述缺點、不足，本專利技術提供一種基于機器視覺的自動化測試作業方法、機器人及系統，其解決了目前試驗室中的各個環節自動化程度低依然需要依賴人工參與的技術問題。
[0006]（二）技術方案為了達到上述目的，本專利技術采用的主要技術方案包括：第一方面，本專利技術實施例提供一種基于機器視覺的自動化測試作業方法，其包括：基于自動接線的指示信息構建置于環境箱中的待測試設備與測試臺之間的信號通道；或，基于自動拆線的指示信息拆除自動配置的置于環境箱中的所述待測試設備與所述測試臺之間的信號通道；以及，在信號通道有效時間段內，基于狀態監測的指示信息獲取指定區域的包含人機界面與指示燈的圖像并傳輸至預設的集控平臺進行識別，在獲取到識別結果時通過對人機界面的進行觸控操作來調整測試方案；其中，所述自動接線的指示信息和所述自動拆線的指示信息均為所述集控平臺依據待測試設備的信號點位信息和測試臺的信號點位信息生成的，且所述狀態監測的指示信息是由所述集控平臺依據操作人員的輸入信號或預先設置的巡查表生成的。
[0007]可選地，基于自動接線的指示信息構建形成測試環境的環境箱中待測試設備與控制所述環境箱的測試臺之間的信號通道包括：基于所述自動接線的指示信息，在所述待測試設備的信號點位從所述環境箱的測試孔中引出接線至外置的第一轉接板以及所述測試臺的信號點位轉接至外置的第二轉接板之后，進行所述第一轉接板與所述第二轉接板之間的自動接線和/或所述第二轉接板與
所述測試臺的自動接線，以實現所述待測試設備與所述測試臺之間的信號通道搭建。
[0008]可選地，基于自動拆線的指示信息拆除自動配置的所述待測試設備與所述測試臺之間的信號通道包括：基于所述自動拆線的指示信息，進行所述第一轉接板與所述第二轉接板之間的自動拆線和/或所述第二轉接板與所述測試臺的自動拆線，以實現所述待測試設備與所述測試臺之間的當前信號通道的斷連。
[0009]可選地，在信號通道有效時間段內，基于狀態監測的指示信息獲取指定區域的包含人機界面與指示燈的圖像并傳輸至預設的集控平臺進行識別，在獲取到識別結果時通過對人機界面的執行相應的觸控操作來調整測試方案包括：在信號通道有效時間段內，基于狀態監測的指示信息采集指定區域的人機界面和與所述測試臺連接的指示燈的原始圖像并傳輸至預設的集控平臺中，以使集控平臺進行如下識別過程：對所述原始圖像分別按照輪廓檢測、顏色檢測以及OCR識別的方式進行相應的預處理，得到輪廓檢測圖像組、顏色識別圖像組以及顯示內容識別圖像組；將所述輪廓檢測圖像組和預先配置在集控平臺中的輪廓模板進行匹配，得以區分指示燈區域與人機界面區域；依據所述顏色識別圖像組進行指示燈顏色與狀態的確定，進而依據所述指示燈顏色與狀態確定所述測試臺的運行狀態和待測試設備的運行狀態；基于預先構建的CNN
?
HMM混合模型對所述顯示內容識別圖像組進行顯示內容的識別；將所述輪廓檢測圖像組、所述顏色識別圖像組以及所述顯示內容識別圖像的處理結果進行綜合分析，得到綜合分析結果。
[0010]可選地，依據所述顏色識別圖像組進行指示燈顏色與狀態的確定包括：依據所述顏色識別圖像組上的顏色空間不同聚集區塊與像素值所處范圍，確定指示燈的顏色為紅色、綠色、黃色之中的任意一種；通過統計預設時間段內指示燈顏色的變化規律判斷指示燈的狀態；若預設時間段內指示燈在預設時間段內均為紅色，則判斷指示燈顯示紅色狀態；若預設時間段內指示燈在預設時間段內均為綠色，則判斷指示燈顯示綠色狀態；若預設時間段內指示燈在不同顏色之間相互變化，則判斷指示燈處于閃爍狀態；進而，若指示燈處于閃爍狀態時，在顏色識別圖像組在預設時段內截取的圖像中若存在任意相鄰的圖像之間的顯示狀態相同，則判斷指示燈為慢閃；在顏色識別圖像組在預設時段內截取的圖像中若不存在任意相鄰的圖像之間的顯示狀態相同，則判斷指示燈為快閃；其中，顏色識別圖像組在預設時段內截取的圖像為20
?
30張。
[0011]可選地，基于預先構建的CNN
?
HMM混合模型對所述顯示內容識別圖像組進行顯示內容的識別包括：基于預先構建的CNN
?
HMM混合模型為獲取的顯示內容識別圖像組建立特征模板數據庫；
基于CNN
?
HMM混合模型對獲取的顯示內容識別圖像組進行包含ROI目標區域截取、灰度處理、閾值分割、校正以及字符切割之中的一種或多種的匹配前處理；通過將經匹配前處理得到的圖像數據與所述特征模板數據庫中的特征模板進行匹配得到置信度值，并依據得到的置信度值輸出識別結果；其中，所述CNN
?
HMM混合模型為通過將CNN層的輸出與HMM層的觀測概率矩陣端對端設置所得到的模型，且所述CNN
?
HMM混合模型中的CNN層為HMM層提供任意狀態的輸出概率，所述HMM層為所述CNN層提供對應狀態的歸屬分類。
[0012]可選地，基于預先構建的CNN
?
HMM混合模型為獲取的顯示內容識別圖像組建立特征模板數據庫包括：基于預先構建的CNN
?
HMM混合模型的CNN層獲取的人機界面的歷史原始圖像進行特征提取，生成若干按預設編號排序的特征序列，各個特征序列中的保存數據的特征樣式均不相同；基于預先構建的CNN
?
HMM混合模型的HMM層為每一特征序列分別建模得到若干序列建模，在HMM層下優化訓練所有序列建模，得到特征模板數據庫。
[0013]可選地，通過將經匹配前處理得到的圖像數據與所述特征模板數據庫中的特征模板進行匹配得到置信度值，并依據得到的置信度值輸出識別結果包括：將經匹配前處理得到的圖像數據與所述特征模板數據庫中的每一內容特征數據進行匹配得到置信度值；當置信度不小于0.95時判斷為識別成功，并將包含置信度以及對應的特征模板的識別結果輸出到預先建立通信連接的測試臺；當置信度小于0.95時判斷為識別失敗，并將包含識別失敗信息的識別結果預先建立通信連接的測試臺；交由所述測試臺依據得到的所述識別結果輸出測試報告。
[0014]第二方面，本專利技術實施例提供一種走動作業機本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于機器視覺的自動化測試作業方法，其特征在于，包括：基于自動接線的指示信息構建置于環境箱中的待測試設備與測試臺之間的信號通道；或，基于自動拆線的指示信息拆除自動配置的置于環境箱中的所述待測試設備與所述測試臺之間的信號通道；以及，在信號通道有效時間段內，基于狀態監測的指示信息獲取指定區域的包含人機界面與指示燈的圖像并傳輸至預設的集控平臺進行識別，在獲取到識別結果時通過對人機界面的進行觸控操作來調整測試方案；其中，所述自動接線的指示信息和所述自動拆線的指示信息均為所述集控平臺依據待測試設備的信號點位信息和測試臺的信號點位信息生成的，且所述狀態監測的指示信息是由所述集控平臺依據操作人員的輸入信號或預先設置的巡查表生成的。2.如權利要求1所述的一種基于機器視覺的自動化測試作業方法，其特征在于，基于自動接線的指示信息構建形成測試環境的環境箱中待測試設備與控制所述環境箱的測試臺之間的信號通道包括：基于所述自動接線的指示信息，在所述待測試設備的信號點位從所述環境箱的測試孔中引出接線至外置的第一轉接板以及所述測試臺的信號點位轉接至外置的第二轉接板之后，進行所述第一轉接板與所述第二轉接板之間的自動接線和/或所述第二轉接板與所述測試臺的自動接線，以實現所述待測試設備與所述測試臺之間的信號通道搭建。3.如權利要求2所述的一種基于機器視覺的自動化測試作業方法，其特征在于，基于自動拆線的指示信息拆除自動配置的所述待測試設備與所述測試臺之間的信號通道包括：基于所述自動拆線的指示信息，進行所述第一轉接板與所述第二轉接板之間的自動拆線和/或所述第二轉接板與所述測試臺的自動拆線，以實現所述待測試設備與所述測試臺之間的當前信號通道的斷連。4.如權利要求1
?
3任一項所述的一種基于機器視覺的自動化測試作業方法，其特征在于，在信號通道有效時間段內，基于狀態監測的指示信息獲取指定區域的包含人機界面與指示燈的圖像并傳輸至預設的集控平臺進行識別，在獲取到識別結果時通過對人機界面的執行相應的觸控操作來調整測試方案包括：在信號通道有效時間段內，基于狀態監測的指示信息采集指定區域的人機界面和與所述測試臺連接的指示燈的原始圖像并傳輸至預設的集控平臺中，以使集控平臺進行如下識別過程：對所述原始圖像分別按照輪廓檢測、顏色檢測以及OCR識別的方式進行相應的預處理，得到輪廓檢測圖像組、顏色識別圖像組以及顯示內容識別圖像組；將所述輪廓檢測圖像組和預先配置在集控平臺中的輪廓模板進行匹配，得以區分指示燈區域與人機界面區域；依據所述顏色識別圖像組進行指示燈顏色與狀態的確定，進而依據所述指示燈顏色與狀態確定所述測試臺的運行狀態和待測試設備的運行狀態；基于預先構建的CNN
?
HMM混合模型對所述顯示內容識別圖像組進行顯示內容的識別；將所述輪廓檢測圖像組、所述顏色識別圖像組以及所述顯示內容識別圖像的處理結果進行綜合分析，得到綜合分析結果。
5.如權利要求4所述的一種基于機器視覺的自動化測試作業方法，其特征在于，依據所述顏色識別圖像組進行指示燈顏色與狀態的確定包括：依據所述顏色識別圖像組上的顏色空間不同聚集區塊與像素值所處范圍，確定指示燈的顏色為紅色、綠色、黃色之中的任意一種；通過統計預設時間段內指示燈顏色的變化規律判斷指示燈的狀態；若預設時間段內指示燈在預設時間段內均為紅色，則判斷指示燈顯示紅色狀態；若預設時間段內指示燈在預設時間段內均為綠色，則判斷指示燈顯示綠色狀態；若預設時間段內指示燈在不同顏色之間相互變化，則判斷指示燈處于閃爍狀態；進而，若指示燈處于閃爍狀態時，在顏色識別圖像組在預設時段內截取的圖像中若存在任意相鄰的圖像之間的顯示狀態相同，則判斷指示燈為慢閃；在顏色識別圖像組在預設時段內截取的圖像中若不存在任意相鄰的圖像之間的顯示狀態相同，則判斷指示燈為快閃；其中，顏色...

【專利技術屬性】
技術研發人員：肖燕，鄧波，張全良，
申請(專利權)人：長沙艾克賽普儀器設備有限公司，
類型：發明
國別省市：