【技術實現步驟摘要】
本專利技術涉及圖像處理的，具體而言，涉及基于三維相機與神經網絡融合的缺陷量化方法及其應用。
技術介紹
1、航空航天發動機作為飛行器的動力關鍵裝置，被譽為飛機、火箭的“心臟”，其自主研制對國家的國防建設、能源安全及環境的可持續發展具有十分重要的意義。其中，葉片作為航空航天發動機中引導氣流、產生動力的核心零部件，針對其關鍵質量特性的檢測直接影響了飛行器的服役安全可靠性。
2、在發動機的眾多零部件中，葉片的數量眾多，它的制造量約占整機制造量的三分之一。葉片具有數量眾多、形狀復雜、精度要求高、加工難度大、故障多發等特點，是發動機的關鍵部件，發動機需依靠眾多葉片完成對氣體壓縮和膨脹產生強大的動力來推動飛機前進。因此，葉片的質量是影響發動機能量轉化效率和工作性能的關鍵因素。
3、目前，對于葉片表面缺陷的檢測手段主要以人工目視為主。從檢測質量來看，檢測結果受人為因素較大影響。從檢測效率的角度來看，葉片外觀復雜，檢測項目眾多，人工檢測效率較低。從檢測數據的角度來看，人工檢測結果僅為定性判定，缺乏量化數據，結果難以數字化存儲，不利于后期質量問題追溯。從檢測數量的角度來看，目前現場仍缺乏批量葉片表面缺陷智能化檢測能力，依靠人工目視檢測的方式已達到產能瓶頸，難以滿足生產、交付的需求。
技術實現思路
1、本專利技術的主要目的在于提供基于圖像的發動機葉片缺陷自動檢測方法以及發動機葉片缺陷檢測系統，通過數字化、自動化、智能化地對葉片表面缺陷進行檢測，實現質量穩定、效率高、追溯性高、檢測
2、為了實現上述目的，本專利技術提供的基于圖像的發動機葉片缺陷自動檢測方法以及發動機葉片缺陷檢測系統的技術方案如下：
3、基于圖像的發動機葉片缺陷自動檢測方法，包括采用機器人夾爪夾持葉片移動到檢測位點以及采用二維相機、三維相機對檢測位點處的葉片拍照，還包括以下步驟：
4、步驟(1)，通過二維相機對被機器人夾爪所夾取的葉片進行拍照，獲得覆蓋葉片表面的多個二維圖像；
5、步驟(2)，使用目標檢測神經網絡模型對所述多個二維圖像進行缺陷檢測；
6、步驟(3)，針對檢測到缺陷的二維圖像，計算缺陷中心在機器人基座坐標系下的三維坐標，然后使夾爪將缺陷中心移動至三維相機的成像中心；
7、步驟(4)，通過三維相機采集缺陷的灰度圖像和點云數據；
8、步驟(5)，采用基于三維相機與神經網絡融合的缺陷量化方法對缺陷的灰度圖像和點云數據進行處理，得到缺陷的幾何信息。
9、發動機葉片缺陷檢測系統，包括：料盤，用于存放葉片；所述料盤上設有葉片儲槽；機器人，用于夾取和移動葉片；所述機器人具有夾爪和機械臂；二維相機，用于對夾爪夾持的葉片進行拍照；三維相機，用于對夾爪夾持的葉片進行拍照；補光光源，用于在二維相機和三維相機拍照時進行補光。
10、在上述的基于圖像的發動機葉片缺陷自動檢測方法中，步驟(3)和步驟(5)采用以下的二維圖像中獲取缺陷中心坐標的計算方法以及基于三維相機與神經網絡融合的缺陷量化方法時，計算方法簡單，計算效率和準確度高。
11、為此，本專利技術提供了從二維圖像中獲取缺陷中心坐標的計算方法以及基于三維相機與神經網絡融合的缺陷量化方法，技術方案如下：
12、從二維圖像中獲取缺陷中心坐標的計算方法，用于使機器人的夾爪夾持住測試對象并且使其缺陷中心移動到三維相機的成像中心，計算方法包括以下步驟：
13、步驟100，將二維圖像中缺陷的二維像素坐標矩陣與二維相機的內參矩陣相乘，計算得到缺陷在二維相機坐標系中的歸一化平面坐標；
14、步驟200，根據歸一化平面坐標以及測試對象與二維相機之間的距離，計算得到缺陷在二維相機坐標系中的實際三維相機坐標；
15、步驟300，利用二維相機坐標系到機器人基座坐標系的變換矩陣，將缺陷在二維相機坐標系中的實際三維坐標轉換為在機器人基座坐標系下的三維坐標；
16、步驟400，利用機器人基座坐標系到機器人夾爪坐標系的變換矩陣，將缺陷在機器人基座坐標系下的三維坐標轉換為在機器人夾爪坐標系下的三維坐標；
17、步驟500，將缺陷在機器人夾爪坐標系下的三維坐標與機器人夾爪坐標系原點作差，計算得到表示缺陷在機器人夾爪坐標系下的相對位置的向量；
18、步驟600，利用機器人夾爪坐標系到機器人基座坐標系的變換矩陣，將向量轉換為缺陷在機器人基座坐標系下的三維坐標，進而得到缺陷中心在機器人基座坐標系下的三維坐標，機器人夾爪即可移動缺陷中心到三維相機的成像中心。
19、基于三維相機與神經網絡融合的缺陷量化方法，包括以下步驟：
20、步驟a，將三維相機采集到的較大區域的灰度圖像和點云數據裁剪為與缺陷相關的較小區域，得到較小區域的灰度圖像和點云數據；
21、步驟b，對裁剪后的較小區域的點云數據進行曲面擬合，得到光滑曲面模型；
22、步驟c，使用實例分割神經網絡模型處理較小區域的灰度圖像，得到相應的掩碼圖；
23、步驟d，根據掩碼圖上的缺陷邊緣，從較小區域的點云數據中提取得到缺陷邊緣的子點云數據；
24、步驟e，將子點云數據與光滑曲面模型進行差異計算，即可獲得缺陷的幾何信息。
25、上述的二維圖像中獲取缺陷中心坐標的計算方法以及基于三維相機與神經網絡融合的缺陷量化方法的作用對象可以不限于發動機葉片及其缺陷，也可以是其它測試對象的目標區域，目標區域不一定為缺陷，也可以是特意加工而成的功能性結構，缺陷也不一定是凹坑，也可以是裂縫、凸點等缺陷。
26、下面結合附圖和具體實施方式對本專利技術做進一步的說明。本專利技術附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。
本文檔來自技高網...【技術保護點】
1.基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：包括以下步驟：
2.如權利要求1所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：步驟A中：根據三維相機成像中心以及由二維圖像計算出的缺陷大小進行裁剪；所述三維相機采用單目結構光相機。
3.如權利要求2所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：所述缺陷大小由目標檢測神經網絡模型處理二維圖像所輸出的缺陷的矩形坐標框的四個角點坐標在機器人基座坐標系下的四個三維坐標計算得到。
4.如權利要求1所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：步驟B包括以下步驟：
5.如權利要求4所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：篩選出有效點云數據的計算表達式為：
6.如權利要求5所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：擬合誤差的目標函數f(c)的表達式為：
7.如權利要求6所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：使用最優擬合參數計算擬合曲面的深度z的計算表達式為：
...【技術特征摘要】
1.基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：包括以下步驟：
2.如權利要求1所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：步驟a中：根據三維相機成像中心以及由二維圖像計算出的缺陷大小進行裁剪；所述三維相機采用單目結構光相機。
3.如權利要求2所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：所述缺陷大小由目標檢測神經網絡模型處理二維圖像所輸出的缺陷的矩形坐標框的四個角點坐標在機器人基座坐標系下的四個三維坐標計算得到。
4.如權利要求1所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：步驟b包括以下步驟：
5.如權利要求4所述的基于三維相機與神經網絡融合的缺陷量化方法，其特征在于：篩選出有效點云數據的計算表達式為：
6.如權利要求5所述的基于三維相機與神經...
【專利技術屬性】
技術研發人員：周由，劉建宏，左汀玉，陳亮，劉寧，邱嵩，顏焰，
申請(專利權)人：成都美奢銳新材料有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。