【技術實現步驟摘要】
本專利技術涉及航空制造機器視覺檢測，具體涉及一種自動鋪絲鋪層表面缺陷檢測裝置及方法。
技術介紹
1、在航空航天工業領域，先進復合材料已經成為最重要的構件材料。其中，飛機中使用最廣泛的碳纖維復合材料，相比于傳統的金屬材料，碳纖維復合材料具有高強度重量比、更好的靈活性和對復雜形狀的適應性，碳纖維復合材料已經廣泛應用于最新的飛機制造中。
2、為了提高復合材料零部件的制造效率，在上世紀八十年代自動鋪絲(automaticfiber?placement，簡稱afp)技術被提出，afp技術按照使用的復合材料的類型可以將自動鋪絲技術分為熱固性鋪絲技術和熱塑性鋪絲技術。在afp生產的過程中會產生各種缺陷，典型缺陷有間隙、重疊、缺絲、扭轉、氣泡、橋接、褶皺、翻邊等，這些缺陷會對復合材料零部件產品的強度、剛度等性能造成巨大的負面影響，有必要對生產過程中產生的缺陷進行在線檢測。傳統的檢測方法是采用人工檢測，人工檢測花費的時間長，這種人工檢測大約占總生產時間的50%，會造成長時間停機，降低生產效率，人工檢測依賴工人的經驗，且在長時間檢測時會存在人員疲勞的問題，使得檢測的準確率、效率進一步下降，難以滿足實際生產的需求。
3、目前常用的afp鋪層表面缺陷在線檢測技術按照所使用的信息類型可以分為三類：基于可見光二維圖像信息的檢測方法、基于紅外熱圖像的檢測方法、基于三維點云信息的檢測方法，每種方法都有難以檢測到的缺陷類型。現有研究存在的關鍵問題為：由于缺陷數據集數目相對不足，使用單種模態信息進行afp表面缺陷在線檢測的神經網絡訓練效果不
技術實現思路
1、本專利技術針對復合材料自動鋪絲鋪層表面多種缺陷在線成像、精準檢測的難題，提出一種自動鋪絲鋪層表面缺陷檢測裝置及方法，該裝置能夠實現復合材料自動鋪絲鋪層表面多種類缺陷的在線檢測。
2、為了達到上述專利技術目的。本專利技術采用的技術方案為：
3、第一方面，本專利技術提供一種自動鋪絲鋪層表面缺陷檢測裝置，包括：多線結構光源、工業相機及照明光場光源；
4、所述多線結構光源、工業相機均指向鋪層表面，多線結構光源用于投射多線結構光光場；照明光場光源設置在鋪層表面上方，用于投射照明光場；
5、所述工業相機分別與照明光場光源、多線結構光源配合采集鋪層表面二維圖像與三維點云信息。
6、作為本專利技術進一步改進，還包括與鋪絲頭連接的連接板，所述多線結構光源和工業相機分別通過一個可調節旋轉臺安裝在所述連接板上。
7、作為本專利技術進一步改進，所述工業相機的前端還安裝有濾光片。
8、作為本專利技術進一步改進，所述照明光場光源設置在多線結構光源光束的兩側。
9、第二方面，本專利技術提供一種自動鋪絲鋪層表面缺陷檢測方法，包括：
10、獲取對鋪層表面二維圖像與三維點云信息的同步采集數據；
11、對所采集到的二維圖像和三維點云進行對齊，再進行預處理；
12、對預處理后的二維圖像與三維點云進行數據擴增，對鋪層表面的缺陷進行標注，構建鋪層表面缺陷數據集，將數據集分為訓練集、測試集、驗證集；
13、構建二維圖像與三維點云作為輸入的多模態融合缺陷檢測神經網絡，將數據集輸入到多模態融合缺陷檢測網絡中，基于訓練集、測試集、驗證集進行訓練、測試和驗證；訓練好的多模態融合缺陷檢測神經網絡模型能夠以二維圖像、三維點云作為輸入，對鋪層表面缺陷的在線檢測、識別和定位。
14、作為本專利技術進一步改進，所述獲取對鋪層表面二維圖像與三維點云信息的同步采集數據是多線結構光源和照明光場光源在計算機控制下周期性投射多線結構光光場、照明光場，實現工業相機對鋪層表面二維圖像與三維點云信息的同步采集，具體包括：
15、當投射照明光場時，多線結構光光場關閉，工業相機采集視場內鋪絲表面的二維圖像；
16、當投射多線結構光光場時，照明光場關閉，工業相機獲取鋪層表面的三維點云信息。
17、作為本專利技術進一步改進，所述工業相機采集視場內鋪絲表面的二維圖像，具體包括：
18、使工業相機的光軸近似與線結構光滿足反射角關系，在較低曝光時間和較低的多線結構光源功率下，采集到明顯的線結構光圖案以完成三維信息的獲取；照明光場與工業相機之間的角度不滿足反射角，使照明光場均勻地照射在絲束表面，以輔助完成二維信息的獲取。
19、作為本專利技術進一步改進，所述實現工業相機對鋪層表面二維圖像與三維點云信息的同步采集是通過多線結構光光場和照明光場的周期性切換，實現二維圖像與三維點云的同步采集，包括：
20、采集相機視場范圍內的鋪層表面的二維圖像、三維信息所用時間為，投射照明光場的時間為，投射多線結構光的時間為，滿足關系；投射順序為，在一個采集周期中先投射照明光場，采集一定視場大小的鋪層表面的二維圖像，接著投射多線結構光，完成視場范圍內鋪層表面的掃描重建，以此循環往復。
21、作為本專利技術進一步改進，所述對鋪層表面的缺陷進行標注，包括：對缺絲、重疊、間隙過大、褶皺、鼓包/氣泡、外來物、翻邊、橋接缺陷進行標注。
22、.根據權利要求所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述對所采集到的二維圖像和三維點云進行對齊，再進行預處理，包括如下步驟：
23、通過使用特征點提取方法，在二維圖像和三維點云中分別提取特征點；利用特征描述符對提取到的特征點進行描述，并使用最近鄰算法在兩個數據集之間進行特征點匹配，建立二者之間的對應關系，實現對齊；
24、對齊后，使用中值濾波法對二維圖像進行去噪，去除圖像中由于鋪層表面不平整造成的椒鹽噪聲；
25、使用自適應直方圖均衡法，對二維圖像進行增強，消除由于光照不均勻帶來的圖像模糊；
26、對二維圖像進行銳化操作；
27、對齊后，對三維點云進行下采樣，并進行局部擬合濾波，擬合出鋪層平面，并剔除掉距離擬合平面較遠的點。
28、本專利技術具有以下有益效果：
29、本專利技術基于二維圖像與三維點云融合的檢測裝置，基于工業相機+照明光場光源+多線結構光源，周期性投射照明光場與多線結構光光場，分別與工業相機構成二維圖像采集系統與多線結構光系統，實現二維圖像、三維點云的同步采集，并將采集到的二維圖像與三維點云進行降噪、增強和對齊，分別對二維圖像和三維點云進行標注，制作鋪層表面缺陷的數據集，構建并訓練二維圖像與三維點云融合的缺陷檢測網絡，實現復合材料自動鋪絲鋪層表面多種類缺陷的在線檢測。
30、本專利技術的檢測方法，通過光場切換，能同步采集自動鋪絲鋪層表面的二維圖像與三維信息，共同用于鋪層表面缺陷的在線檢測，相對于現有的單獨使用激光輪廓儀或二維相機的方法，具有結構簡單、可采集的信息種類多、成本低、缺陷識別類型多、缺陷識別準確率高、適用性強等優勢；本專利技術考慮本文檔來自技高網...
【技術保護點】
1.一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，包括：多線結構光源（1）、工業相機（4）及照明光場光源（6）；
2.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，還包括與鋪絲頭（14）連接的連接板（3），所述多線結構光源（1）和工業相機（4）分別通過一個可調節旋轉臺（2）安裝在所述連接板（3）上。
3.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，所述工業相機（4）的前端還安裝有濾光片（5）。
4.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，所述照明光場光源（6）設置在多線結構光源（1）光束的兩側。
5.一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，包括：
6.根據權利要求5所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述獲取對鋪層表面二維圖像與三維點云信息的同步采集數據是多線結構光源（1）和照明光場光源（6）在計算機控制下周期性投射多線結構光光場、照明光場，實現工業相機（4）對鋪層表面二維圖像與三維點云信息的同步采集，具體包括：
7.根
8.根據權利要求6所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述實現工業相機（4）對鋪層表面二維圖像與三維點云信息的同步采集是通過多線結構光光場和照明光場的周期性切換，實現二維圖像與三維點云的同步采集，包括：
9.根據權利要求5所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述對鋪層表面的缺陷進行標注，包括：對缺絲、重疊、間隙過大、褶皺、鼓包/氣泡、外來物、翻邊、橋接缺陷進行標注。
10.根據權利要求5所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述對所采集到的二維圖像和三維點云進行對齊，再進行預處理，包括如下步驟：
...【技術特征摘要】
1.一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，包括：多線結構光源（1）、工業相機（4）及照明光場光源（6）；
2.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，還包括與鋪絲頭（14）連接的連接板（3），所述多線結構光源（1）和工業相機（4）分別通過一個可調節旋轉臺（2）安裝在所述連接板（3）上。
3.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，所述工業相機（4）的前端還安裝有濾光片（5）。
4.根據權利要求1所述的一種自動鋪絲鋪層表面缺陷檢測裝置，其特征在于，所述照明光場光源（6）設置在多線結構光源（1）光束的兩側。
5.一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，包括：
6.根據權利要求5所述的一種自動鋪絲鋪層表面缺陷檢測方法，其特征在于，所述獲取對鋪層表面二維圖像與三維點云信息的同步采集數據是多線結構光源（1）和照明光場光源（6...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。