【技術實現步驟摘要】
本專利技術涉及數字化檢測，特別是涉及一種基于無人機影像的飛機表面缺陷自動檢測系統及方法。
技術介紹
1、當前，飛機表面缺陷檢測主要依賴于人工的目視檢測，勞動強度大、自動化程度低、可靠性差，嚴重影響飛機的交付和維修。隨著計算機技術的不斷發展，基于機器視覺的缺陷檢測技術逐漸開始在制造領域落地應用。該項技術通過集成自適應智能工裝、高質量圖像采集裝置以及高精度圖像分析系統，替代傳統檢測人員“手眼腦”的協同工作，實現性能穩定、數據可靠以及環境適應的智能檢測設備。
2、無人機速度快、且具備自適用躲避障礙物的優勢，可以使用搭載高清相機的無人機來替代檢測人員的“手”和“眼”。現有技術中，提出了公開號為cn?112288711a，公開日為2021年01月29日的中國專利技術專利文件，該專利文獻所公開的技術方案如下：一種無人機巡檢影像缺陷圖像識別方法、裝置、設備及介質，該方法包括：采集輸電線路無人機巡檢規范化影像；從采集的影像中選取無缺陷圖像并進行相應處理，構建不同場景的缺陷負樣本庫；利用構建的缺陷負樣本庫對深度學習卷積神經網絡進行訓練，得到無缺陷目標識別模型；將待測輸電線路無人機巡檢影像輸入至無缺陷目標識別模型進行篩選，并過濾掉缺陷識別概率小于設定閾值的圖像，以及對過濾后剩下的圖像進行人工或自動識別。
3、上述技術方案利用無人機采集影像，卻無法適用于飛機表面缺陷識別，因為飛機表面缺陷具有細長或者微小等幾何特征，該類缺陷在拍攝的圖像中占比小。在缺陷識別時，該技術方案選用常用的候選檢測框，該候選檢測框一般用于檢測自然場景下的尺
技術實現思路
1、為解決上述技術問題，本專利技術提出了一種基于無人機影像的飛機表面缺陷自動檢測系統及方法，能適用于飛機表面缺陷識別，并且能有效解決判斷結果存在不確定性的問題。
2、本專利技術是通過采用下述技術方案實現的：
3、一種基于無人機影像的飛機表面缺陷自動檢測系統，包括無人機拍攝模塊、飛機表面圖像處理模塊、飛機表面圖像判別模塊以及飛機表面缺陷圖像識別模塊；其中，所述飛機表面圖像判別模塊用于分析當前圖像是否包含缺陷，包括：通過基于深度學習的判別模型提取輸入圖像的特征圖，并將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]，再通過對比x1和x2的大小判斷是否包含缺陷；其中，x1∈[0,1]表示圖像包含缺陷的概率；x2∈[0,1]表示圖像不包含缺陷的概率，x1和x2之和為1。
4、將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]具體指：
5、[x1,x2]t＝softmax(w2(relu(w1(fe)+b1))+b2)
6、其中，fe為特征圖，w1、w2為可學習的網絡權重，b1、b2為學習的參數偏差。
7、所述飛機表面缺陷圖像識別模塊用于對包含有缺陷的圖像進行分析，確定缺陷類型和位置，包括：生成候選檢測框；計算正負樣本；通過搭建的缺陷分類網絡和缺陷位置回歸網絡，進行缺陷類型的自動識別和缺陷位置的自動定位。
8、所述生成候選檢測框具體指：基于特征圖，在判別為有缺陷的飛機表面圖像上隨機生成不同大小、不同長寬比的候選檢測框。
9、計算正負樣本具體指：計算不同的候選檢測框和標注真實檢測框的正交比，并計算候選檢測框與所有檢測框的最大正交比值和最小正交比值；若最大正交比值大于或等于設定的最大閾值，則該候選檢測框為最大正交比值對應的真實檢測框的正樣本；若最小正交比值小于設定的最小閾值，則該候選檢測框為負樣本。
10、所述缺陷分類網絡包含4個不共享參數的卷積層，且前三個卷積層后接線性激活函數relu。
11、所述缺陷位置回歸網絡包含4個不共享參數的卷積層，且前三個卷積層后接線性激活函數relu，最后一個卷積層后接線性激活函數sigmoid。
12、所述飛機表面圖像處理模塊用于對采集的原始圖像進行灰度處理，并采用高斯濾波對灰度圖像進行平滑。
13、飛機表面圖像判別模塊還用于對預處理后的圖像進行劃分，將每個劃分后的子圖像分別輸入基于深度學習的判別模型。
14、一種基于無人機影像的飛機表面缺陷自動檢測方法，包括以下步驟：
15、步驟s1.利用無人機采集飛機表面圖像；
16、步驟s2.對采集的圖像進行預處理；
17、步驟s3.通過基于深度學習的判別模型分析當前預處理后的圖像是否包含缺陷，包括：通過基于深度學習的判別模型提取輸入圖像的特征圖，并將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]，再通過對比x1和x2的大小判斷是否包含缺陷；若x1＜x2，則當前圖像判別為無缺陷，若x1≥x2，則當前圖像判別為有缺陷；其中，x1∈[0,1]表示圖像包含缺陷的概率；x2∈[0,1]表示圖像不包含缺陷的概率，x1和x2之和為1；
18、步驟s4.通過基于深度學習的目標檢測模型對包含有缺陷的圖像進行分析，確定缺陷類型和位置。
19、與現有技術相比，本專利技術的有益效果表現在：
20、1、本專利技術中，通過無人機對飛機表面進行拍攝，并采用深度學習模型自動對拍攝圖像進行缺陷檢測，實現了飛機表面缺陷的全自動檢測，降低檢測勞動量的同時提高了缺陷檢測精度。具體的，在缺陷檢測過程中，通過深度學習構建了缺陷判別模型，通過將特征圖映射成二維實數向量，通過對比x1和x2的大小判斷是否包含缺陷，在該判斷過程中，不依賴任何經驗參數，結果具有確定性。
21、2、本專利技術中，在判別為有缺陷的飛機表面圖像上隨機生成不同大小、不同長寬比的候選檢測框，能有效解決現有常用的候選檢測框所存在的不能用于飛機表面缺陷檢測的問題，通過調整候選框的尺度和寬高比，使候選檢測框的尺寸能更貼近本專利技術的檢測對象，即飛機表面缺陷。
22、3、本專利技術中，通過構建缺陷識別網絡以及缺陷位置回歸網絡，能對缺陷的類別和位置進行自動分析。
本文檔來自技高網...【技術保護點】
1.一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：包括無人機拍攝模塊、飛機表面圖像處理模塊、飛機表面圖像判別模塊以及飛機表面缺陷圖像識別模塊；其中，所述飛機表面圖像判別模塊用于分析當前圖像是否包含缺陷，包括：通過基于深度學習的判別模型提取輸入圖像的特征圖，并將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]，再通過對比x1和x2的大小判斷是否包含缺陷；其中，x1∈[0,1]表示圖像包含缺陷的概率；x2∈[0,1]表示圖像不包含缺陷的概率，x1和x2之和為1。
2.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]具體指：
3.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述飛機表面缺陷圖像識別模塊用于對包含有缺陷的圖像進行分析，確定缺陷類型和位置，包括：生成候選檢測框；計算正負樣本；通過搭建的缺陷分類網絡和缺陷位置回歸網絡，進行缺陷類型的自動識別和缺陷位置的自動定位。
4.根據權利要求3
5.根據權利要求3述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：計算正負樣本具體指：計算不同的候選檢測框和標注真實檢測框的正交比，并計算候選檢測框與所有檢測框的最大正交比值和最小正交比值；若最大正交比值大于或等于設定的最大閾值，則該候選檢測框為最大正交比值對應的真實檢測框的正樣本；若最小正交比值小于設定的最小閾值，則該候選檢測框為負樣本。
6.根據權利要求3所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述缺陷分類網絡包含4個不共享參數的卷積層，且前三個卷積層后接線性激活函數ReLU。
7.根據權利要求3所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述缺陷位置回歸網絡包含4個不共享參數的卷積層，且前三個卷積層后接線性激活函數ReLU，最后一個卷積層后接線性激活函數Sigmoid。
8.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述飛機表面圖像處理模塊用于對采集的原始圖像進行灰度處理，并采用高斯濾波對灰度圖像進行平滑。
9.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：飛機表面圖像判別模塊還用于對預處理后的圖像進行劃分，將每個劃分后的子圖像分別輸入基于深度學習的判別模型。
10.一種基于無人機影像的飛機表面缺陷自動檢測方法，其特征在于：包括以下步驟：
...【技術特征摘要】
1.一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：包括無人機拍攝模塊、飛機表面圖像處理模塊、飛機表面圖像判別模塊以及飛機表面缺陷圖像識別模塊；其中，所述飛機表面圖像判別模塊用于分析當前圖像是否包含缺陷，包括：通過基于深度學習的判別模型提取輸入圖像的特征圖，并將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]，再通過對比x1和x2的大小判斷是否包含缺陷；其中，x1∈[0,1]表示圖像包含缺陷的概率；x2∈[0,1]表示圖像不包含缺陷的概率，x1和x2之和為1。
2.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：將特征圖通過全連接層和線性激活函數，映射成二維實數向量[x1,x2]具體指：
3.根據權利要求1所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述飛機表面缺陷圖像識別模塊用于對包含有缺陷的圖像進行分析，確定缺陷類型和位置，包括：生成候選檢測框；計算正負樣本；通過搭建的缺陷分類網絡和缺陷位置回歸網絡，進行缺陷類型的自動識別和缺陷位置的自動定位。
4.根據權利要求3所述的一種基于無人機影像的飛機表面缺陷自動檢測系統，其特征在于：所述生成候選檢測框具體指：基于特征圖，在判別為有缺陷的飛機表面圖像上隨機生成不同大小、不同長寬比的候選檢測框。
5.根據權利要求3述的一種基于無...
【專利技術屬性】
技術研發人員：劉清華，朱緒勝，陳代鑫，周力，周紋康，劉磊，韓利亞，馬帥，劉樹銅，陳俊佑，
申請(專利權)人：成都飛機工業集團有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。