【技術實現步驟摘要】
本專利技術涉及煤矸石檢測分揀方法領域，尤其涉及一種基于plc和深度學習的煤矸石檢測分揀方法。
技術介紹
1、相較于傳統機器視覺檢測方法，近年來基于深度學習的目標檢測技術表現出強大的優越性，利用卷積神經網絡技術實現目標高維特征的自動提取，能夠更精準地從煤中分揀出矸石。基于深度學習的目標檢測算法可分為兩類，一類是以r-cnn、fast?r-cnn為代表兩階段檢測算法(two-stage)；一類是以ssd、yolo系列為目標單階段目標檢測算法(one-stage)，但是現有的煤/矸石圖像中包含目標種類較少，模型訓練速度有限，一些矸石目標較小。
2、為解決上述問題，本申請中提出一種基于plc和深度學習的煤矸石檢測分揀方法。
技術實現思路
1、(一)專利技術目的
2、為解決
技術介紹
中存在的技術問題，本專利技術提出一種基于plc和深度學習的煤矸石檢測分揀方法，本專利技術能夠利用深度學習和plc技術快速、準確地檢測出煤中混合的矸石，引入的transformer全局注意力機制能夠獲取更多的上下文信息，提高煤/矸石分揀效率。
3、(二)技術方案
4、為解決上述問題，本專利技術提供了一種基于plc和深度學習的煤矸石檢測分揀方法，包括以下步驟：
5、s1、在plc環境中部署傳送模塊、圖像處理模塊、控制模塊、分揀系統；在plc控制器中實現目標檢測模型的訓練，待檢測煤/矸石的傳送、分揀；
6、s2、制作煤/矸石數據樣本，將樣本按照一定比
7、s3、在圖像處理模塊中構建改進的yolov3目標檢測模型，并且在模型重引入transformer全局注意力機制；
8、s4、利用煤/矸石樣本數據集對模型進行訓練，計算損失函數，通過損失函數反向傳播，得到最優的煤/矸石目標檢測模型；
9、s5、待分揀的煤/矸石利用傳送模塊傳送至圖像處理模塊，圖像處理模塊利用相機采集到待檢測煤/矸石的圖像，預處理后利用訓練完成的目標檢測模型獲取目標的類別信息和位置信息，并將信息傳送至控制模塊；
10、控制模塊根據目標信息利用分揀系統來分揀煤和矸石。
11、優選的，在s2中，在選煤廠實地進行數據采集，從采集的視頻中截取煤與矸石混合場景下的圖像，將煤/矸石圖像按照像素大小進行切割，并繪制對應的圖像標簽。
12、優選的，在s2中，制作煤/矸石數據樣本，按照比例劃分成模型訓練、驗證數據集；
13、s21、在選煤廠實地進行數據采集，從采集到的視頻中截取1400張煤與矸石混合場景下的圖像，并采用labelimg標注軟件對圖像進行詳細的人工標注，得到與圖像相對應的標簽數據，標簽包含目標的類別信息和位置信息；
14、s22、將原始圖像和標簽劃分成448pixel×448pixel像素大小的圖像，得到煤/矸石數據樣本。
15、優選的，在s3中：
16、在圖像處理模塊中構建改進的yolov3目標檢測模型；
17、目標檢測模型由特征提取、特征融合和目標檢測三個部分組成。
18、優選的，s3包括：
19、s31、所述特征提取部分，選用resnet50網絡結構作為特征提取網絡，resnet50網絡由一個pre_bolck和四個block組成，用trick函數優化block中的下采樣層，使得輸出的特征圖盡可能地保留更多的原始圖像信息，完成對矸石這類小目標的檢測；
20、下采樣層由patha和pathb組成，patha中包含一個步長為2卷積核為1×1卷積層和兩個步長為1卷積核分別為3×3、1×1的卷積層；pathb中包含一個步長為2卷積核為1×1的卷積層；
21、將patha中步長為2卷積核為1×1的卷積層替換為步長為1卷積核為1×1的卷積層，為了保持下采樣層輸出特征圖的大小不變，將步長為1卷積核為3×3卷積層改成步長為2卷積核為3×3的卷積層；
22、在pathb中使用步長為2卷積核為2×2的均值池化層和大小為步長為1卷積核為1×1的卷積層替換步長為2卷積核為1×1的卷積層；
23、s32、特征融合部分，提出tfpn特征融合模塊，選用特征金字塔網絡(featurepyramidnetwork，fpn)，同時引入transformer全局注意力機制來獲取更多的上下文信息；
24、輸入圖像尺寸(448，448，3)經過特征提取，生成特征圖layer1(56，56，512)、特征圖layer2(28，28，1024)和特征圖layer3(14，14，2048)，通過構建深層次的特征金字塔，將低層特征與高層特征進行特征融合，可獲得更強的語義信息與更準確的位置信息；
25、在特征圖layer3后加入transformer全局注意力機制，transformer全局注意力機制包含positionembedding和transformerencoder兩個模塊；
26、s33、度分數和分類以()來表示，檢測步長為32、16和8，每個預測邊界框包含3類信息，即框的坐標信息(4個)、置信度(1個)和類別(2個，矸石加背景)；
27、最終得到大小為(14，14，3×7)、(28，22，3×7)和(56，56，3×7)的3張預測圖，其中3表示每個特征圖中一個特征點對應于3個anchor；
28、最后，經非極大值抑制選出最佳預測框。
29、優選的，在s4中，包括：
30、s41、在神經網絡進行訓練過程中需要充足的樣本數據，樣本數量越多，網絡訓練的效果越好，泛化能力越強，從而可以有效防止過擬合現象的發生。為此，對前面切割得到的小尺寸訓練樣本圖像及其標簽進行數據增強，分別將圖像進行水平變換，垂直翻轉變換，以及逆時針旋轉90°、180°、270°；
31、s42、在模型訓練過程中，設置三個損失函數：回歸損失函數lreg、置信度損失函數lcorf和分類損失函數lcla；
32、使用廣義交并比(giou)來定義回歸損失函數；
33、a表示真實目標的區域，b表示預測候選框的區域，|a∩b|和|a∪b|分別表示目標區域和預測區域的交集和并集面積，是兩者的比值；
34、q是包含區域a和b的最小矩形區域，即包含a和b的邊界框；
35、sq代表能夠同時包含a和b的最小框的面積，su代表包含a和b的并集區域面積；
36、lreg定義為：
37、
38、置信度損失函數采用帶logits損失的二元交叉熵損失函數定義如下，其中n為所包含的樣本數量，ci為預測置信度，為置信度真值；
39、
40、分類損失函數也采用帶logits損失的二元交叉熵損失函數定義如下，其中npos為所包含的正樣本數量，表示預測目標邊界框i中是否存在第j類目標，pij為預測值；
41本文檔來自技高網...
【技術保護點】
1.一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，在S2中，在選煤廠實地進行數據采集，從采集的視頻中截取煤與矸石混合場景下的圖像，將煤/矸石圖像按照像素大小進行切割，并繪制對應的圖像標簽。
3.根據權利要求2所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，在S2中，制作煤/矸石數據樣本，按照比例劃分成模型訓練、驗證數據集；
4.根據權利要求3所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，在S3中：
5.根據權利要求4所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，S3包括：
6.根據權利要求5所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，在S4中，包括：
7.根據權利要求6所述的一種基于PLC和深度學習的煤矸石檢測分揀方法，其特征在于，在S22中，將樣本按照8:2的比例劃分成模型訓練和驗證數據集。
【技術特征摘要】
1.一種基于plc和深度學習的煤矸石檢測分揀方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于plc和深度學習的煤矸石檢測分揀方法，其特征在于，在s2中，在選煤廠實地進行數據采集，從采集的視頻中截取煤與矸石混合場景下的圖像，將煤/矸石圖像按照像素大小進行切割，并繪制對應的圖像標簽。
3.根據權利要求2所述的一種基于plc和深度學習的煤矸石檢測分揀方法，其特征在于，在s2中，制作煤/矸石數據樣本，按照比例劃分成模型訓練、驗證數據集；
【專利技術屬性】
技術研發人員：王明昕，陳曦，陳思寧，
申請(專利權)人：傲拓科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。