基于計算機視覺的礦下鉆機鉆桿計數方法技術

本發明專利技術公開了一種基于計算機視覺的礦下鉆機鉆桿計數方法，S1、獲取鉆桿圖像數據，將鉆桿圖像數據劃分為兩種類型數據；S2、對兩種數據進行圖像增強處理；S3、將不同比例的高斯白噪聲加入每一張清洗的圖像中；S4、樣本圖片讀入后被鎖定為一個416*416的圖像，每一個圖像區域經過Darknet；S5、對圖像候選框以及候選框的中心點、寬、高進行分類和回歸任務，并修改分類任務的輸出設置成1；S6、通過訓練最小化損失函數，監測網絡輸出多個檢測候選框；S7、將在檢驗框中置信度最大的檢驗框作為輸入框，依次計算有重疊的檢驗框的IOU，當計算的IOU值大于設定閾值時，過濾，并重復步驟S7；S8、采用圖像分類、卡爾曼濾波算法和匈牙利算法對監測到的目標進行跟蹤計算。標進行跟蹤計算。標進行跟蹤計算。

【技術實現步驟摘要】
基于計算機視覺的礦下鉆機鉆桿計數方法


[0001]本專利技術屬于井下鉆桿計數的
，具體涉及一種基于計算機視覺的礦下鉆機鉆桿計數方法。

技術介紹

[0002]瓦斯爆炸、突出等瓦斯事故是煤礦生產過程中最大的一類安全隱患。目前煤礦生產中最常用的措施是瓦斯抽采，即通過打鉆，利用鉆孔(或巷道)、管道和真空泵將煤層或采區內的瓦斯抽至地面，以保證礦井作業的安全進行。
[0003]作為瓦斯抽采第一步工序，打鉆需要考慮到打鉆深度，由于鉆頭在煤層中的路徑難以獲取，一般通過計算鉆桿數量來間接計算鉆孔深度，以滿足鉆孔深度設計要求。打鉆深度與鉆桿數目成直接關系，若打鉆深度高出實際深度，將導致瓦斯無法抽取，若打鉆深度低于實際深度，極易出現瓦斯泄漏甚至造成瓦斯爆炸。對于瓦斯抽采鉆孔深度的測量基本采用隨鉆測量的方法進行，傳統的人工統計鉆桿數量的方式存在自動化程度低、受人為因素影響、誤差較大等缺點。
[0004]同時，鉆孔施工大多以進尺計酬。施工過程中遇堅硬巖層時，施工隊為保證施工進度，可能會偷工減料，虛報鉆孔深度，給煤礦生產帶來巨大安全隱患。
[0005]因此，煤礦會在打鉆后進行驗鉆，但該方法易受人為影響，經常出現漏記、多記、錯記等情況。隨著監控視頻的發展，在煤礦安全生產中得到應用推廣，通過人工監看視頻進行計數。這種方式最大的問題是不能實時播報打鉆深度，出現問題地上監督人員不能及時發出停工警告。且人的精力是有限的，長時間盯著一個地方，人眼會出現疲勞，無法實現實時完整的監控，且在高強度工作環境下難免存在人為的疏忽從而造成計數誤差。為降低錯誤率，需要多人同時計數，并安排專人全程監督，浪費大量人力資源，增加了管理成本，且無法杜絕虛報鉆孔深度的現象。
[0006]為降低人員勞動強度并提高準確率，出現了接近開關計數方法、可編程邏輯控制計數方法和基于計算機視覺的計數方法。其中前兩者采用接近開關、傳感器等裝置接收距離參數、發出信號，由技術裝置、控制器自動累加計數。后者通過計算機智能分析視頻畫面計數。
[0007]雖然以上方法都可以達到計數的效果，但井下環境惡劣，潮濕、灰塵多，接近開關容易損壞，使得鉆桿計數失效。鉆機的打鉆過程復雜，打鉆和取鉆過程不好區分，需要額外安裝大量的控制檢測設備，而硬件設備的價格通常比較昂貴，這樣就需要投入很大的成本，不利于推廣。當鉆機出現異常或者中斷，畫面出現強光源或者遮擋，運動目標過快等問題時，機器視覺技術識別效果也會大大降低，易造成統計結果偏差。
[0008]在鉆機的鉆頭處設置標識裝置，利用煤礦井下攝像儀拍攝瓦斯抽采鉆機的運行圖像，并通過以太環網將圖像傳輸給工控機的圖像處理系統，從而進行圖像預處理、特征提取、目標檢測、目標跟蹤，最終實現鉆桿的自動計數。
[0009]現有技術的計數效果是以現實中采集的視頻來進行實驗驗證的，對鉆機的打鉆計
數取得了一定的結果，但還沒有完全達到實時的監測效果，當鉆機出現異常或者中斷時，造成錯誤統計。對于強光源或者遮擋問題，也都沒有給出更好的解決辦法，當運動目標過快時，也不能達到實時跟蹤的效果，從而造成折線圖峰值出現錯誤，進而統計鉆桿準確度下降，并不能運用到實際工業生產中。

技術實現思路

[0010]本專利技術的目的在于針對現有技術中的上述不足，提供一種基于計算機視覺的礦下鉆機鉆桿計數方法，以解決或改善上述的問題。
[0011]為達到上述目的，本專利技術采取的技術方案是：
[0012]一種基于計算機視覺的礦下鉆機鉆桿計數方法，其包括以下具體步驟：
[0013]S1、獲取鉆桿圖像數據，將鉆桿圖像數據劃分為兩種類型數據，并將兩種數據分別作為訓練監測器的網絡和訓練重識別的網絡的輸入；
[0014]S2、對兩種數據進行圖像增強處理；
[0015]S3、將不同比例的高斯白噪聲加入每一張清洗的圖像中，模擬二氧化硅和粉塵造成的影響；
[0016]S4、樣本圖片讀入后被鎖定為一個416*416的圖像，圖像包括三個尺度，分別將圖像切割成13*13，26*26，52*52個區域，每一個區域經過Darknet；
[0017]S5、對圖像中是否含有監測物的候選框以及候選框的中心點、寬、高進行分類和回歸任務，并修改分類任務的輸出設置成1；
[0018]S6、通過訓練最小化損失函數，監測網絡輸出多個檢測候選框，采用非極大抑制算法，對候選框進行一次過濾，將含有目標物體的概率值在0.5以下的部分作為錯誤預測過濾掉；
[0019]S7、將在檢驗框中置信度最大的檢驗框作為輸入框，依次計算輸入框與候選檢驗框中有重疊的檢驗框的IOU，當計算的IOU值大于設定閾值時，過濾，并重復步驟S7，直至剩余候選邊界框為零；
[0020]S8、采用圖像分類、卡爾曼濾波算法和匈牙利算法對監測到的目標進行跟蹤計算。
[0021]進一步地，步驟S1的兩種類型的數據包括：第一種類型對應標注文件為(c,x,y,w,h)，第二種為(c,id,x,y,w,h)，其中，c為類型，x,y為鉆桿候選框的中心位置坐標，w,h分別為鉆桿中心候選框的寬和高，id為鉆桿的編號。
[0022]進一步地，步驟S2中的圖像增強處理包括：截取、旋轉、對稱變換、亮度變換和飽和度變換。
[0023]進一步地，候選框中的位置信息的損失為：
[0024][0025]其中，λ
coor
為坐標誤差的權重系數，s2為搜索網格總數，B為檢測框種數總和，為存在指數，檢測器的搜索網格i中有第j種檢測框監測到目標時為1，不含監測目標時為0；w
i
，h
i
分別為檢測目標框的寬度和高度，w
l
，h
l
分別為標注目標框的寬度和高度，x
i
，y
i
分別為
檢測目標框的中心坐標，x
l
，y
l
分別為標注目標框的中心坐標。
[0026]進一步地，每個區域內候選框中物體的類別的損失為：
[0027][0028]其中，λ
cls
為分類誤差的權重系數，s2代表搜索網格總數，B為檢測框種數總和，為存在指數，檢測器的搜索網格i中有第j種檢測框監測到目標時為1，不含監測目標時為0；p
i
(c)為目標是c類物體的概率，為檢測目標是c類物體的真實值。
[0029]進一步地，對任意區域內含有待檢測目標和不含有待檢測目標的概率損失為：
[0030][0031][0032]其中，λ
obj
,λ
noobj
分別是含有物體置信度誤差的權重系數和不含物體置信度誤差的權重系數，s2為搜索網格總數，B為檢測框種數總和，為存在指數，檢測器的搜索網格i中有第j種檢測框監測到目標時為1，不含監測目標時為0，相反；c
i
和分別為置信度的預測值和真實值。
[0033]進一步地，步驟S8中采用角度分類器進行圖像分類，包括：...

【技術保護點】

【技術特征摘要】
1.一種基于計算機視覺的礦下鉆機鉆桿計數方法，其特征在于，包括以下步驟：S1、獲取鉆桿圖像數據，將鉆桿圖像數據劃分為兩種類型數據，并將兩種數據分別作為訓練監測器的網絡和訓練重識別的網絡的輸入；S2、對兩種數據進行圖像增強處理；S3、將不同比例的高斯白噪聲加入每一張清洗的圖像中，模擬二氧化硅和粉塵造成的影響；S4、樣本圖片讀入后被鎖定為一個416*416的圖像，圖像包括三個尺度，分別將圖像切割成13*13，26*26，52*52個區域，每一個區域經過Darknet；S5、對圖像中是否含有監測物的候選框以及候選框的中心點、寬、高進行分類和回歸任務，并修改分類任務的輸出設置成1；S6、通過訓練最小化損失函數，監測網絡輸出多個檢測候選框，采用非極大抑制算法，對候選框進行一次過濾，將含有目標物體的概率值在0.5以下的部分作為錯誤預測過濾掉；S7、將在檢驗框中置信度最大的檢驗框作為輸入框，依次計算輸入框與候選檢驗框中有重疊的檢驗框的IOU，當計算的IOU值大于設定閾值時，過濾，并重復步驟S7，直至剩余候選邊界框為零；S8、采用圖像分類、卡爾曼濾波算法和匈牙利算法對監測到的目標進行跟蹤計算。2.根據權利要求1所述的基于計算機視覺的礦下鉆機鉆桿計數方法，其特征在于，所述步驟S1的兩種類型的數據包括：第一種類型對應標注文件為(c，x，y，w，h)，第二種為(c，id,x,y,w,h)，其中，c為類型，x,y為鉆桿候選框的中心位置坐標，w,h分別為鉆桿中心候選框的寬和高，id為鉆桿的編號。3.根據權利要求1所述的基于計算機視覺的礦下鉆機鉆桿計數方法，其特征在于，所述步驟S2中的圖像增強處理包括：截取、旋轉、對稱變換、亮度變換和飽和度變換。4.根據權利要求1所述的基于計算機視覺的礦下鉆機鉆桿計數方法，其特征在于，所述候選框中的位置信息的損失為：其中，λ
coor
為坐標誤差的權重系數，s2為搜索網格總數，B為檢測框種數總和，為存在指數，檢測器的搜索網格i中有第j種檢測框監測到目標時為1，不含監測目標時為0；w
i
，h
i
分別為檢測目標框的寬度和高度，w
l
，h
l
分別為標注目標框的寬度和高度，x
i
，y
i
分別為檢測目標框的中心坐標，x
l
，y
l
分別為標注目標框的中心坐標。5.根據權利要求1所述的基于計算機視覺的礦下鉆機鉆桿計數方法，其特征在于，每個區域內候選框中物體的類別的損失為：其中，λ
cls
為分類誤差的...

【專利技術屬性】
技術研發人員：李映萱，陳俊星，閆啟宏，
申請(專利權)人：成都光束慧聯科技有限公司，
類型：發明
國別省市：