基于深度學(xué)習(xí)的端子排文本檢測(cè)方法及系統(tǒng)技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法及系統(tǒng)，涉及圖像處理方法技術(shù)領(lǐng)域。所述方法首先檢測(cè)拍攝圖片中的端子排所在區(qū)域，并基于端子排所在區(qū)域提取端子排圖片，再對(duì)端子排圖片進(jìn)行文本區(qū)域檢測(cè)，得到不規(guī)則文本區(qū)域的最大外接矩形框，進(jìn)而通過(guò)仿射變換得到規(guī)則的文本區(qū)域，最終能夠準(zhǔn)確檢測(cè)端子排中的文本區(qū)域，提高了文本檢測(cè)的效率和準(zhǔn)確性。性。性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于深度學(xué)習(xí)的端子排文本檢測(cè)方法及系統(tǒng)


[0001]本專(zhuān)利技術(shù)涉及圖像處理方法
，尤其涉及一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法及系統(tǒng)。

技術(shù)介紹

[0002]變電站端子排線路巡檢是保證變電站穩(wěn)定供電的關(guān)鍵環(huán)節(jié)，巡檢工作的主要內(nèi)容是核對(duì)端子排實(shí)際線路與設(shè)計(jì)圖紙是否一致。目前，巡檢工作主要依靠人工，巡檢人員目測(cè)端子排線路且記錄下來(lái)，然后將記錄結(jié)果與設(shè)計(jì)圖紙進(jìn)行對(duì)比。由于端子排線路密集，容易造成目測(cè)出錯(cuò)，嚴(yán)重影響巡檢工作的質(zhì)量和效率。隨著機(jī)器學(xué)習(xí)的發(fā)展，機(jī)器識(shí)別場(chǎng)景文本得到深入研究和廣泛應(yīng)用。然而，變電站端子排及電纜套管編號(hào)的文本分布稠密、文本區(qū)域界定不規(guī)則，給端子排文本檢測(cè)帶來(lái)挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

[0003]本專(zhuān)利技術(shù)所要解決的技術(shù)問(wèn)題是如何提供一種能夠準(zhǔn)確檢測(cè)端子排中的文本區(qū)域，提高文本檢測(cè)的效率和準(zhǔn)確性的端子排文本檢測(cè)方法及系統(tǒng)。
[0004]為解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)所采取的技術(shù)方案是：一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于包括如下步驟：
[0005]S1：利用目標(biāo)檢測(cè)模型檢測(cè)目標(biāo)圖片中端子排所在區(qū)域；
[0006]S2：確定各所述端子排所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)對(duì)所述目標(biāo)圖片進(jìn)行剪裁，得到剪裁端子排區(qū)域圖片；
[0007]S3：利用目標(biāo)檢測(cè)模型對(duì)所有剪裁端子排區(qū)域圖片中的不規(guī)則文本區(qū)域進(jìn)行實(shí)例切割；
[0008]S4：確定各所述端子排文本所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)的最大外接矩形，框出不規(guī)則矩形，得到剪裁端子排文本區(qū)域圖片；
[0009]S5：將所有剪裁端子排文本區(qū)域圖片進(jìn)行仿射變換；
[0010]S6：再次利用目標(biāo)檢測(cè)模型，對(duì)每一仿射變換后的圖片進(jìn)行文本檢測(cè)，識(shí)別出端子排文本區(qū)域。
[0011]本專(zhuān)利技術(shù)還公開(kāi)了一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于包括：
[0012]端子排區(qū)域檢測(cè)模塊，用于利用YOLOv5目標(biāo)檢測(cè)模型檢測(cè)視頻關(guān)鍵幀圖片中端子排所在區(qū)域；
[0013]剪裁模塊，用于確定各所述端子排所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)對(duì)所述目標(biāo)關(guān)鍵幀圖片進(jìn)行剪裁，得到剪裁端子排區(qū)域圖片；
[0014]實(shí)例切割模塊，用于利用DBNet目標(biāo)檢測(cè)模型對(duì)所有所述剪裁端子排區(qū)域圖片中不規(guī)則文本區(qū)域進(jìn)行實(shí)例切割；
[0015]預(yù)處理模塊，用于確定各所述端子排文本所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)的最大外接矩形，框出不規(guī)則矩形，得到剪裁端子排文本區(qū)域圖片；
[0016]仿射變換模塊，用于將所有所述剪裁端子排文本區(qū)域圖片進(jìn)行仿射變換；
[0017]端子排文本區(qū)域檢測(cè)模塊，用于利用YOLOv5目標(biāo)檢測(cè)模型，對(duì)每一仿射變換后的圖片進(jìn)行文本檢測(cè)。
[0018]采用上述技術(shù)方案所產(chǎn)生的有益效果在于：本專(zhuān)利技術(shù)所述方法中，首先檢測(cè)拍攝圖片中的端子排所在區(qū)域，并基于端子排所在區(qū)域提取端子排圖片，再對(duì)端子排圖片進(jìn)行文本區(qū)域檢測(cè)，得到不規(guī)則文本區(qū)域的最大外接矩形框，進(jìn)而通過(guò)仿射變換得到規(guī)則的文本區(qū)域，最終能夠準(zhǔn)確檢測(cè)端子排中的文本區(qū)域，提高了文本檢測(cè)的效率和準(zhǔn)確性。
附圖說(shuō)明
[0019]下面結(jié)合附圖和具體實(shí)施方式對(duì)本專(zhuān)利技術(shù)作進(jìn)一步詳細(xì)的說(shuō)明。
[0020]圖1為本專(zhuān)利技術(shù)實(shí)施例一所述方法的流程圖；
[0021]圖2為本專(zhuān)利技術(shù)實(shí)施例一所述方法的具體流程圖；
[0022]圖3為本專(zhuān)利技術(shù)實(shí)施例一中提供的端子排所在區(qū)域識(shí)別圖；
[0023]圖4為本專(zhuān)利技術(shù)實(shí)施例一中提供的最大外接矩形框效果圖；
[0024]圖5為本專(zhuān)利技術(shù)實(shí)施例一中提供的仿射變換效果圖；
[0025]圖6為本專(zhuān)利技術(shù)實(shí)施例一中提供的端子排本文檢測(cè)效果圖；
[0026]圖7是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)的原理框圖；
[0027]圖8是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中端子排區(qū)域檢測(cè)模塊的原理框圖；
[0028]圖9是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中剪裁模塊的原理框圖；
[0029]圖10是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中剪裁子模塊的原理框圖；
[0030]圖11是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中實(shí)例切割模塊的原理框圖；
[0031]圖12是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中預(yù)處理模塊的原理框圖；
[0032]圖13是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中仿射變換模塊的原理框圖；
[0033]圖14是本專(zhuān)利技術(shù)實(shí)施例所述系統(tǒng)中端子排文本區(qū)域檢測(cè)模塊的原理框圖。
具體實(shí)施方式
[0034]下面結(jié)合本專(zhuān)利技術(shù)實(shí)施例中的附圖，對(duì)本專(zhuān)利技術(shù)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本專(zhuān)利技術(shù)的一部分實(shí)施例，而不是全部的實(shí)施例。基于本專(zhuān)利技術(shù)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本專(zhuān)利技術(shù)保護(hù)的范圍。
[0035]在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本專(zhuān)利技術(shù)，但是本專(zhuān)利技術(shù)還可以采用其他不同于在此描述的其它方式來(lái)實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本專(zhuān)利技術(shù)內(nèi)涵的情況下做類(lèi)似推廣，因此本專(zhuān)利技術(shù)不受下面公開(kāi)的具體實(shí)施例的限制。
[0036]實(shí)施例一
[0037]總體的，本專(zhuān)利技術(shù)實(shí)施例公開(kāi)了一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，所述方法首先檢測(cè)拍攝圖片中的端子排所在區(qū)域，并基于端子排所在區(qū)域提取端子排圖片，再對(duì)端子排圖片進(jìn)行文本區(qū)域檢測(cè)，得到不規(guī)則文本區(qū)域的最大外接矩形框，進(jìn)而通過(guò)仿射變換得到規(guī)則的文本區(qū)域，最終能夠準(zhǔn)確提檢測(cè)端子排中的文本區(qū)域，提高了文本檢測(cè)的效率和準(zhǔn)確性。
[0038]具體的，如圖1和圖2所示，所述方法包括如下步驟：
[0039]S1：利用目標(biāo)檢測(cè)模型檢測(cè)目標(biāo)圖片中端子排所在區(qū)域；
[0040]通過(guò)對(duì)端子排的視頻拍攝，將關(guān)鍵幀圖片提取為圖像格式；之后對(duì)圖像中的端子排所在區(qū)域進(jìn)行標(biāo)注并訓(xùn)練出模型權(quán)重，將此權(quán)重用于檢測(cè)拍攝端子排圖片中的端子排區(qū)域。所述步驟S1具體包括：
[0041]S11：對(duì)視頻關(guān)鍵幀提取的目標(biāo)圖片中的端子排區(qū)域進(jìn)行規(guī)則矩形標(biāo)注；
[0042]S12：利用標(biāo)注后的目標(biāo)圖片訓(xùn)練YOLOv5目標(biāo)檢測(cè)模型；
[0043]S13：利用訓(xùn)練好的YOLOv5目標(biāo)檢測(cè)模型檢測(cè)所述目標(biāo)圖片中的所述端子排所在區(qū)域。
[0044]將拍攝端子排的視頻通過(guò)關(guān)鍵幀提取有效圖像。在圖像上進(jìn)行端子排區(qū)域標(biāo)注，并將其作為訓(xùn)練樣本傳入YOLOv5算法，檢測(cè)出所有圖像中的端子排區(qū)域。
[0045]S2：確定各所述端子排所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)對(duì)所述目標(biāo)圖片進(jìn)行剪裁，得到剪裁端子排區(qū)域圖片；
[0046]通過(guò)YOLOv5算法中設(shè)置save
?
txt參數(shù)，將檢測(cè)出的端子排區(qū)域坐標(biāo)保留在TXT文檔中；將YOLO格式TXT標(biāo)注文件轉(zhuǎn)換為VOC格式XML標(biāo)注文件；通過(guò)OpenCV讀取XML中的信息，在原圖中進(jìn)行裁剪，提取并保存端子排區(qū)域所在圖片。
[0047]所述步驟S2具體包括：
[0048]S21：在所述端子排區(qū)域檢測(cè)時(shí)，在所述YOLOv5目本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于包括如下步驟：S1：利用目標(biāo)檢測(cè)模型檢測(cè)目標(biāo)圖片中端子排所在區(qū)域；S2：確定各所述端子排所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)對(duì)所述目標(biāo)圖片進(jìn)行剪裁，得到剪裁端子排區(qū)域圖片；S3：利用目標(biāo)檢測(cè)模型對(duì)所有剪裁端子排區(qū)域圖片中的不規(guī)則文本區(qū)域進(jìn)行實(shí)例切割；S4：確定各所述端子排文本所在區(qū)域的區(qū)域坐標(biāo)，并根據(jù)所述區(qū)域坐標(biāo)的最大外接矩形，框出不規(guī)則矩形，得到剪裁端子排文本區(qū)域圖片；S5：將所有剪裁端子排文本區(qū)域圖片進(jìn)行仿射變換；S6：再次利用目標(biāo)檢測(cè)模型，對(duì)每一仿射變換后的圖片進(jìn)行文本檢測(cè)，識(shí)別出端子排文本區(qū)域。2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述S1具體包括如下步驟：S11：對(duì)視頻關(guān)鍵幀提取的目標(biāo)圖片中的端子排區(qū)域進(jìn)行規(guī)則矩形標(biāo)注；S12：利用標(biāo)注后的目標(biāo)圖片訓(xùn)練YOLOv5目標(biāo)檢測(cè)模型；S13：利用訓(xùn)練好的YOLOv5目標(biāo)檢測(cè)模型檢測(cè)所述目標(biāo)圖片中的所述端子排所在區(qū)域。3.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述步驟S2具體包括如下步驟：S21：所述端子排區(qū)域檢測(cè)時(shí)，在所述YOLOv5目標(biāo)檢測(cè)模型中設(shè)置save
?
txt參數(shù)，將檢測(cè)出的所述端子排所在區(qū)域的坐標(biāo)保留在TXT文檔中；S22：根據(jù)所述TXT文檔中保留的所述區(qū)域坐標(biāo)對(duì)所述目標(biāo)圖片進(jìn)行剪裁，得到剪裁端子排區(qū)域圖片。4.如權(quán)利要求3所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述得到剪裁端子排區(qū)域圖包括如下步驟：S221：將YOLO格式的TXT文檔文件轉(zhuǎn)換為VOC格式的XML標(biāo)注文件；S222：讀取所述XML標(biāo)注文件中保留的所述區(qū)域坐標(biāo)，并對(duì)所述目標(biāo)關(guān)鍵幀圖片進(jìn)行剪裁，得到所述剪裁端子排區(qū)域圖片。5.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述步驟S3具體包括如下步驟：S31：對(duì)端子排圖片中的端子排文本區(qū)域進(jìn)行不規(guī)則形狀標(biāo)注；S32：利用標(biāo)注后的目標(biāo)圖片訓(xùn)練DBNet目標(biāo)檢測(cè)模型；S33：利用訓(xùn)練好的DBNet目標(biāo)檢測(cè)模型檢測(cè)所述目標(biāo)圖片中的所述端子排文本所在區(qū)域。6.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述步驟S4具體包括如下步驟：S41：在所述端子排文本區(qū)域檢測(cè)時(shí)，在所述DBNet目標(biāo)檢測(cè)模型中將檢測(cè)出的所述端子排文本所在區(qū)域的坐標(biāo)保留在TXT文檔中；S42：根據(jù)所述TXT文檔中保留的所述區(qū)域坐標(biāo)進(jìn)行最大外接矩形框?qū)ふ遥皺z測(cè)目標(biāo)的最大X坐標(biāo)和最大Y坐標(biāo)；
S43：根據(jù)檢測(cè)目標(biāo)的最大外接矩形框?qū)λ瞿繕?biāo)圖片進(jìn)行剪裁，得到剪裁端子排文本區(qū)域圖片。7.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述步驟S5具體包括如下步驟：S51：將最大外接矩形的圖片先用Hough直線檢測(cè)找到圖像中最長(zhǎng)的直線，以最長(zhǎng)的直線為基準(zhǔn)；S52：再使用仿射變換對(duì)圖像進(jìn)行修改，使傾斜圖片矯正。8.如權(quán)利要求1所述的基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于：所述步驟S6具體包括如下步驟：S61：對(duì)仿射變換后的目標(biāo)圖片中的端子排文本區(qū)域進(jìn)行規(guī)則矩形標(biāo)注；S62：利用標(biāo)注后的目標(biāo)圖片訓(xùn)練YOLOv5目標(biāo)檢測(cè)模型；S63：利用訓(xùn)練好的YOLOv5目標(biāo)檢測(cè)模型檢測(cè)所述目標(biāo)圖片中的所述端子排文本所在區(qū)域。9.一種基于深度學(xué)習(xí)的端子排文本檢測(cè)方法，其特征在于包括：端子排區(qū)域檢測(cè)模塊(101)，用于利用YOLOv5目標(biāo)檢測(cè)模型檢測(cè)視頻關(guān)鍵幀圖片...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：譚林林，莊博，曹衛(wèi)國(guó)，錢(qián)晶，陳中，杜麗艷，牛雪飛，吳昌志龍，
申請(qǐng)(專(zhuān)利權(quán))人：國(guó)網(wǎng)冀北電力有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：