【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于行駛證識別，具體涉及一種基于通用計算機(jī)的行駛證識別方法。
技術(shù)介紹
1、行駛證是我國準(zhǔn)予機(jī)動車在我國境內(nèi)道路上線索的法定證件。其記錄了號牌號碼、車輛類型、所有人、住址、使用性質(zhì)、品牌型號、車輛識別代號、發(fā)動機(jī)號碼、注冊日期、發(fā)證日期、證芯編號等車輛相關(guān)信息。在車檢行業(yè)中，是車輛核對、登記等業(yè)務(wù)需要的初始數(shù)據(jù)。
2、過去，往往通過人工的手段，肉眼檢查并錄入這些基礎(chǔ)信息。但該方式因為疲勞、枯燥等因素，導(dǎo)致錯錄、漏錄的情況時有發(fā)生，效率很低、準(zhǔn)確度也不高。為了改變這一現(xiàn)狀，現(xiàn)在往往采用tesseract的ocr的方式來識別對駕駛證文本進(jìn)行自動識別，但又因為傳統(tǒng)的ocr方法對駕駛證照片的拍攝要求比較高，光線、偏斜、抖動等情況造成ocr識別的效果比較差，即，傳統(tǒng)的ocr方法解決了速度問題，但不能完全解決精度問題。
3、目前最有效的方法是采用深度學(xué)習(xí)來解決ocr識別的精度問題，但同時，為了提高速度，部署深度學(xué)習(xí)ocr需要gpu的支持，這樣就提高了成本；為了減少成本，需要邊緣計算板卡的支持，但同時又提高了系統(tǒng)的復(fù)雜度和通用性
技術(shù)實(shí)現(xiàn)思路
1、為解決上述
技術(shù)介紹
中提出的問題。本專利技術(shù)提供了一種基于通用計算機(jī)的行駛證識別方法，具有通用性高，成本低，兼顧效率和精度的特點(diǎn)。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：一種基于通用計算機(jī)的行駛證識別方法，包括以下步驟：
3、步驟1.通過高拍儀，拍攝行駛證的首頁、副頁圖片，其擺放方向不做
4、步驟2.將圖片resize到320x320，并轉(zhuǎn)為灰度圖；
5、步驟3.將圖片輸入到支持分類的dbnet網(wǎng)絡(luò)，輸出首頁和副頁的bbox，其中，首頁為1，副頁為2；
6、步驟4.利用bbox的四個坐標(biāo)點(diǎn)，確定最下方的一條邊，和水平面x軸的夾角；
7、步驟5.通過夾角，2次旋轉(zhuǎn)圖片，使得首頁和副頁分別平行于x軸，并分別截取，即完成了第一次糾偏；
8、步驟6.將首頁圖片平均分為4個象限，分別為左上、右上、左下、右下；
9、步驟7.將首頁圖片轉(zhuǎn)為hsv三通道，并根據(jù)hue通道的值，確定大范圍的紅色出現(xiàn)在哪個象限，即根據(jù)首頁中紅色簽章的位置，確定首頁圖片是否需要進(jìn)行旋轉(zhuǎn)以二次糾偏；
10、步驟8.將首頁圖片resize為416x416，輸入可分類的、針對首頁訓(xùn)練的dbnet網(wǎng)絡(luò)并輸出各分類的bbox，其中，上下結(jié)構(gòu)的文本(上為中文下為英文)，如號牌號碼、車輛類型歸為1類，稱作表頭字段；單層的中英文數(shù)字結(jié)合的文本，如小型普通客車、非營運(yùn)等，歸為2類，稱作內(nèi)容字段；
11、步驟9.將歸類為2的內(nèi)容字段通過bbox截取出來；
12、步驟10.以(3,3)大小為高斯核，對文本圖片做高斯濾波；
13、步驟11.利用sobel算子，對文本圖片進(jìn)行圖片梯度計算，求x方向的一階導(dǎo)數(shù)；
14、步驟12.以(5，5)為核，對文本圖片做均值平滑；
15、步驟13.將文本圖片二值化，之后做閉運(yùn)算，此時圖片中連續(xù)的文字已經(jīng)連成一片；
16、步驟14.在文本圖片中尋找輪廓，輪廓面積最大的，即為需要ocr的文本的大致區(qū)域；
17、步驟15.通過最大面積輪廓的坐標(biāo)，計算其與x軸的夾角，通過夾角，再次旋轉(zhuǎn)完成文本糾偏；
18、步驟16.通過bbox，在原rgb圖片中，重新截取文本區(qū)域；
19、步驟17.將文本圖片進(jìn)行一次彩色圖片的局部均衡操作；
20、步驟18.將文本圖片分離為hsv三個通道，計算明度(value)的均值，根據(jù)閾值，確定圖片是否需要調(diào)節(jié)明亮度；
21、步驟19.resize到32x320，輸入到crnn網(wǎng)絡(luò)(中英文數(shù)字ocr文本識別網(wǎng)絡(luò))，輸出預(yù)測的文本字符串；
22、步驟20.將所有的文本圖片的預(yù)測文本字符串和文本圖片在原始圖片中的bbox對應(yīng)起來；
23、步驟21.按照bbox在原圖中的位置，將文本字符串與該文本對應(yīng)的屬性一一對應(yīng)起來，即完成了版面分析和文本對應(yīng)；
24、步驟22.將副頁圖片同樣做高斯濾波、梯度計算、閉運(yùn)算、二值化、尋找輪廓等一系列操作；
25、步驟23.副頁中條形碼(證芯編號)此時已連成一片，其輪廓的面積為最大；
26、步驟24.求條形碼的方位以及與x軸的夾角，確定副頁是否翻轉(zhuǎn)、是否需要旋轉(zhuǎn)糾偏；
27、步驟25.將條形碼以及條形碼下方的數(shù)字字母文本串截取出來；
28、步驟26.通過開源條碼識別庫zbar，識別條碼，證芯編號為13位數(shù)字和字母的組合；
29、步驟27.判斷證芯編號是否符合要求，不符合的情況下，將數(shù)字字母文本串圖片resize到32x320，輸入到crnn網(wǎng)絡(luò)(中英文數(shù)字ocr文本識別網(wǎng)絡(luò))，輸出預(yù)測結(jié)果字符串；
30、步驟28.所有ocr識別完畢，融合數(shù)據(jù)后輸出結(jié)果到車檢平臺。
31、進(jìn)一步的，所述步驟3中的dbnet網(wǎng)絡(luò)分類的方法為：
32、將圖像輸入到特征金字塔主干中且將特征上采樣到相同的比例，并級聯(lián)生成特征f，用于輸出預(yù)測概率圖p和閾值圖t；
33、之后，通過p和f的計算近似二元特征
34、在訓(xùn)練期間，對概率圖、閾值圖和近似二值圖進(jìn)行監(jiān)督，概率圖和近似二值圖共享相同的監(jiān)督；
35、在推理階段，可以從近似二值圖或概率圖輕松獲得文本簡介框；
36、·標(biāo)準(zhǔn)二值化
37、其中t為閾值，pi,j為像素點(diǎn)bi,j的概率；
38、
39、·可微分二值化
40、標(biāo)準(zhǔn)二值化中，1是不可區(qū)分的，因此在訓(xùn)練期間不能與分割網(wǎng)絡(luò)一起對其進(jìn)行優(yōu)化，所以，這里采用近似躍階函數(shù)執(zhí)行二值化：
41、
42、·loss函數(shù)
43、l＝ls+α×lb+β×lt
44、其中，ls為概率圖的loss，lb為二值圖的loss,lt為閾值圖的loss，α、β分別取值1.0和10.對于l+s、lb采用二值交叉熵求解：
45、
46、式中sl是經(jīng)過采樣的數(shù)據(jù)集，正樣本與負(fù)樣本的比值為1:3，對于lt使用的是l1loss
47、
48、式中的rd指的是標(biāo)注框經(jīng)過d偏移量后擴(kuò)充得到的gd里的所有像素，y*是計算出來的閾值圖的label。
49、進(jìn)一步的，所述步驟3的dbnet網(wǎng)絡(luò)包括dbnet0網(wǎng)絡(luò)(首頁副頁的定位及分類)和dbnet1網(wǎng)絡(luò)(首頁表頭字段和內(nèi)容字段的定位及分類)。
50、進(jìn)一步的，所述dbnet0網(wǎng)絡(luò)(首頁副頁的定位及分類)采用mobilenet-v3-small作為骨干網(wǎng)絡(luò)，以車檢行業(yè)內(nèi)常見的1000張高拍儀拍攝的行駛證照片作為數(shù)據(jù)集，(一般會將行駛證首頁和副頁放在同一平面內(nèi)拍攝，且可能是傾斜的、甚本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于通用計算機(jī)的行駛證識別方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述步驟3中的dbNet網(wǎng)絡(luò)分類的方法為：
3.根據(jù)權(quán)利要求1所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述步驟3的dbNet網(wǎng)絡(luò)包括dbNet0網(wǎng)絡(luò)(首頁副頁的定位及分類)和dbNet1網(wǎng)絡(luò)(首頁表頭字段和內(nèi)容字段的定位及分類)。
4.根據(jù)權(quán)利要求3所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述dbNet0網(wǎng)絡(luò)(首頁副頁的定位及分類)采用mobileNet-v3-small作為骨干網(wǎng)絡(luò)，以車檢行業(yè)內(nèi)常見的1000張高拍儀拍攝的行駛證照片作為數(shù)據(jù)集，(一般會將行駛證首頁和副頁放在同一平面內(nèi)拍攝，且可能是傾斜的、甚至是翻轉(zhuǎn)的)，訓(xùn)練后的模型文件大小僅有2.3M，在通用計算機(jī)上推理沒有壓力。
5.根據(jù)權(quán)利要求3所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述dbNet1網(wǎng)絡(luò)(首頁表頭字段和內(nèi)容字段的定位及分類)采用mobileNet-v3-small作為骨干網(wǎng)絡(luò)，以
6.根據(jù)權(quán)利要求1所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述步驟19和步驟27中的crnn網(wǎng)絡(luò)采用resNet34作為骨干網(wǎng)絡(luò)，以250萬張圖片作為訓(xùn)練集，每張圖片中出現(xiàn)5到30個字符，共6731個中英文和數(shù)字、符號字符，訓(xùn)練后的模型文件大小為99M，嚴(yán)重影響在通用計算機(jī)上的推理速度，因此需要壓縮模型大小提高速度，同時保證精度；
...【技術(shù)特征摘要】
1.一種基于通用計算機(jī)的行駛證識別方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述步驟3中的dbnet網(wǎng)絡(luò)分類的方法為：
3.根據(jù)權(quán)利要求1所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述步驟3的dbnet網(wǎng)絡(luò)包括dbnet0網(wǎng)絡(luò)(首頁副頁的定位及分類)和dbnet1網(wǎng)絡(luò)(首頁表頭字段和內(nèi)容字段的定位及分類)。
4.根據(jù)權(quán)利要求3所述的一種基于通用計算機(jī)的行駛證識別方法，其特征在于：所述dbnet0網(wǎng)絡(luò)(首頁副頁的定位及分類)采用mobilenet-v3-small作為骨干網(wǎng)絡(luò)，以車檢行業(yè)內(nèi)常見的1000張高拍儀拍攝的行駛證照片作為數(shù)據(jù)集，(一般會將行駛證首頁和副頁放在同一平面內(nèi)拍攝，且可能是傾斜的、甚至是翻轉(zhuǎn)的)，訓(xùn)練后的模型文件大小僅有2.3m，在...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：秦笑，鐘云亮，黃中羲，
申請(專利權(quán))人：重慶云網(wǎng)科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。