【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)視覺(jué)缺陷檢測(cè)，尤其是指一種基于改進(jìn)yolo算法的pcb缺陷檢測(cè)系統(tǒng)以及方法。
技術(shù)介紹
1、pcb(printed?circuit?board，印制電路板)是現(xiàn)代電子設(shè)備中至關(guān)重要的組成部分，用于連接和支持電子元器件。隨著電子制造的發(fā)展，pcb板朝小型化、復(fù)雜化發(fā)展是大勢(shì)所趨，這就導(dǎo)致在pcb制造過(guò)程中，更容易出現(xiàn)各種缺陷，如：漏孔、鼠咬、開路、短路、毛刺、假銅等等，這些缺陷可能會(huì)導(dǎo)致電路故障或性能下降，嚴(yán)重的情況下可能會(huì)導(dǎo)致使用人員的生命危險(xiǎn)。然而pcb板的缺陷大多尺寸很小，且顏色與pcb線路背景顏色相似，緊靠人眼檢測(cè)難度很大，而且檢測(cè)精度不高，因此，開發(fā)高效的pcb缺陷檢測(cè)技術(shù)在現(xiàn)代電子制造業(yè)中具有重要意義，能夠有效提高產(chǎn)品質(zhì)量、減少生產(chǎn)成本，也能確保電子設(shè)備的穩(wěn)定性和可靠性。
2、目前主流pcb缺陷檢測(cè)方法有機(jī)器視覺(jué)檢測(cè)、人工抽檢、x射線檢測(cè)、超聲波檢測(cè)等等，其中人工抽檢效率太低，而且容易造成漏檢、誤檢；x射線檢測(cè)精度較高但是成本較高而且速度慢，只適合應(yīng)用于對(duì)精度要求很高的產(chǎn)品；超聲波檢測(cè)只能檢測(cè)pcb內(nèi)部缺陷，無(wú)法發(fā)現(xiàn)表面問(wèn)題。針對(duì)pcb表面缺陷檢測(cè)而言，視覺(jué)檢測(cè)成本低、效率高，是當(dāng)下最主流的檢測(cè)方法。
3、目標(biāo)檢測(cè)算法目前主要分為兩大類，以yolo為首的單目標(biāo)檢測(cè)算法和以fasterrcnn為首的雙目標(biāo)檢測(cè)算法。其中，雙目標(biāo)檢測(cè)算法在針對(duì)缺陷種類不均衡及缺陷尺寸比較小時(shí)，存在模型準(zhǔn)確率不佳、識(shí)別速度較慢等問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1
2、所述圖像采集處理模塊通過(guò)搭建圖像采集系統(tǒng)對(duì)pcb表面缺陷進(jìn)行圖像采集，并對(duì)采集到的圖像進(jìn)行處理得到數(shù)據(jù)集；圖像采集處理模塊中包括照相機(jī)、鏡頭以及夾持裝置、基座，同時(shí)鏡頭側(cè)還設(shè)有環(huán)形光源，照相機(jī)、鏡頭裝配完后，一起設(shè)于夾持裝置上，照相機(jī)的輸出接口與計(jì)算機(jī)硬件之間相連；
3、其中的神經(jīng)網(wǎng)絡(luò)模型改進(jìn)模塊、模型訓(xùn)練模塊、模型驗(yàn)證模塊、缺陷檢測(cè)模塊均是以數(shù)據(jù)模塊運(yùn)行于計(jì)算機(jī)硬件上，所述的神經(jīng)網(wǎng)絡(luò)模型改進(jìn)模塊是基于yolox神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，構(gòu)建缺陷檢測(cè)模型，改進(jìn)包括使用focus結(jié)構(gòu)對(duì)特征層進(jìn)行堆疊，擴(kuò)充了輸入通道；在特征融合階段用resblock重構(gòu)了csplayer，重構(gòu)的csprb模塊能夠更好地處理多尺度特征融合，獲取更多的語(yǔ)義信息，并且緩解了梯度重復(fù)問(wèn)題；然后利用空間金字塔池化對(duì)四個(gè)不同尺度的最大池化進(jìn)行處理，極大地提高了感受野；最后用decoupled?head解耦頭作為yolo?head；
4、所述模型訓(xùn)練模塊用于對(duì)缺陷檢測(cè)模型進(jìn)行網(wǎng)絡(luò)參數(shù)設(shè)置，將制作的數(shù)據(jù)集輸入到缺陷檢測(cè)模型中進(jìn)行訓(xùn)練，訓(xùn)練中使用adam作為優(yōu)化器，adam優(yōu)化器的學(xué)習(xí)率設(shè)為0.001，權(quán)重衰減設(shè)置為0.0005，訓(xùn)練的epoch數(shù)設(shè)置為500,batch大小設(shè)置為4；
5、所述模型驗(yàn)證模塊用于采用驗(yàn)證集去測(cè)試初步訓(xùn)練完畢的缺陷檢測(cè)模型，根據(jù)驗(yàn)證結(jié)果調(diào)整學(xué)習(xí)率、epoch參數(shù)，提高驗(yàn)證精度，得到最終的缺陷檢測(cè)模型；
6、所述缺陷檢測(cè)模塊用于將測(cè)試集數(shù)據(jù)輸入到訓(xùn)練好的缺陷檢測(cè)模型，檢測(cè)并標(biāo)記測(cè)試集中pcb表面缺陷的種類、位置以及置信度。
7、在本專利技術(shù)的一個(gè)實(shí)施例中，所述鏡頭上的采光鏡圈和基座上的待測(cè)的pcb樣品在同一垂直的直線上，且基座上還設(shè)有矩形光源，以及光源控制器，同時(shí)光源控制器輸入端與計(jì)算機(jī)硬件之間設(shè)有控制線相連；其中照相機(jī)是采用工業(yè)ccd相機(jī)，同時(shí)設(shè)有環(huán)形光源依次同軸垂直固定于待檢測(cè)pcb板上方，pcb板下方放置一個(gè)矩形光源，通過(guò)調(diào)整相機(jī)、光源與pcb板之間的距離和曝光時(shí)間獲取pcb表面的缺陷圖像。
8、本專利技術(shù)還提供一種基于改進(jìn)yolo算法的pcb缺陷檢測(cè)方法，基于所述的pcb缺陷檢測(cè)系統(tǒng)搭建，包括如下步驟：
9、步驟s1：搭建圖像采集系統(tǒng)，對(duì)缺陷樣品進(jìn)行圖像采集；
10、步驟s2：對(duì)采集到的缺陷圖像進(jìn)行編輯，獲得統(tǒng)一尺寸后的圖像；
11、步驟s3：利用數(shù)據(jù)增強(qiáng)方法對(duì)樣本進(jìn)行擴(kuò)充，再對(duì)圖像進(jìn)行降噪、對(duì)比度增強(qiáng)；
12、步驟s4：從所述圖像中選取圖像樣本，標(biāo)注圖像樣本中缺陷的位置及類型，制作數(shù)據(jù)集；
13、步驟s5：將處理后的rgb三通道圖像輸入到改進(jìn)的yolox神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到針對(duì)pcb面板缺陷的目標(biāo)檢測(cè)模型；
14、步驟s6：讀取所得到的目標(biāo)檢測(cè)模型并對(duì)步驟s4中準(zhǔn)備好的測(cè)試集進(jìn)行測(cè)試，實(shí)現(xiàn)pcb缺陷的識(shí)別、分類以及定位；
15、具體步驟s5中的目標(biāo)檢測(cè)模型包括：使用了focus結(jié)構(gòu)的cspdarknet53主干特征提取網(wǎng)絡(luò)、空間金字塔池化結(jié)構(gòu)spp、路徑聚合網(wǎng)絡(luò)pafpn、帶有decoupled?head解耦頭的yolo?head。
16、在本專利技術(shù)的一個(gè)實(shí)施例中，步驟s2中統(tǒng)一尺寸后的圖像的尺寸為640*640。
17、在本專利技術(shù)的一個(gè)實(shí)施例中，步驟s3中所述的數(shù)據(jù)增強(qiáng)方法具體為，先對(duì)采集到的缺陷圖像進(jìn)行平移、翻轉(zhuǎn)、旋轉(zhuǎn)進(jìn)行數(shù)據(jù)擴(kuò)充，然后對(duì)擴(kuò)充后的圖像進(jìn)行圖像降噪和增強(qiáng)，先采用average濾波和smooth濾波相結(jié)合對(duì)圖像進(jìn)行降噪濾波處理，其中選擇moving作為smooth濾波的平滑處理方法，span設(shè)為5；average濾波的窗口數(shù)設(shè)置為4，這種降噪方式可以有效去除圖像中的閃爍噪聲并且不會(huì)降低圖像的分辨率，然后采用限制對(duì)比度自適應(yīng)圖像增強(qiáng)來(lái)提高圖像中缺陷與背景之間的對(duì)比度。
18、在本專利技術(shù)的一個(gè)實(shí)施例中，步驟s4中所述缺陷的類型包括：漏孔、鼠咬、開路、短路、毛刺、假銅，采用圖像標(biāo)注工具labelimg，對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行標(biāo)注，每標(biāo)注好一張pcb圖像會(huì)產(chǎn)生一個(gè)對(duì)應(yīng)的txt文件，txt文件所包含的內(nèi)容包括：目標(biāo)邊界框的類別信息、中心點(diǎn)位置坐標(biāo)、寬、高，所述目標(biāo)邊界框是標(biāo)注好的矩形框，該矩形框?qū)⑷毕莅鼑趦?nèi)。
19、在本專利技術(shù)的一個(gè)實(shí)施例中，步驟s4中為了保證數(shù)據(jù)集的獨(dú)立性性，對(duì)數(shù)據(jù)集先按照9：1的比例劃分訓(xùn)練驗(yàn)證集和測(cè)試集，再在訓(xùn)練驗(yàn)證集中按照9：1的比例劃分訓(xùn)練集和驗(yàn)證集。
20、在本專利技術(shù)的一個(gè)實(shí)施例中，其中主干特征網(wǎng)絡(luò)cspdarknet53使用了殘差網(wǎng)絡(luò)residual，其中的殘差卷積分為兩個(gè)部分，主干部分是一次1*1的卷積加上一次3*3的卷積；殘差邊部分直接將主干的輸入與輸出結(jié)合，這樣做使得網(wǎng)絡(luò)容易被優(yōu)化，并且能夠通過(guò)增加深度來(lái)提高準(zhǔn)確率；為了進(jìn)一步提高主干網(wǎng)絡(luò)的特征提取能力，在主干網(wǎng)絡(luò)中添加了focus網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)輸入的圖像每隔一個(gè)像素拿一個(gè)值，獲得了四個(gè)獨(dú)立的特征層，然后將四個(gè)獨(dú)立的特征層進(jìn)行堆疊，此時(shí)寬高信息就集中到了通道本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于改進(jìn)YOLO算法的PCB缺陷檢測(cè)系統(tǒng)，所述檢測(cè)系統(tǒng)是采用了改進(jìn)的YOLOX算法，通過(guò)優(yōu)化數(shù)據(jù)增強(qiáng)，減少單一Mosaic數(shù)據(jù)增強(qiáng)帶來(lái)的不穩(wěn)定性，提高了模型的精度，其特征在于，包括：圖像采集處理模塊、神經(jīng)網(wǎng)絡(luò)模型改進(jìn)模塊、模型訓(xùn)練模塊、模型驗(yàn)證模塊、缺陷檢測(cè)模塊；
2.根據(jù)權(quán)利要求1所述的PCB缺陷檢測(cè)系統(tǒng)，其特征在于：所述鏡頭（2）上的采光鏡圈和基座（6）上的待測(cè)的PCB樣品（9）在同一垂直的直線上，且基座（6）上還設(shè)有矩形光源（7），以及光源控制器（8），同時(shí)光源控制器（8）輸入端與計(jì)算機(jī)硬件（5）之間設(shè)有控制線相連。
3.一種基于改進(jìn)YOLO算法的PCB缺陷檢測(cè)方法，基于權(quán)利要求1所述的PCB缺陷檢測(cè)系統(tǒng)搭建，其特征在于，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的PCB缺陷檢測(cè)方法，其特征在于：步驟S2中統(tǒng)一尺寸后的圖像的尺寸為640*640。
5.根據(jù)權(quán)利要求3所述的PCB缺陷檢測(cè)方法，其特征在于：步驟S3中所述的數(shù)據(jù)增強(qiáng)方法具體為，先對(duì)采集到的缺陷圖像進(jìn)行平移、翻轉(zhuǎn)、旋轉(zhuǎn)進(jìn)行數(shù)據(jù)擴(kuò)充，然后對(duì)擴(kuò)充后的圖像進(jìn)行圖像降噪和
6.根據(jù)權(quán)利要求3所述的PCB缺陷檢測(cè)方法，其特征在于：步驟S4中所述缺陷的類型包括：漏孔、鼠咬、開路、短路、毛刺、假銅，采用圖像標(biāo)注工具LabelImg，對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行標(biāo)注，每標(biāo)注好一張PCB圖像會(huì)產(chǎn)生一個(gè)對(duì)應(yīng)的txt文件，txt文件所包含的內(nèi)容包括：目標(biāo)邊界框的類別信息、中心點(diǎn)位置坐標(biāo)、寬、高，所述目標(biāo)邊界框是標(biāo)注好的矩形框，該矩形框?qū)⑷毕莅鼑趦?nèi)。
7.根據(jù)權(quán)利要求3所述的簡(jiǎn)易型臺(tái)車軸承更好裝置的制造方法，其特征在于：步驟S4中為了保證數(shù)據(jù)集的獨(dú)立性性，對(duì)數(shù)據(jù)集先按照9：1的比例劃分訓(xùn)練驗(yàn)證集和測(cè)試集，再在訓(xùn)練驗(yàn)證集中按照9：1的比例劃分訓(xùn)練集和驗(yàn)證集。
8.根據(jù)權(quán)利要求1所述的簡(jiǎn)易型臺(tái)車軸承更好裝置的制造方法，其特征在于：其中主干特征網(wǎng)絡(luò)CSPDarknet53使用了殘差網(wǎng)絡(luò)Residual，其中的殘差卷積分為兩個(gè)部分，主干部分是一次1*1的卷積加上一次3*3的卷積；殘差邊部分直接將主干的輸入與輸出結(jié)合，這樣做使得網(wǎng)絡(luò)容易被優(yōu)化，并且能夠通過(guò)增加深度來(lái)提高準(zhǔn)確率；為了進(jìn)一步提高主干網(wǎng)絡(luò)的特征提取能力，在主干網(wǎng)絡(luò)中添加了Focus網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)輸入的圖像每隔一個(gè)像素拿一個(gè)值，獲得了四個(gè)獨(dú)立的特征層，然后將四個(gè)獨(dú)立的特征層進(jìn)行堆疊，此時(shí)寬高信息就集中到了通道信息中，從而使得輸入通道擴(kuò)充了四倍；拼接起來(lái)的特征層相對(duì)于原先的三通道變成了十二個(gè)通道；
...【技術(shù)特征摘要】
1.一種基于改進(jìn)yolo算法的pcb缺陷檢測(cè)系統(tǒng)，所述檢測(cè)系統(tǒng)是采用了改進(jìn)的yolox算法，通過(guò)優(yōu)化數(shù)據(jù)增強(qiáng)，減少單一mosaic數(shù)據(jù)增強(qiáng)帶來(lái)的不穩(wěn)定性，提高了模型的精度，其特征在于，包括：圖像采集處理模塊、神經(jīng)網(wǎng)絡(luò)模型改進(jìn)模塊、模型訓(xùn)練模塊、模型驗(yàn)證模塊、缺陷檢測(cè)模塊；
2.根據(jù)權(quán)利要求1所述的pcb缺陷檢測(cè)系統(tǒng)，其特征在于：所述鏡頭（2）上的采光鏡圈和基座（6）上的待測(cè)的pcb樣品（9）在同一垂直的直線上，且基座（6）上還設(shè)有矩形光源（7），以及光源控制器（8），同時(shí)光源控制器（8）輸入端與計(jì)算機(jī)硬件（5）之間設(shè)有控制線相連。
3.一種基于改進(jìn)yolo算法的pcb缺陷檢測(cè)方法，基于權(quán)利要求1所述的pcb缺陷檢測(cè)系統(tǒng)搭建，其特征在于，包括如下步驟：
4.根據(jù)權(quán)利要求3所述的pcb缺陷檢測(cè)方法，其特征在于：步驟s2中統(tǒng)一尺寸后的圖像的尺寸為640*640。
5.根據(jù)權(quán)利要求3所述的pcb缺陷檢測(cè)方法，其特征在于：步驟s3中所述的數(shù)據(jù)增強(qiáng)方法具體為，先對(duì)采集到的缺陷圖像進(jìn)行平移、翻轉(zhuǎn)、旋轉(zhuǎn)進(jìn)行數(shù)據(jù)擴(kuò)充，然后對(duì)擴(kuò)充后的圖像進(jìn)行圖像降噪和增強(qiáng)，先采用average濾波和smooth濾波相結(jié)合對(duì)圖像進(jìn)行降噪濾波處理，其中選擇moving作為smooth濾波的平滑處理方法，span設(shè)為5；average濾波的窗口數(shù)設(shè)置為4。
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張永巍，魏江杰，
申請(qǐng)(專利權(quán))人：中電科申泰信息科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。