本發(fā)明專利技術(shù)公開了一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法，包括以下步驟：包括以下步驟：A1圖像輸入；A2主干網(wǎng)絡(luò)特征提取：圖像經(jīng)過DS?C3模塊的處理，提取出多尺度的特征信息；A3特征融合：提取的多尺度特征經(jīng)過新加入的160×160小目標(biāo)特征圖，進(jìn)行融合處理，生成包含高精度信息的特征層，豐富了特征提取的尺度；A4檢測(cè)與分類；A5輸出結(jié)果。本發(fā)明專利技術(shù)通過引入DS?C3模塊，使用深度可分離卷積，大幅減少了模型的參數(shù)量和計(jì)算量，顯著提升了計(jì)算效率，同時(shí)保持了較高的檢測(cè)精度；針對(duì)小目標(biāo)交通標(biāo)志檢測(cè)的難題，專門優(yōu)化了小目標(biāo)的檢測(cè)性能。這種設(shè)計(jì)有效提高了模型在檢測(cè)小交通標(biāo)志時(shí)的精度，解決了現(xiàn)有技術(shù)中常見的漏檢和誤檢問題。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)視覺以及人工智能，尤其涉及的是一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法。
技術(shù)介紹
1、隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，交通標(biāo)志作為重要的信息來源，對(duì)行車安全產(chǎn)生直接影響。因此，交通標(biāo)志檢測(cè)的準(zhǔn)確性和可靠性成為智能駕駛系統(tǒng)中的關(guān)鍵研究領(lǐng)域。傳統(tǒng)的手工特征提取和分類算法在環(huán)境變化中適應(yīng)性差，特別是在惡劣天氣(如雨天、霧天)條件下，交通標(biāo)志的可見性降低，增加了識(shí)別難度。
2、交通標(biāo)志檢測(cè)方法主要有兩種類型：?jiǎn)坞A段檢測(cè)和兩階段檢測(cè)。兩階段檢測(cè)方法首先通過檢索物體的大致位置來確定感興趣區(qū)域，然后使用特征提取網(wǎng)絡(luò)來確定物體的坐標(biāo)和具體類別。單階段檢測(cè)方法可以在一個(gè)網(wǎng)絡(luò)內(nèi)完成從圖像到分類結(jié)果的整個(gè)過程。
3、目前，交通標(biāo)志檢測(cè)普遍采用上述兩種方法。yang等設(shè)計(jì)了一個(gè)用于交通標(biāo)志檢測(cè)的視覺多尺度注意模塊，將多尺度特征圖與通道權(quán)重和空間掩碼融合。zhang等設(shè)計(jì)了自下而上的增強(qiáng)路徑來增強(qiáng)特征金字塔，從而有效利用底部的細(xì)粒度特征實(shí)現(xiàn)交通標(biāo)志的精準(zhǔn)定位。但大多數(shù)基于cnn的檢測(cè)方法都是針對(duì)正常尺寸物體設(shè)計(jì)的，在檢測(cè)交通標(biāo)志時(shí)，直接選擇這些方法對(duì)圖像中的交通標(biāo)志進(jìn)行檢測(cè)會(huì)造成誤檢、漏檢等問題。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足提供一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法。
2、本專利技術(shù)的技術(shù)方案如下：
3、一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法，包括以下步驟：
>4、a1圖像輸入：通過車載攝像頭或其他圖像采集設(shè)備，實(shí)時(shí)獲取交通標(biāo)志的圖像信息；5、a2主干網(wǎng)絡(luò)特征提取：圖像經(jīng)過ds-c3模塊的處理，提取出多尺度的特征信息；
6、a3特征融合：提取的多尺度特征經(jīng)過新加入的160×160小目標(biāo)特征圖，進(jìn)行融合處理，生成包含高精度信息的特征層，豐富了特征提取的尺度；
7、a4檢測(cè)與分類：通過小目標(biāo)檢測(cè)頭，預(yù)測(cè)出交通標(biāo)志的類別及其位置，使用wiou損失函數(shù)可在保證高質(zhì)量錨框效果的同時(shí)減少了有害梯度的影響，提高了模型整體的性能，最終生成檢測(cè)結(jié)果；
8、a5輸出結(jié)果：將檢測(cè)結(jié)果實(shí)時(shí)反饋給駕駛系統(tǒng)，提供準(zhǔn)確的交通標(biāo)志信息。
9、所述的方法，所述步驟a2中，圖像輸入后，經(jīng)過ss-yolo網(wǎng)絡(luò)的主干結(jié)構(gòu)進(jìn)行特征提取；在這一階段，首先通過ds-c3模塊對(duì)圖像的底層特征進(jìn)行提取和處理；ds-c3模塊包含深度可分離卷積，能夠有效減少計(jì)算量，提升運(yùn)算效率，使網(wǎng)絡(luò)更適合嵌入式環(huán)境；此外，緊隨其后的ema注意力機(jī)制模塊動(dòng)態(tài)調(diào)節(jié)特征權(quán)重，尤其針對(duì)小目標(biāo)的區(qū)域賦予更高的權(quán)重；ema模塊通過對(duì)輸入特征圖的加權(quán)處理來突出關(guān)鍵區(qū)域，使得小目標(biāo)的特征信息更加突出，增加了網(wǎng)絡(luò)對(duì)小目標(biāo)特征的敏感度。
10、所述的方法，所述步驟a2中，采用集成深度可分離卷積模塊ds-c3模塊來提高網(wǎng)絡(luò)的檢測(cè)精度，ds-c3模塊引入深度可分離卷積，以進(jìn)一步減少參數(shù)量和計(jì)算量；特征圖經(jīng)過兩個(gè)深度可分離卷積模塊后連接在一起，隨后再經(jīng)過一個(gè)深度可分離卷積模塊進(jìn)行處理；每個(gè)深度可分離卷積模塊由深度可分離卷積、批歸一化層和silu激活函數(shù)組成；此模塊通過逐通道卷積和逐點(diǎn)卷積的方式，實(shí)現(xiàn)了在保證模型輕量化的同時(shí)，提升了對(duì)小目標(biāo)的檢測(cè)能力和魯棒性。
11、所述的方法，所述步驟a2中，引入了高效多尺度注意力機(jī)制(ema)以增強(qiáng)模型對(duì)關(guān)鍵信息的關(guān)注；ema通過將輸入特征圖在通道維度上分組，并使用3x3和1x1卷積分支并行提取分組特征圖的注意力權(quán)重，顯著提升了小目標(biāo)的檢測(cè)性能。
12、所述的方法，所述步驟a3中，在特征融合階段，ss-yolo通過四層多尺度特征融合網(wǎng)絡(luò)來豐富圖像特征表達(dá)；相較于傳統(tǒng)yolov5的三層特征融合結(jié)構(gòu)，ss-yolo新增了一層160×160的小目標(biāo)特征圖，以便捕獲細(xì)節(jié)更豐富的小目標(biāo)信息；這四層特征圖分別為160×160、80×80、40×40、和20×20，通過自頂向下和自底向上的特征融合，將各層次的空間位置信息與全局語義信息結(jié)合，形成多尺度特征表達(dá)；這樣，網(wǎng)絡(luò)可以對(duì)不同尺度的交通標(biāo)志進(jìn)行準(zhǔn)確識(shí)別，并提高了對(duì)復(fù)雜背景和低分辨率交通標(biāo)志的檢測(cè)精度。
13、所述的方法，所述步驟a4中，在檢測(cè)頭部分，為了更專注于小目標(biāo)交通標(biāo)志的檢測(cè)，ss-yolo刪除了20×20大目標(biāo)檢測(cè)頭，僅保留160×160、80×80、和40×40的特征圖檢測(cè)頭；每個(gè)檢測(cè)頭包含多個(gè)卷積層和預(yù)測(cè)層，通過邊界框回歸和分類層輸出預(yù)測(cè)框和類別標(biāo)簽；此階段使用了wiou損失函數(shù)來替代原有的ciou損失函數(shù)，wiou通過減少低質(zhì)量樣本的梯度影響，提升了網(wǎng)絡(luò)對(duì)小目標(biāo)邊界框的回歸精度，使其在面對(duì)重疊、遮擋和復(fù)雜背景等場(chǎng)景時(shí)依然能夠穩(wěn)定檢測(cè)小目標(biāo)交通標(biāo)志。
14、所述的方法，所述步驟a4中，針對(duì)yolov5在處理小目標(biāo)時(shí)效果不佳的問題，在檢測(cè)層進(jìn)行了優(yōu)化，刪除了不適合小目標(biāo)檢測(cè)的20×20檢測(cè)頭，另外引入專門的小目標(biāo)檢測(cè)層，并將特征加強(qiáng)網(wǎng)絡(luò)進(jìn)行了加深，以生成160×160的小目標(biāo)特征圖。
15、所述的方法，所述步驟a4中，提出了一種改進(jìn)的wise-iou(wiou)邊界框損失函數(shù)，以替換yolov5默認(rèn)的ciou損失函數(shù)；與ciou在交集、質(zhì)心距離和框比例上的復(fù)雜計(jì)算不同，wiou通過一種基于距離的注意力機(jī)制構(gòu)建了改進(jìn)的bbox損失，以減少冗余計(jì)算并加快收斂速度；wiouv1結(jié)合了異常值的程度和梯度增益分配策略，能夠更有效地平衡低質(zhì)量樣本和高質(zhì)量樣本的貢獻(xiàn)，從而優(yōu)化模型的泛化能力，顯著提升檢測(cè)精度和收斂效率；wiouv1構(gòu)造了基于注意力的邊界框損失，假設(shè)(x,y)在目標(biāo)框的對(duì)應(yīng)位置為(xgt,ygt)，wg、hg為預(yù)測(cè)框和真實(shí)框的最小外接矩形的寬、高，iou為交并比，wiouv1公式為
16、lwiouv1＝rwiouliou?(1)
17、其中
18、
19、liou＝1-iou??(3)
20、為防止低質(zhì)量樣本產(chǎn)生較大的有害梯度，定義了離群度β以描述錨框的質(zhì)量；
21、
22、對(duì)離群度較大的錨框分配較小的梯度增益，并利用離群度與wiouv1構(gòu)造了wiouv3；
23、lwiouv3＝rliouv1??(5)
24、
25、式中δ與α是一組超參數(shù)，用來控制離群度β和梯度增益r的映射。
26、本專利技術(shù)提出的基于多尺度特征融合的交通標(biāo)志檢測(cè)方法(ss-yolo)，旨在解決交通標(biāo)志在實(shí)際場(chǎng)景中因天氣、光照變化及復(fù)雜背景等因素導(dǎo)致的檢測(cè)準(zhǔn)確性下降的問題。具體而言，交通標(biāo)志在雨天、霧天或強(qiáng)光照射下可能模糊、不清晰，甚至完全不可見，這會(huì)嚴(yán)重影響檢測(cè)算法的表現(xiàn)。此外，傳統(tǒng)目標(biāo)檢測(cè)算法在處理小目標(biāo)(如遠(yuǎn)處的交通標(biāo)志)時(shí)，通常因特征信息不足而難以準(zhǔn)確識(shí)別，從而無法滿足自動(dòng)駕駛對(duì)小目標(biāo)檢測(cè)的高要求。同時(shí)，復(fù)雜的背景干擾(如建筑物、行人、其他車輛等)可能導(dǎo)致誤檢或漏檢，進(jìn)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A2中，圖像輸入后，經(jīng)過SS-YOLO網(wǎng)絡(luò)的主干結(jié)構(gòu)進(jìn)行特征提取；在這一階段，首先通過DS-C3模塊對(duì)圖像的底層特征進(jìn)行提取和處理；DS-C3模塊包含深度可分離卷積，能夠有效減少計(jì)算量，提升運(yùn)算效率，使網(wǎng)絡(luò)更適合嵌入式環(huán)境；此外，緊隨其后的EMA注意力機(jī)制模塊動(dòng)態(tài)調(diào)節(jié)特征權(quán)重，尤其針對(duì)小目標(biāo)的區(qū)域賦予更高的權(quán)重；EMA模塊通過對(duì)輸入特征圖的加權(quán)處理來突出關(guān)鍵區(qū)域，使得小目標(biāo)的特征信息更加突出，增加了網(wǎng)絡(luò)對(duì)小目標(biāo)特征的敏感度。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A2中，采用集成深度可分離卷積模塊DS-C3模塊來提高網(wǎng)絡(luò)的檢測(cè)精度，DS-C3模塊引入深度可分離卷積，以進(jìn)一步減少參數(shù)量和計(jì)算量；特征圖經(jīng)過兩個(gè)深度可分離卷積模塊后連接在一起，隨后再經(jīng)過一個(gè)深度可分離卷積模塊進(jìn)行處理；每個(gè)深度可分離卷積模塊由深度可分離卷積、批歸一化層和SiLU激活函數(shù)組成；此模塊通過逐通道卷積和逐點(diǎn)卷積的方式，實(shí)現(xiàn)了在保證模型輕量化的同時(shí)，提升了對(duì)小目標(biāo)的檢測(cè)能力和魯棒性。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A2中，引入了高效多尺度注意力機(jī)制(EMA)以增強(qiáng)模型對(duì)關(guān)鍵信息的關(guān)注；EMA通過將輸入特征圖在通道維度上分組，并使用3x3和1x1卷積分支并行提取分組特征圖的注意力權(quán)重，顯著提升了小目標(biāo)的檢測(cè)性能。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A3中，在特征融合階段，SS-YOLO通過四層多尺度特征融合網(wǎng)絡(luò)來豐富圖像特征表達(dá)；相較于傳統(tǒng)YOLOv5的三層特征融合結(jié)構(gòu)，SS-YOLO新增了一層160×160的小目標(biāo)特征圖，以便捕獲細(xì)節(jié)更豐富的小目標(biāo)信息；這四層特征圖分別為160×160、80×80、40×40、和20×20，通過自頂向下和自底向上的特征融合，將各層次的空間位置信息與全局語義信息結(jié)合，形成多尺度特征表達(dá)；這樣，網(wǎng)絡(luò)可以對(duì)不同尺度的交通標(biāo)志進(jìn)行準(zhǔn)確識(shí)別，并提高了對(duì)復(fù)雜背景和低分辨率交通標(biāo)志的檢測(cè)精度。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A4中，在檢測(cè)頭部分，為了更專注于小目標(biāo)交通標(biāo)志的檢測(cè)，SS-YOLO刪除了20×20大目標(biāo)檢測(cè)頭，僅保留160×160、80×80、和40×40的特征圖檢測(cè)頭；每個(gè)檢測(cè)頭包含多個(gè)卷積層和預(yù)測(cè)層，通過邊界框回歸和分類層輸出預(yù)測(cè)框和類別標(biāo)簽；此階段使用了WIoU損失函數(shù)來替代原有的CIoU損失函數(shù)，WIoU通過減少低質(zhì)量樣本的梯度影響，提升了網(wǎng)絡(luò)對(duì)小目標(biāo)邊界框的回歸精度，使其在面對(duì)重疊、遮擋和復(fù)雜背景等場(chǎng)景時(shí)依然能夠穩(wěn)定檢測(cè)小目標(biāo)交通標(biāo)志。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A4中，針對(duì)YOLOv5在處理小目標(biāo)時(shí)效果不佳的問題，在檢測(cè)層進(jìn)行了優(yōu)化，刪除了不適合小目標(biāo)檢測(cè)的20×20檢測(cè)頭，另外引入專門的小目標(biāo)檢測(cè)層，并將特征加強(qiáng)網(wǎng)絡(luò)進(jìn)行了加深，以生成160×160的小目標(biāo)特征圖。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A4中，提出了一種改進(jìn)的Wise-IOU(WIOU)邊界框損失函數(shù)，以替換YOLOv5默認(rèn)的CIOU損失函數(shù)；與CIOU在交集、質(zhì)心距離和框比例上的復(fù)雜計(jì)算不同，WIoU通過一種基于距離的注意力機(jī)制構(gòu)建了改進(jìn)的Bbox損失，以減少冗余計(jì)算并加快收斂速度；WIOUv1結(jié)合了異常值的程度和梯度增益分配策略，能夠更有效地平衡低質(zhì)量樣本和高質(zhì)量樣本的貢獻(xiàn)，從而優(yōu)化模型的泛化能力，顯著提升檢測(cè)精度和收斂效率；WIOUv1構(gòu)造了基于注意力的邊界框損失，假設(shè)(x,y)在目標(biāo)框的對(duì)應(yīng)位置為(xgt,ygt)，Wg、Hg為預(yù)測(cè)框和真實(shí)框的最小外接矩形的寬、高，IOU為交并比，WIOUv1公式為
...
【技術(shù)特征摘要】
1.一種基于多尺度特征融合的復(fù)雜背景下交通標(biāo)志檢測(cè)方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟a2中，圖像輸入后，經(jīng)過ss-yolo網(wǎng)絡(luò)的主干結(jié)構(gòu)進(jìn)行特征提取；在這一階段，首先通過ds-c3模塊對(duì)圖像的底層特征進(jìn)行提取和處理；ds-c3模塊包含深度可分離卷積，能夠有效減少計(jì)算量，提升運(yùn)算效率，使網(wǎng)絡(luò)更適合嵌入式環(huán)境；此外，緊隨其后的ema注意力機(jī)制模塊動(dòng)態(tài)調(diào)節(jié)特征權(quán)重，尤其針對(duì)小目標(biāo)的區(qū)域賦予更高的權(quán)重；ema模塊通過對(duì)輸入特征圖的加權(quán)處理來突出關(guān)鍵區(qū)域，使得小目標(biāo)的特征信息更加突出，增加了網(wǎng)絡(luò)對(duì)小目標(biāo)特征的敏感度。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟a2中，采用集成深度可分離卷積模塊ds-c3模塊來提高網(wǎng)絡(luò)的檢測(cè)精度，ds-c3模塊引入深度可分離卷積，以進(jìn)一步減少參數(shù)量和計(jì)算量；特征圖經(jīng)過兩個(gè)深度可分離卷積模塊后連接在一起，隨后再經(jīng)過一個(gè)深度可分離卷積模塊進(jìn)行處理；每個(gè)深度可分離卷積模塊由深度可分離卷積、批歸一化層和silu激活函數(shù)組成；此模塊通過逐通道卷積和逐點(diǎn)卷積的方式，實(shí)現(xiàn)了在保證模型輕量化的同時(shí)，提升了對(duì)小目標(biāo)的檢測(cè)能力和魯棒性。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟a2中，引入了高效多尺度注意力機(jī)制(ema)以增強(qiáng)模型對(duì)關(guān)鍵信息的關(guān)注；ema通過將輸入特征圖在通道維度上分組，并使用3x3和1x1卷積分支并行提取分組特征圖的注意力權(quán)重，顯著提升了小目標(biāo)的檢測(cè)性能。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟a3中，在特征融合階段，ss-yolo通過四層多尺度特征融合網(wǎng)絡(luò)來豐富圖像特征表達(dá)；相較于傳統(tǒng)yolov5的三層特征融合結(jié)構(gòu)，ss-yolo新增了一層160×160的小目標(biāo)特征圖，以便捕獲細(xì)節(jié)更豐富的小目標(biāo)信息；這四層特征圖分別為160×160、80×80、40×40、...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張靜，杜曉雨，譚亞軍，周曄，
申請(qǐng)(專利權(quán))人：中北大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。