【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)視覺(jué)，尤其涉及一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法及系統(tǒng)。
技術(shù)介紹
1、近年來(lái)，計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)在圖像和視頻處理領(lǐng)域取得了顯著進(jìn)展，推動(dòng)了許多實(shí)際應(yīng)用的發(fā)展，如安全監(jiān)控、自動(dòng)駕駛和無(wú)人機(jī)導(dǎo)航等。這些技術(shù)通過(guò)深度神經(jīng)網(wǎng)絡(luò)（dnn）和卷積神經(jīng)網(wǎng)絡(luò)（cnn）實(shí)現(xiàn)了對(duì)圖像和視頻中對(duì)象的高效檢測(cè)和識(shí)別。然而，在復(fù)雜環(huán)境中，特別是實(shí)時(shí)視頻流處理和高精度識(shí)別任務(wù)中，現(xiàn)有技術(shù)仍存在諸多挑戰(zhàn)。
2、目前，目標(biāo)檢測(cè)技術(shù)已從傳統(tǒng)的基于特征的方法（如sift、hog）發(fā)展到基于深度學(xué)習(xí)的方法（如r-cnn、yolo、ssd），這些方法利用深度卷積神經(jīng)網(wǎng)絡(luò)在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠在復(fù)雜背景下準(zhǔn)確檢測(cè)和定位目標(biāo)。光學(xué)字符識(shí)別（ocr）技術(shù)用于從圖像中提取文本信息，傳統(tǒng)方法依賴于模板匹配和特征提取，而現(xiàn)代方法則主要依靠深度學(xué)習(xí)模型，如lstm和transformer，ocr在多種應(yīng)用場(chǎng)景中得到廣泛應(yīng)用，如文檔數(shù)字化和車牌識(shí)別。
3、然而，上述技術(shù)在復(fù)雜場(chǎng)景，如不同光照條件和背景雜亂情況下，性能表現(xiàn)不佳，存在誤報(bào)和漏報(bào)問(wèn)題等情況，且其多任務(wù)處理能力不足，難以同時(shí)完成目標(biāo)檢測(cè)和字符識(shí)別；此外，在實(shí)時(shí)檢測(cè)方面常受限于硬件性能，無(wú)法保證高效的實(shí)時(shí)處理，且模型計(jì)算量大，影響實(shí)時(shí)性。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中復(fù)雜場(chǎng)下性能表現(xiàn)不加以致影響識(shí)別精度的缺陷，提高模型在不同場(chǎng)景下的魯棒性，減少誤
2、本專利技術(shù)提供一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，包括：獲取待識(shí)別飛機(jī)圖像；根據(jù)待識(shí)別飛機(jī)圖像，協(xié)同利用目標(biāo)檢測(cè)模型和文本識(shí)別模型進(jìn)行目標(biāo)檢測(cè)和文本識(shí)別，得到標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果；其中，目標(biāo)檢測(cè)模型和文本識(shí)別模型是基于飛機(jī)圖像訓(xùn)練數(shù)據(jù)和飛機(jī)圖像訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)檢測(cè)標(biāo)簽、標(biāo)識(shí)識(shí)別標(biāo)簽訓(xùn)練得到的；文本識(shí)別模型用于對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，并基于目標(biāo)檢測(cè)模型得到的標(biāo)識(shí)檢測(cè)結(jié)果對(duì)提取的文本特征進(jìn)行文本識(shí)別，得到標(biāo)識(shí)識(shí)別結(jié)果；目標(biāo)檢測(cè)模型用于對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，并基于提取的圖像特征和文本特征進(jìn)行多模態(tài)特征融合，以對(duì)融合特征進(jìn)行目標(biāo)檢測(cè)，得到標(biāo)識(shí)檢測(cè)結(jié)果。
3、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，文本識(shí)別模型包括文本特征提取層和文本識(shí)別層，目標(biāo)檢測(cè)模型包括圖像特征提取層、特征融合層和目標(biāo)檢測(cè)層，其中：文本特征提取層，基于注意力機(jī)制，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到文本特征；文本識(shí)別層，基于目標(biāo)檢測(cè)模型得到的標(biāo)識(shí)檢測(cè)結(jié)果，對(duì)文本特征進(jìn)行文本識(shí)別，得到標(biāo)識(shí)識(shí)別結(jié)果；圖像特征提取層，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到圖像特征；特征融合層，基于特征金字塔，將文本特征和圖像特征進(jìn)行多模態(tài)特征融合，得到金字塔融合特征；目標(biāo)檢測(cè)層，對(duì)融合特征進(jìn)行目標(biāo)檢測(cè)，得到標(biāo)識(shí)檢測(cè)結(jié)果。
4、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，基于注意力機(jī)制，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到文本特征，包括：對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到特征向量；對(duì)特征向量進(jìn)行位置編碼；基于多頭注意力機(jī)制和位置編碼，確定每個(gè)位置的特征向量與其他位置的特征向量之間的自注意力向量，得到每個(gè)位置對(duì)應(yīng)特征向量的上下文表示向量；利用前饋神經(jīng)網(wǎng)絡(luò)，將每個(gè)位置對(duì)應(yīng)特征向量的上下文表示向量進(jìn)行向量空間映射，得到編碼特征；對(duì)編碼特征進(jìn)行解碼，得到文本特征。
5、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，基于目標(biāo)檢測(cè)模型得到的標(biāo)識(shí)檢測(cè)結(jié)果，對(duì)文本特征進(jìn)行文本識(shí)別，得到標(biāo)識(shí)識(shí)別結(jié)果，包括：基于目標(biāo)檢測(cè)模型當(dāng)前得到的標(biāo)識(shí)檢測(cè)結(jié)果，選擇對(duì)應(yīng)檢測(cè)框內(nèi)的文本特征以及在先一次得到的標(biāo)識(shí)識(shí)別結(jié)果，對(duì)下一字符進(jìn)行概率分布預(yù)測(cè)，得到對(duì)應(yīng)預(yù)測(cè)概率分布，并選擇預(yù)測(cè)概率分布最高的字符作為對(duì)應(yīng)標(biāo)識(shí)識(shí)別結(jié)果；循環(huán)對(duì)下一字符進(jìn)行概率分布預(yù)測(cè)以及選擇預(yù)測(cè)概率分布最高的字符作為對(duì)應(yīng)標(biāo)識(shí)識(shí)別結(jié)果，直至得到的所有標(biāo)識(shí)識(shí)別結(jié)果的字符長(zhǎng)度總和符合預(yù)設(shè)長(zhǎng)度時(shí)停止；或者，基于目標(biāo)檢測(cè)模型當(dāng)前得到的標(biāo)識(shí)檢測(cè)結(jié)果，選擇對(duì)應(yīng)檢測(cè)框內(nèi)的文本特征，并對(duì)所選文本特征進(jìn)行分類，以將每個(gè)文本特征映射至對(duì)應(yīng)字符類別，得到標(biāo)識(shí)識(shí)別結(jié)果。
6、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到圖像特征，包括：從輸入的待識(shí)別飛機(jī)圖像中，按從低層至高層逐層提取特征，得到圖像特征；基于特征金字塔，將文本特征和圖像特征進(jìn)行多模態(tài)特征融合，得到金字塔融合特征，包括：按從高層至低層，對(duì)第一層提取的圖像特征進(jìn)行卷積并池化，得到第一特征；將第一層提取的圖像特征進(jìn)行上采樣，并將得到的上采樣特征與第二層提取的圖像特征進(jìn)行特征融合，得到對(duì)應(yīng)融合特征；其中，第一層的層次高于第二層；將融合特征進(jìn)行上采樣，并將得到的上采樣特征與對(duì)應(yīng)低一層提取的圖像特征進(jìn)行特征融合，得到對(duì)應(yīng)融合特征；重復(fù)將融合特征進(jìn)行上采樣，并將得到的上采樣特征與對(duì)應(yīng)低一層提取的圖像特征進(jìn)行特征融合，直至最低一層提取的圖像特征與對(duì)應(yīng)高一層的上采樣特征融合完畢，根據(jù)第一特征和所有得到的對(duì)應(yīng)融合特征，得到金字塔融合特征。
7、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，在根據(jù)待識(shí)別飛機(jī)圖像，利用目標(biāo)檢測(cè)模型和文本識(shí)別模型進(jìn)行目標(biāo)檢測(cè)和文本識(shí)別，得到標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果之后，包括：根據(jù)標(biāo)識(shí)檢測(cè)結(jié)果的置信度和標(biāo)識(shí)識(shí)別結(jié)果的上下文信息，確定置信度閾值，并利用置信度閾值對(duì)標(biāo)識(shí)檢測(cè)結(jié)果進(jìn)行篩選；和/或，利用非極大值抑制，去除標(biāo)識(shí)檢測(cè)結(jié)果中的冗余檢測(cè)框；和/或，基于預(yù)設(shè)字符合法性規(guī)則和預(yù)設(shè)格式規(guī)則，對(duì)標(biāo)識(shí)識(shí)別結(jié)果進(jìn)行修正；和/或，將目標(biāo)時(shí)間內(nèi)的各個(gè)待識(shí)別飛機(jī)圖像對(duì)應(yīng)的標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果輸入至結(jié)果校正模型中，得到結(jié)果校正模型輸出的校正結(jié)果；其中，結(jié)果校正模型是基于歷史時(shí)間段內(nèi)的飛機(jī)圖像訓(xùn)練數(shù)據(jù)及對(duì)應(yīng)的標(biāo)識(shí)檢測(cè)真值和標(biāo)識(shí)識(shí)別真值訓(xùn)練得到的。
8、根據(jù)本專利技術(shù)提供的一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，在根據(jù)待識(shí)別飛機(jī)圖像，利用目標(biāo)檢測(cè)模型和文本識(shí)別模型進(jìn)行目標(biāo)檢測(cè)和文本識(shí)別，得到標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果之前，包括：獲取飛機(jī)圖像訓(xùn)練數(shù)據(jù)和飛機(jī)圖像訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)檢測(cè)標(biāo)簽、標(biāo)識(shí)識(shí)別標(biāo)簽；將飛機(jī)圖像訓(xùn)練數(shù)據(jù)作為訓(xùn)練待訓(xùn)練目標(biāo)檢測(cè)模型使用的輸入數(shù)據(jù)，將飛機(jī)圖像訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)檢測(cè)標(biāo)簽作為訓(xùn)練待訓(xùn)練目標(biāo)檢測(cè)模型使用的標(biāo)簽，以及將飛機(jī)圖像訓(xùn)練數(shù)據(jù)作為訓(xùn)練待訓(xùn)練文本識(shí)別模型使用的輸入數(shù)據(jù)，將飛機(jī)圖像訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)識(shí)別標(biāo)簽作為訓(xùn)練待訓(xùn)練文本識(shí)別模型使用的標(biāo)簽，利用協(xié)同機(jī)制，并行訓(xùn)練待訓(xùn)練目標(biāo)檢測(cè)模型和待訓(xùn)練文本識(shí)別模型。
9、本專利技術(shù)還提供一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別系統(tǒng)，包括：數(shù)據(jù)獲取模塊，獲取待識(shí)別飛機(jī)圖像；標(biāo)識(shí)識(shí)別模塊，根據(jù)待識(shí)別飛機(jī)圖像，協(xié)同利用目標(biāo)檢測(cè)模型和文本識(shí)別模型進(jìn)行目標(biāo)檢測(cè)和文本識(shí)別，得到標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果；其中，目標(biāo)檢測(cè)模型和文本識(shí)別模本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，所述文本識(shí)別模型包括文本特征提取層和文本識(shí)別層，所述目標(biāo)檢測(cè)模型包括圖像特征提取層、特征融合層和目標(biāo)檢測(cè)層，其中：
3.根據(jù)權(quán)利要求2所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，基于注意力機(jī)制，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到文本特征，包括：
4.根據(jù)權(quán)利要求3所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，基于所述目標(biāo)檢測(cè)模型得到的標(biāo)識(shí)檢測(cè)結(jié)果，對(duì)所述文本特征進(jìn)行文本識(shí)別，得到標(biāo)識(shí)識(shí)別結(jié)果，包括：
5.根據(jù)權(quán)利要求2所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到圖像特征，包括：
6.根據(jù)權(quán)利要求1所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，在根據(jù)所述待識(shí)別飛機(jī)圖像，利用目標(biāo)檢測(cè)模型和文本識(shí)別模型進(jìn)行目標(biāo)檢測(cè)和文本識(shí)別，得到標(biāo)識(shí)檢測(cè)結(jié)果和標(biāo)識(shí)識(shí)別結(jié)果之后，包括：
7.根據(jù)權(quán)利要求1所
8.一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別系統(tǒng)，其特征在于，包括：
9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法。
10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法。
...【技術(shù)特征摘要】
1.一種基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，所述文本識(shí)別模型包括文本特征提取層和文本識(shí)別層，所述目標(biāo)檢測(cè)模型包括圖像特征提取層、特征融合層和目標(biāo)檢測(cè)層，其中：
3.根據(jù)權(quán)利要求2所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，基于注意力機(jī)制，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到文本特征，包括：
4.根據(jù)權(quán)利要求3所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，基于所述目標(biāo)檢測(cè)模型得到的標(biāo)識(shí)檢測(cè)結(jié)果，對(duì)所述文本特征進(jìn)行文本識(shí)別，得到標(biāo)識(shí)識(shí)別結(jié)果，包括：
5.根據(jù)權(quán)利要求2所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方法，其特征在于，對(duì)輸入的待識(shí)別飛機(jī)圖像進(jìn)行特征提取，得到圖像特征，包括：
6.根據(jù)權(quán)利要求1所述的基于視覺(jué)多模態(tài)的智能航空標(biāo)識(shí)識(shí)別方...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐旺，吳曉宇，李建明，高龍飛，薛婉若，
申請(qǐng)(專利權(quán))人：商飛智能技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。