【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及小樣本圖像分類，尤其涉及多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法及系統(tǒng)。
技術(shù)介紹
1、小樣本圖像分類是一項(xiàng)在計(jì)算機(jī)視覺領(lǐng)域備受關(guān)注的重要任務(wù)，其目標(biāo)是從具有少數(shù)數(shù)據(jù)的情況下準(zhǔn)確分類圖像；隨著人工智能技術(shù)的發(fā)展，小樣本圖像分類研究逐漸成為了學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)之一；然而任務(wù)面臨數(shù)據(jù)稀缺分類準(zhǔn)確率低、過擬合風(fēng)險(xiǎn)和模型泛化能力不足等挑戰(zhàn)，這些問題促使研究者探索新的學(xué)習(xí)策略，以提升小樣本圖像分類效果。
2、中國專利公開號(hào)為“cn116863237a”，名稱為“一種基于類別相關(guān)特征重建的圖像分類方法及系統(tǒng)”；該方法采用特征重建的方式，通過特征過濾模塊對(duì)無關(guān)特征和背景特征進(jìn)行過濾，保留類別相關(guān)關(guān)鍵性特征，并使用這些特征對(duì)同類特征進(jìn)行重建，改善了小樣本分類任務(wù)中對(duì)視覺特征不對(duì)齊，無關(guān)特征和背景干擾的問題。然而該方法對(duì)特征提取不夠全面，忽視了可能有關(guān)聯(lián)的細(xì)節(jié)特征以及其他模態(tài)的特征，對(duì)后續(xù)分類準(zhǔn)確率造成影響，同時(shí)該方法僅采用單一距離度量模塊，導(dǎo)致模型無法適應(yīng)不同需求，限制了模型泛化能力因此，如何提高小樣本圖像分類特征提取模塊的多尺度特征提取能力，提升分類準(zhǔn)確率，同時(shí)如何優(yōu)化后續(xù)分類模塊，改善樣本數(shù)量少和類內(nèi)差異小導(dǎo)致過擬合，模型泛化能力差的問題，成為本領(lǐng)域研究人員亟待解決的挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)思路
1、(一)解決的技術(shù)問題
2、本專利技術(shù)實(shí)施例的主要目的在于提出多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法及系統(tǒng)，旨在設(shè)計(jì)一種能夠多尺度多模態(tài)提取圖像特征，并
3、(二)技術(shù)方案
4、本專利技術(shù)解決上述問題的技術(shù)方案是，提供多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，包括以下步驟：
5、步驟1，獲取小樣本圖像數(shù)據(jù)集：獲取公開的小樣本圖像數(shù)據(jù)集，將其劃分為支持集和查詢集。
6、步驟2，多尺度特征提取網(wǎng)絡(luò)：將支持集和查詢集輸入特征提取網(wǎng)絡(luò)以提取全局特征；同時(shí)將這些特征輸入到區(qū)域提議網(wǎng)絡(luò)rpn中，從而獲得相應(yīng)的局部特征；根據(jù)支持集數(shù)據(jù)的類別標(biāo)簽提取語義信息，并將其輸入到文本編碼器以獲得文本特征。
7、步驟3，自適應(yīng)權(quán)重動(dòng)態(tài)特征融合：將輸入圖像的全局特征、局部特征以及文本特征輸入到自適應(yīng)權(quán)重網(wǎng)絡(luò)中，進(jìn)行動(dòng)態(tài)特征融合，以有效整合多模態(tài)信息。
8、步驟4，原型自適應(yīng)微調(diào)的元學(xué)習(xí)分類網(wǎng)絡(luò)模型：融合后的多模態(tài)特征將被輸入到以原型網(wǎng)絡(luò)作為學(xué)習(xí)器、maml算法作為元學(xué)習(xí)器的分類模型中，以獲得分類預(yù)測(cè)結(jié)果。
9、步驟5，結(jié)果預(yù)測(cè)：通過分類網(wǎng)絡(luò)模型后獲得分類預(yù)測(cè)結(jié)果。最后，使用復(fù)合損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，用訓(xùn)練后的分類器進(jìn)行圖像分類。
10、進(jìn)一步地，所述步驟2中多尺度特征提取網(wǎng)絡(luò)，包括：
11、以resnet12作為特征提取骨干網(wǎng)，其中包含4個(gè)殘差塊，每個(gè)殘差塊有3個(gè)卷積層，凍結(jié)第1第2個(gè)提取低級(jí)特征，且具有通用性的殘差塊，保留第3第4個(gè)殘差塊提取更為復(fù)雜的圖像全局特征；
12、局部特征提取分支采用區(qū)域提議網(wǎng)絡(luò)rpn，生成多個(gè)候選區(qū)域，采用3種尺度3種高寬比生成9個(gè)候選框，判斷每個(gè)候選框是否包含目標(biāo)圖像，輸出目標(biāo)置信度得分，通過極大值抑制去除重疊過大候選框，保留高質(zhì)量候選框作為提議框，并對(duì)相應(yīng)區(qū)域進(jìn)行剪裁，獲得相應(yīng)的局部特征；
13、根據(jù)類別標(biāo)簽提取語義信息，采用文本編碼器生成文本特征。
14、進(jìn)一步地，所述步驟3中，自適應(yīng)權(quán)重網(wǎng)絡(luò)由自注意力機(jī)制，通道注意力機(jī)制，交叉注意力機(jī)制組成，全局特征和局部特征逐步通過自注意力機(jī)制和通道注意力機(jī)制，對(duì)其進(jìn)行通道加權(quán)，捕捉特征之間的關(guān)系，融合全局特征和局部特征，并將其與文本特征一起輸入交叉注意力機(jī)制，增強(qiáng)多模態(tài)的學(xué)習(xí)，根據(jù)每種注意力機(jī)制為每種特征生成的權(quán)重，加權(quán)求和進(jìn)行動(dòng)態(tài)融合得到特征ffused。
15、進(jìn)一步地，所述步驟4中，融合后的多模態(tài)特征將被輸入到以原型網(wǎng)絡(luò)作為學(xué)習(xí)器、maml算法作為元學(xué)習(xí)器的分類模型中，以獲得分類預(yù)測(cè)結(jié)果；
16、引入一個(gè)參數(shù)化機(jī)制對(duì)初始類中心進(jìn)行優(yōu)化，使得原本固定的類中心可以根據(jù)當(dāng)前任務(wù)的特性對(duì)類中心進(jìn)行微調(diào)；
17、優(yōu)化后的原型網(wǎng)絡(luò)與maml進(jìn)行結(jié)合，將maml的快速適應(yīng)新任務(wù)能力與原型網(wǎng)絡(luò)的自適應(yīng)類中心相結(jié)合，同時(shí)maml算法對(duì)多尺度特征提取網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。
18、進(jìn)一步地，所述步驟5中，得到分類預(yù)測(cè)結(jié)果，使用復(fù)合損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，用訓(xùn)練后的分類器進(jìn)行圖像分類，所述復(fù)合損失函數(shù)由焦點(diǎn)損失、對(duì)比損失和歐式距離損失函數(shù)加權(quán)組合計(jì)算而得。
19、為解決上述技術(shù)問題，本專利技術(shù)還提出多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類系統(tǒng)，應(yīng)用于如上所述的小樣本圖像分類方法，包括：
20、數(shù)據(jù)獲取模塊，用于獲取小樣本圖像數(shù)據(jù)集，并將其劃分為支持集和查詢集；
21、多尺度特征提取模塊，將劃分好的數(shù)據(jù)集輸入特征提取模塊，提取其全局特征、局部特征以及文本特征；
22、自適應(yīng)權(quán)重動(dòng)態(tài)特征融合模塊，輸入圖像的全局特征、局部特征以及文本特征輸入到自適應(yīng)權(quán)重網(wǎng)絡(luò)中，進(jìn)行動(dòng)態(tài)特征融合，以有效整合多模態(tài)信息
23、原型自適應(yīng)微調(diào)元學(xué)習(xí)分類模塊，融合后的多模態(tài)特征將被輸入到以原型網(wǎng)絡(luò)作為學(xué)習(xí)器、maml算法作為元學(xué)習(xí)器的分類模型中，以獲得分類預(yù)測(cè)結(jié)果。
24、訓(xùn)練模塊，使用復(fù)合損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，用訓(xùn)練后的分類器進(jìn)行圖像分類。
25、(三)有益效果
26、與現(xiàn)有技術(shù)相比，本專利技術(shù)提供了多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法及系統(tǒng)，具有以下有益效果：
27、1、本專利技術(shù)提出了一種多尺度多模態(tài)特征提取的網(wǎng)絡(luò)模型，能夠高效捕捉圖像的全局特征，并關(guān)注局部的紋理和形狀等細(xì)節(jié)特征，同時(shí)，模型引入文本特征，與圖像特征相互補(bǔ)充，從而優(yōu)化分類結(jié)果，顯著提升分類精度。
28、2、本專利技術(shù)提出了一種自適應(yīng)動(dòng)態(tài)特征融合機(jī)制，能夠根據(jù)輸入圖像特性自動(dòng)調(diào)整各模態(tài)特征權(quán)重，削弱不相關(guān)特征以及信息不對(duì)稱的問題，提高特征表達(dá)的靈活性，從而提升模型的泛化能力。
29、3、本專利技術(shù)提出原型自適應(yīng)微調(diào)的元學(xué)習(xí)網(wǎng)絡(luò)模型，引入?yún)?shù)機(jī)制，微調(diào)類中心，更好的平衡特征表示，并與maml算法結(jié)合，能夠快速適應(yīng)新任務(wù)，減少小樣本下的過擬合風(fēng)險(xiǎn)，同時(shí)本專利技術(shù)提出了一種復(fù)合損失函數(shù)，融合了焦點(diǎn)損失，對(duì)比損失，歐式距離損失，形成協(xié)同效應(yīng)，解決樣本數(shù)量少和類內(nèi)差異小的問題，提升模型整體性能。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟1中獲取公開的小樣本圖像數(shù)據(jù)集，按照N-way?K-shot形式將其劃分為支持集和查詢集。
3.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟2中包括：
4.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟3中包括：
5.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟4中包括：
6.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟5中包括：
7.多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類系統(tǒng)，其特征在于，包括：
【技術(shù)特征摘要】
1.多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟1中獲取公開的小樣本圖像數(shù)據(jù)集，按照n-way?k-shot形式將其劃分為支持集和查詢集。
3.根據(jù)權(quán)利要求1所述的多尺度動(dòng)態(tài)特征融合的多模態(tài)小樣本圖像分類方法，其特征在于，所述步驟2中包括：
4.根...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：葛微，王茜，王春陽，劉妍妍，韓登，劉云清，李國寧，邢健，朱德鵬，
申請(qǐng)(專利權(quán))人：長(zhǎng)春理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。