本發(fā)明專利技術(shù)公開了一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法及裝置，屬于人工智能技術(shù)領(lǐng)域。該方法包括：首先基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)；并基于損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)；之后，對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行特征聚類處理，并基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)；最后，基于知識(shí)蒸餾對(duì)更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型。由此，能夠基于新增小樣本對(duì)原始模型進(jìn)行增量學(xué)習(xí)，解決了現(xiàn)有技術(shù)中由于歷史訓(xùn)練樣本數(shù)據(jù)丟失導(dǎo)致無法利用新增小樣本數(shù)據(jù)來迭代原始模型的問題，從而對(duì)原始模型實(shí)現(xiàn)了有效更新。了有效更新。了有效更新。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法及裝置
[0001]本專利技術(shù)涉及人工智能
，尤其涉及一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法及裝置。
技術(shù)介紹
[0002]目前，在進(jìn)行有監(jiān)督學(xué)習(xí)的分類任務(wù)中，人們常常采用深度學(xué)習(xí)算法，利用大規(guī)模數(shù)據(jù)進(jìn)行模型訓(xùn)練，之后再利用訓(xùn)練好的模型對(duì)待測(cè)數(shù)據(jù)進(jìn)行預(yù)測(cè)，以提高預(yù)測(cè)結(jié)果的準(zhǔn)確性。但隨著時(shí)間的推移，每天均會(huì)產(chǎn)生新的可用來作為訓(xùn)練樣本的有效數(shù)據(jù)。因此為了提高模型的準(zhǔn)確性，通常利用新增小樣本數(shù)據(jù)對(duì)原始模型進(jìn)行迭代訓(xùn)練，從而實(shí)現(xiàn)對(duì)原始模型的更新。
[0003]然而，在原始模型使用過程中，由于經(jīng)常會(huì)出現(xiàn)歷史訓(xùn)練樣本數(shù)據(jù)丟失的現(xiàn)象，因此導(dǎo)致無法利用新增小樣本數(shù)據(jù)來迭代原始模型。為此，急需要提供一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法，以解決由于歷史訓(xùn)練樣本數(shù)據(jù)丟失導(dǎo)致無法利用新增小樣本數(shù)據(jù)來迭代原始模型的問題，從而實(shí)現(xiàn)對(duì)原始模型的更新。
技術(shù)實(shí)現(xiàn)思路
[0004]為了解決上述現(xiàn)有技術(shù)存在的問題，本專利技術(shù)實(shí)施例提供一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法及裝置，能夠基于新增小樣本對(duì)原始模型進(jìn)行增量學(xué)習(xí)，解決了現(xiàn)有技術(shù)中由于歷史訓(xùn)練樣本數(shù)據(jù)丟失導(dǎo)致無法利用新增小樣本數(shù)據(jù)來迭代原始模型的問題，從而對(duì)原始模型實(shí)現(xiàn)了有效更新。
[0005]為實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)實(shí)施例第一方面，提供一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法，該方法包括：基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)；基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)；對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行特征聚類處理，并基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)；基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型。
[0006]可選的，所述基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)，包括：基于特征聚類結(jié)果對(duì)所述錯(cuò)誤樣本數(shù)據(jù)標(biāo)記類別標(biāo)簽，得到具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)；將具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)添加至第二小樣本數(shù)據(jù)中；更新添加后第二小樣本數(shù)據(jù)中錯(cuò)誤特征類別的采樣權(quán)重，得到更新后第二小樣本數(shù)據(jù)。
[0007]可選的，所述基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)，包括：基于第一小樣本數(shù)據(jù)訓(xùn)練原始模型生成第一新模型，獲得第一損失函數(shù)；基于所述第一小樣本數(shù)據(jù)同時(shí)訓(xùn)練所述第一新模型和所述原始新模型生成第二新模型，獲得第二損失函數(shù)；基于所述第一小樣本數(shù)據(jù)訓(xùn)練所述第一新模型生成第三新模型，獲得第三損失函數(shù)；將所述第一損失函數(shù)、所述第二損失函數(shù)和所述第三損失函數(shù)確定為對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)得到的損失函數(shù)。
[0008]可選的，所述基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)，包括：
基于所述第一損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第一錯(cuò)誤樣本數(shù)據(jù)；基于所述第二損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第二錯(cuò)誤樣本數(shù)據(jù)；基于第三損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第三錯(cuò)誤樣本數(shù)據(jù)；將所述第一錯(cuò)誤樣本數(shù)據(jù)、第二錯(cuò)誤樣本數(shù)據(jù)和第三錯(cuò)誤樣本數(shù)據(jù)確定為錯(cuò)誤樣本數(shù)據(jù)。
[0009]可選的，所述基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型，包括：基于所述更新后第二小樣本數(shù)據(jù)訓(xùn)練原始模型生成第四新模型，獲得第四損失函數(shù)；基于所述更新后第二小樣本數(shù)據(jù)同時(shí)訓(xùn)練所述第四新模型和所述原始新模型生成第五新模型，獲得第五損失函數(shù)；基于所述更新后第二小樣本數(shù)據(jù)訓(xùn)練所述第五新模型，獲得第六損失函數(shù)；將所述第四損失函數(shù)、所述第五損失函數(shù)和所述第六損失函數(shù)確定為總損失函數(shù)；當(dāng)所述總損失函數(shù)達(dá)到最小時(shí)，得到最終新模型。
[0010]為實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)實(shí)施例第二方面，還提供一種基于小樣本進(jìn)行增量學(xué)習(xí)的裝置，該裝置包括：第一學(xué)習(xí)模塊，用于基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)；獲取模塊，用于基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)；增量模塊，用于對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行特征聚類處理，并基于特征聚類結(jié)果對(duì)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)；第二學(xué)習(xí)模塊，用于基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型。
[0011]可選的，所述增量模塊包括：聚類單元，用于基于特征聚類結(jié)果對(duì)所述錯(cuò)誤樣本數(shù)據(jù)標(biāo)記類別標(biāo)簽，得到具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)；添加單元，用于將具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)添加至第二小樣本數(shù)據(jù)中；增量單元，用于更新添加后第二小樣本數(shù)據(jù)中錯(cuò)誤特征類別的采樣權(quán)重，得到更新后第二小樣本數(shù)據(jù)。
[0012]可選的，所述第一學(xué)習(xí)模塊包括：第一獲取單元，用于基于第一小樣本數(shù)據(jù)訓(xùn)練原始模型生成第一新模型，獲得第一損失函數(shù)；第二獲取單元，用于基于所述第一小樣本數(shù)據(jù)同時(shí)訓(xùn)練所述第一新模型和所述原始新模型生成第二新模型，獲得第二損失函數(shù)；第三獲取單元，用于基于所述第一小樣本數(shù)據(jù)訓(xùn)練所述第一新模型生成第三新模型，獲得第三損失函數(shù)；確定單元，用于將所述第一損失函數(shù)、所述第二損失函數(shù)和所述第三損失函數(shù)確定為對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)得到的損失函數(shù)。
[0013]為實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)實(shí)施例第三方面，還提供一種電子設(shè)備，該電子設(shè)備包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如第一方面所述的基于小樣本進(jìn)行增量學(xué)習(xí)的方法。
[0014]為實(shí)現(xiàn)上述目的，根據(jù)本專利技術(shù)實(shí)施例的第四方面，還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的基于小樣本進(jìn)行增量學(xué)習(xí)的方法。
[0015]與現(xiàn)有技術(shù)相比，本專利技術(shù)實(shí)施例提供的一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法及裝置，該方法包括：首先基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)；并基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)；之后，對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行特征聚類處理，并基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)；最后，基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型。由此，能夠基于新增小樣本對(duì)原始模型進(jìn)行增量學(xué)習(xí)，解決了現(xiàn)有技術(shù)中由于歷史訓(xùn)
練樣本數(shù)據(jù)丟失導(dǎo)致無法利用新增小樣本數(shù)據(jù)來迭代原始模型的問題，從而對(duì)原始模型實(shí)現(xiàn)了有效更新。
[0016]需要理解的是，本專利技術(shù)的教導(dǎo)并不需要實(shí)現(xiàn)上面所述的全部有益效果，而是特定的技術(shù)方案可以實(shí)現(xiàn)特定的技術(shù)效果，并且本專利技術(shù)的其他實(shí)施方式還能夠?qū)崿F(xiàn)上面未提到的有益效果。
附圖說明
[0017]附圖用于更好地理解本專利技術(shù)，不構(gòu)成對(duì)本專利技術(shù)的不當(dāng)限定。其中在附圖中，相同或?qū)?yīng)的標(biāo)號(hào)表示相同或?qū)?yīng)的部分。
[0018]圖1為本專利技術(shù)一實(shí)施例基于小樣本進(jìn)行增量學(xué)習(xí)的方法的示意性流程圖；圖2為本專利技術(shù)另一實(shí)施例基于小樣本進(jìn)行增量學(xué)習(xí)的方法的示意性流程圖；圖3為本專利技術(shù)一實(shí)施例基于小樣本進(jìn)行增量學(xué)習(xí)的裝置的示意性框圖。
具體實(shí)施方式
[0019]以下結(jié)合附圖對(duì)本專利技術(shù)的示范性實(shí)施例做出說明，其本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于小樣本進(jìn)行增量學(xué)習(xí)的方法，其特征在于，包括：基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)；基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)；對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行特征聚類處理，并基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)；基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于特征聚類結(jié)果對(duì)第二小樣本數(shù)據(jù)進(jìn)行增量處理，得到更新后第二小樣本數(shù)據(jù)，包括：基于特征聚類結(jié)果對(duì)所述錯(cuò)誤樣本數(shù)據(jù)標(biāo)記類別標(biāo)簽，得到具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)；將具有類別標(biāo)簽的錯(cuò)誤樣本數(shù)據(jù)添加至第二小樣本數(shù)據(jù)中；更新添加后第二小樣本數(shù)據(jù)中錯(cuò)誤特征類別的采樣權(quán)重，得到更新后第二小樣本數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于知識(shí)蒸餾對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到損失函數(shù)，包括：基于第一小樣本數(shù)據(jù)訓(xùn)練原始模型生成第一新模型，獲得第一損失函數(shù)；基于所述第一小樣本數(shù)據(jù)同時(shí)訓(xùn)練所述第一新模型和所述原始模型生成第二新模型，獲得第二損失函數(shù)；基于所述第一小樣本數(shù)據(jù)訓(xùn)練所述第一新模型生成第三新模型，獲得第三損失函數(shù)；將所述第一損失函數(shù)、所述第二損失函數(shù)和所述第三損失函數(shù)確定為對(duì)第一小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)得到的損失函數(shù)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述損失函數(shù)獲得歷史訓(xùn)練樣本數(shù)據(jù)中的錯(cuò)誤樣本數(shù)據(jù)，包括：基于所述第一損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第一錯(cuò)誤樣本數(shù)據(jù)；基于所述第二損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第二錯(cuò)誤樣本數(shù)據(jù)；基于第三損失函數(shù)，獲得歷史訓(xùn)練樣本數(shù)據(jù)中的第三錯(cuò)誤樣本數(shù)據(jù)；將所述第一錯(cuò)誤樣本數(shù)據(jù)、第二錯(cuò)誤樣本數(shù)據(jù)和第三錯(cuò)誤樣本數(shù)據(jù)確定為錯(cuò)誤樣本數(shù)據(jù)。5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述基于知識(shí)蒸餾對(duì)所述更新后第二小樣本數(shù)據(jù)進(jìn)行增量學(xué)習(xí)，得到最終新模型，包括：基于所述更新后第二小樣本數(shù)據(jù)訓(xùn)練原始模型生成第四新模型，獲得第四損失函數(shù)；基于所述更新后第二小樣本數(shù)據(jù)同時(shí)訓(xùn)練所述第四新模型和所述原始模型生成第五新模型，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：崔燕紅，魏風(fēng)順，
申請(qǐng)(專利權(quán))人：北京泰迪熊移動(dòng)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。