【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于模式識(shí)別、機(jī)器學(xué)習(xí)及圖像分類，具體涉及一種基于深度學(xué)習(xí)串聯(lián)優(yōu)化器的圖像分類方法。
技術(shù)介紹
1、深度學(xué)習(xí)技術(shù)在機(jī)器視覺(jué)領(lǐng)域，如圖像分類，已經(jīng)取得了顯著的成果。神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜性和數(shù)據(jù)集的規(guī)模是其強(qiáng)大性能的關(guān)鍵因素。盡管更復(fù)雜的模型和更大的數(shù)據(jù)集能夠提升性能，但這通常需要更長(zhǎng)的訓(xùn)練時(shí)間和更高的計(jì)算資源。因此，工業(yè)界和學(xué)術(shù)界對(duì)在大型集群上進(jìn)行分布式深度學(xué)習(xí)訓(xùn)練的需求日益增長(zhǎng)，數(shù)據(jù)并行成為了分布式訓(xùn)練的主流方法。
2、在分布式圖像分類研究中，adam優(yōu)化器因其效率而被廣泛采用。然而，基于adam的圖像分類訓(xùn)練面臨著一個(gè)挑戰(zhàn)：使用小批量數(shù)據(jù)會(huì)導(dǎo)致訓(xùn)練時(shí)間過(guò)長(zhǎng)，而使用大批量數(shù)據(jù)則可能導(dǎo)致模型精度顯著下降。這主要是因?yàn)椋菏紫龋瑪?shù)據(jù)量增加意味著模型參數(shù)更新次數(shù)減少，導(dǎo)致收斂速度減慢，使得優(yōu)化器難以在有限的更新次數(shù)內(nèi)達(dá)到理想的收斂效果；其次，大批量數(shù)據(jù)可能會(huì)使優(yōu)化器陷入尖銳的局部最小值，從而降低模型的泛化能力。因此，設(shè)計(jì)一種在保持圖像分類精度的同時(shí)，又能高效穩(wěn)定的深度學(xué)習(xí)優(yōu)化器，具有重要的研究?jī)r(jià)值。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)提供了一種基于深度學(xué)習(xí)串聯(lián)優(yōu)化器的圖像分類方法，由adam優(yōu)化器和sgd優(yōu)化器串聯(lián)構(gòu)成，以adam優(yōu)化器作為主優(yōu)化器，sgd優(yōu)化器作為副優(yōu)化器，實(shí)現(xiàn)了精確的圖像分類。
2、本專利技術(shù)提供的一種基于深度學(xué)習(xí)串聯(lián)優(yōu)化器的圖像分類方法，具體包括以下步驟：
3、步驟1、采集圖像數(shù)據(jù)建立圖像數(shù)據(jù)集，并為圖像數(shù)據(jù)集中的圖像數(shù)
4、步驟2、選擇神經(jīng)網(wǎng)絡(luò)模型建立圖像分類網(wǎng)絡(luò)模型，圖像分類網(wǎng)絡(luò)模型的輸入為待分類圖像，輸出為待分類圖像的類型；
5、步驟3、構(gòu)建由sgd優(yōu)化器和adam優(yōu)化器串聯(lián)形成的深度學(xué)習(xí)串聯(lián)優(yōu)化器，輸入為當(dāng)前第k-1次迭代后的圖像分類網(wǎng)絡(luò)模型網(wǎng)絡(luò)參數(shù)值的梯度，輸出為第k次迭代所需設(shè)置的圖像分類網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)值；深度學(xué)習(xí)串聯(lián)優(yōu)化器內(nèi)，將輸入經(jīng)adam優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第一參數(shù)值，再將輸入與第一參數(shù)值的和經(jīng)sgd優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第二參數(shù)值，將第二參數(shù)值作為輸出；
6、步驟4、將訓(xùn)練樣本集中的樣本圖像輸入圖像分類網(wǎng)絡(luò)模型得到樣本圖像的標(biāo)簽，再采用深度學(xué)習(xí)串聯(lián)優(yōu)化器優(yōu)化圖像分類網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)值，完成一次迭代，當(dāng)?shù)螖?shù)k達(dá)到設(shè)定的閾值時(shí)，完成對(duì)圖像分類網(wǎng)絡(luò)模型的訓(xùn)練；
7、步驟5、將待分類圖像輸入訓(xùn)練得到的圖像分類網(wǎng)絡(luò)模型中，圖像分類網(wǎng)絡(luò)模型輸出待分類圖像的類別，完成圖像的分類。
8、進(jìn)一步地，所述神經(jīng)網(wǎng)絡(luò)模型為capsnet、unet、wideresnet-28、resnet-34、resnet-18或densenet-12。
9、進(jìn)一步地，所述步驟3中所述將輸入經(jīng)adam優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第一參數(shù)值的計(jì)算方式為：
10、
11、其中，gk-1為第k-1次迭代后的圖像分類網(wǎng)絡(luò)模型網(wǎng)絡(luò)參數(shù)值的梯度；mk、mk-1分別為adam優(yōu)化器在第k次和第k-1次迭代的一階動(dòng)量；vk、vk-1分別為adam優(yōu)化器在第k次和第k-1次迭代的二階動(dòng)量；β2、β3分別為adam優(yōu)化器的一階動(dòng)量和二階動(dòng)量的累積系數(shù)，β2和β3的取值范圍均為(0,1)；為hadamard內(nèi)積；ε＞0為光滑系數(shù)；ηadam為adam優(yōu)化器的初始學(xué)習(xí)率；為adam優(yōu)化器的第k次迭代的廣義學(xué)習(xí)率；為adam優(yōu)化器第k-1次迭代輸出的圖像分類網(wǎng)絡(luò)模型的第一參數(shù)值；為第k次迭代所需采用的第一參數(shù)值。
12、進(jìn)一步地，所述步驟3中所述將輸入與第一參數(shù)值的和經(jīng)sgd優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第二參數(shù)值的計(jì)算方式為：
13、
14、其中，為sgd優(yōu)化器在第k-1次迭代后得到的圖像分類網(wǎng)絡(luò)模型的第二參數(shù)值；ηsgd為sgd優(yōu)化器的初始學(xué)習(xí)率；為第k次迭代所需采用的第二參數(shù)值。
15、有益效果：
16、本專利技術(shù)針對(duì)adam優(yōu)化器及sgd優(yōu)化器各自的優(yōu)缺點(diǎn)，構(gòu)建了基于adam優(yōu)化器和sgd優(yōu)化器的深度學(xué)習(xí)串聯(lián)優(yōu)化器，以adam優(yōu)化器作為主優(yōu)化器，sgd優(yōu)化器作為副優(yōu)化器，采用深度學(xué)習(xí)串聯(lián)優(yōu)化器優(yōu)化圖像分類網(wǎng)絡(luò)模型的訓(xùn)練訓(xùn)練過(guò)程，得到更優(yōu)的網(wǎng)絡(luò)參數(shù)值，以實(shí)現(xiàn)更加精確的圖像分類。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度學(xué)習(xí)串聯(lián)優(yōu)化器的圖像分類方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的圖像分類方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型為CapsNet、Unet、WideResNet-28、ResNet-34、ResNet-18或DenseNet-12。
3.根據(jù)權(quán)利要求1所述的圖像分類方法，其特征在于，所述步驟3中所述將輸入經(jīng)Adam優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第一參數(shù)值的計(jì)算方式為：
4.根據(jù)權(quán)利要求3所述的圖像分類方法，其特征在于，所述步驟3中所述將輸入與第一參數(shù)值的和經(jīng)SGD優(yōu)化器處理所得到的網(wǎng)絡(luò)參數(shù)值作為第二參數(shù)值的計(jì)算方式為：
【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)串聯(lián)優(yōu)化器的圖像分類方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的圖像分類方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型為capsnet、unet、wideresnet-28、resnet-34、resnet-18或densenet-12。
3.根據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄒偉東，夏元清，
申請(qǐng)(專利權(quán))人：北京理工大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。