超網(wǎng)絡(luò)的搜索空間構(gòu)建方法、裝置以及電子設(shè)備制造方法及圖紙

本申請(qǐng)公開(kāi)了一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法、裝置以及電子設(shè)備，涉及超網(wǎng)絡(luò)搜索空間領(lǐng)域。具體實(shí)現(xiàn)方案為：對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L?1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；根據(jù)第L層特征圖、L+1層特征圖以及第L?1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。實(shí)現(xiàn)了多尺寸特征圖的融合，有效擴(kuò)大了超網(wǎng)絡(luò)的搜索空間，能夠搜索得到更多的模型結(jié)構(gòu)。

Search space construction method, device and electronic equipment of super network

【技術(shù)實(shí)現(xiàn)步驟摘要】
超網(wǎng)絡(luò)的搜索空間構(gòu)建方法、裝置以及電子設(shè)備
本申請(qǐng)涉及一種計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)搜索領(lǐng)域。
技術(shù)介紹
深度學(xué)習(xí)技術(shù)在很多方向上都取得了巨大的成功，最近幾年NAS技術(shù)(NeuralArchitectureSearch，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索)成為研究熱點(diǎn)。NAS是用算法代替繁瑣的人工操作，在海量的搜索空間中自動(dòng)搜索出最佳的神經(jīng)網(wǎng)絡(luò)架構(gòu)。超網(wǎng)絡(luò)的核心思想是通過(guò)參數(shù)共享的方式，可以同時(shí)訓(xùn)練大量網(wǎng)絡(luò)結(jié)構(gòu)，無(wú)需對(duì)每一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練。目前，在超網(wǎng)絡(luò)的搜索空間中進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索的時(shí)候，由于兩個(gè)特征圖層之間只能選擇一條鏈路，導(dǎo)致單路徑的超網(wǎng)絡(luò)搜索空間受到限制，最終搜索得到的模型結(jié)構(gòu)的性能較差。
技術(shù)實(shí)現(xiàn)思路
本申請(qǐng)實(shí)施例提供一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法、裝置以及電子設(shè)備，以解決現(xiàn)有技術(shù)中的一個(gè)或多個(gè)技術(shù)問(wèn)題。第一方面，本申請(qǐng)實(shí)施方式提供了一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法，包括：對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；根據(jù)第L層特征圖、L+1層特征圖以及第L-1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。在本實(shí)施方式中，多個(gè)尺寸的特征圖的各個(gè)特征圖層，構(gòu)成了超網(wǎng)絡(luò)的多路徑搜索空間。在超網(wǎng)絡(luò)的多路徑搜索空間中，實(shí)現(xiàn)了多尺寸特征圖的融合，有效擴(kuò)大了超網(wǎng)絡(luò)的搜索空間，能夠搜索得到更多的模型結(jié)構(gòu)。在一種實(shí)施方式中，對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，包括：對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣的第一卷積操作，L+1層特征圖的尺寸是第L層特征圖中任意一個(gè)特征圖的尺寸的1/(2N)倍，N為正整數(shù)。本實(shí)施方式中，能夠縮小特征圖的尺寸，使得每層特征圖中包含多種尺寸的特征圖，以便于供更多的模型結(jié)構(gòu)。在一種實(shí)施方式中，對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，包括：對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣的第二卷積操作，得到的L-1層中的特征圖的尺寸是第L層特征圖中任意一個(gè)特征圖的尺寸的2N倍，N為正整數(shù)。本實(shí)施方式中，能夠擴(kuò)大特征圖的尺寸，使得每層特征圖中包含多種尺寸的特征圖，以便于供更多的模型結(jié)構(gòu)。在一種實(shí)施方式中，下采樣的第一卷積操作包括最大池化操作或平均池化操作，上采樣的第二卷積操作包括雙線性插值操作。在一種實(shí)施方式中，還包括：第L-1層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第三卷積操作得到第L層特征圖中的尺寸不變的特征圖；第L層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第四卷積操作得到第L+1層中的尺寸不變的特征圖。第二方面，本申請(qǐng)實(shí)施方式提供了一種超網(wǎng)絡(luò)的搜索空間構(gòu)建裝置，包括：下采樣模塊，用于對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；上采樣模塊，用于對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；搜索空間構(gòu)建模塊，用于根據(jù)第L層特征圖、L+1層特征圖以及第L-1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。在一種實(shí)施方式中，上采樣模塊包括：下采樣單元，用于對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣的第一卷積操作，L+1層特征圖的尺寸是第L層特征圖中任意一個(gè)特征圖的尺寸的1/(2N)倍，N為正整數(shù)。在一種實(shí)施方式中，下采樣模塊包括：上采樣單元，用于對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣的第二卷積操作，得到的L-1層中的特征圖的尺寸是第L層特征圖中任意一個(gè)特征圖的尺寸的2N倍，N為正整數(shù)。在一種實(shí)施方式中，下采樣的第一卷積操作包括最大池化操作或平均池化操作，上采樣的第二卷積操作包括雙線性插值操作。在一種實(shí)施方式中，還包括：第一單路徑采樣模塊，用于第L-1層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第三卷積操作得到第L層特征圖中的尺寸不變的特征圖；第二單路徑采樣模塊，用于第L層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第四卷積操作得到第L+1層中的尺寸不變的特征圖。上述申請(qǐng)中的一個(gè)實(shí)施例具有如下優(yōu)點(diǎn)或有益效果：因?yàn)椴捎妹繉犹卣鲌D中包括有多個(gè)尺寸的特征圖，構(gòu)成了超網(wǎng)絡(luò)的多路徑搜索空間的技術(shù)手段，所以克服了搜索空間受限制的技術(shù)問(wèn)題，進(jìn)而達(dá)到多尺寸特征圖的融合，有效擴(kuò)大了超網(wǎng)絡(luò)的搜索空間，能夠搜索得到更多的模型結(jié)構(gòu)的技術(shù)效果。上述可選方式所具有的其他效果將在下文中結(jié)合具體實(shí)施例加以說(shuō)明。附圖說(shuō)明附圖用于更好地理解本方案，不構(gòu)成對(duì)本申請(qǐng)的限定。其中：圖1是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法流程示意圖；圖2是根據(jù)本申請(qǐng)實(shí)施例提供的另一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法流程示意圖；圖3是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間結(jié)構(gòu)示意圖；圖4是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間中位置圖回歸網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖；圖5是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間中高分辨率網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖；圖6是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間中沙漏網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖；圖7是根據(jù)本申請(qǐng)實(shí)施例提供的一種超網(wǎng)絡(luò)的搜索空間構(gòu)建裝置結(jié)構(gòu)框圖；圖8是根據(jù)本申請(qǐng)實(shí)施例提供的另一種超網(wǎng)絡(luò)的搜索空間構(gòu)建裝置結(jié)構(gòu)框圖；圖9是用來(lái)實(shí)現(xiàn)本申請(qǐng)實(shí)施例的一種超網(wǎng)絡(luò)的搜索空間構(gòu)建的方法的電子設(shè)備的框圖。具體實(shí)施方式以下結(jié)合附圖對(duì)本申請(qǐng)的示范性實(shí)施例做出說(shuō)明，其中包括本申請(qǐng)實(shí)施例的各種細(xì)節(jié)以助于理解，應(yīng)當(dāng)將它們認(rèn)為僅僅是示范性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可以對(duì)這里描述的實(shí)施例做出各種改變和修改，而不會(huì)背離本申請(qǐng)的范圍和精神。同樣，為了清楚和簡(jiǎn)明，以下的描述中省略了對(duì)公知功能和結(jié)構(gòu)的描述。實(shí)施例一…在一種具體實(shí)施方式中，如圖1所示，提供了一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法，包括如下步驟：步驟S10：對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；步驟S20：對(duì)第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，第L+1層特征圖中包括多個(gè)尺寸的特征圖；步驟S30：根據(jù)第L層特征圖、L+1層特征圖以及第L-1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。在一種實(shí)施方式中，深度神經(jīng)網(wǎng)絡(luò)可以包括輸入層、隱藏層和輸出層，每層當(dāng)中有多個(gè)神經(jīng)元，每層與每層之間的神經(jīng)元相互連接，計(jì)算機(jī)視覺(jué)中，隱藏層主要用來(lái)提取特征，所以也可以叫特征圖層。單路徑每層只有一個(gè)特征圖，從上一層特征圖通過(guò)卷積操作得到下一層特征圖，特征圖的尺寸可以不變。多路徑每層可以有多個(gè)特征圖。可以在多層特征圖之間本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法，其特征在于，包括：/n對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，所述第L+1層特征圖中包括多個(gè)尺寸的特征圖；/n對(duì)所述第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，所述第L+1層特征圖中包括多個(gè)尺寸的特征圖；/n根據(jù)所述第L層特征圖、所述L+1層特征圖以及所述第L-1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。/n

【技術(shù)特征摘要】
1.一種超網(wǎng)絡(luò)的搜索空間構(gòu)建方法，其特征在于，包括：
對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，所述第L+1層特征圖中包括多個(gè)尺寸的特征圖；
對(duì)所述第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，所述第L+1層特征圖中包括多個(gè)尺寸的特征圖；
根據(jù)所述第L層特征圖、所述L+1層特征圖以及所述第L-1層特征圖構(gòu)建超網(wǎng)絡(luò)的搜索空間，L大于或等于2。


2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，包括：
對(duì)所述第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣的第一卷積操作，所述L+1層特征圖的尺寸是所述第L層特征圖中任意一個(gè)特征圖的尺寸的1/(2N)倍，N為正整數(shù)。


3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)所述第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣得到第L-1層特征圖，包括：
對(duì)所述第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)上采樣的第二卷積操作，得到的所述L-1層中的特征圖的尺寸是所述第L層特征圖中任意一個(gè)特征圖的尺寸的2N倍，N為正整數(shù)。


4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述下采樣的第一卷積操作包括最大池化操作或平均池化操作，所述上采樣的第二卷積操作包括雙線性插值操作。


5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，還包括：
所述第L-1層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第三卷積操作得到所述第L層特征圖中的尺寸不變的特征圖；
所述第L層特征圖中的任意一個(gè)特征圖，經(jīng)過(guò)第四卷積操作得到所述第L+1層中的尺寸不變的特征圖。


6.一種超網(wǎng)絡(luò)的搜索空間構(gòu)建裝置，其特征在于，包括：
下采樣模塊，用于對(duì)深度神經(jīng)網(wǎng)絡(luò)的第L層特征圖中任意一個(gè)特征圖，經(jīng)過(guò)下采樣得到第L+1層特征圖，所述第L+1層特征圖中包括多個(gè)尺寸的特征圖；
上采樣模塊，用于對(duì)...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：希滕，張剛，溫圣召，
申請(qǐng)(專(zhuān)利權(quán))人：北京百度網(wǎng)訊科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：北京;11