【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及深度學(xué)習(xí)，例如涉及一種用于深度學(xué)習(xí)模型的特征分析方法、存儲(chǔ)介質(zhì)和電子設(shè)備。
技術(shù)介紹
1、一些先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)模型，如殘差網(wǎng)絡(luò)、bert(bidirectional?encoderrepresentations?from?transformers)，因其卓越的性能而備受推崇。然而，深度學(xué)習(xí)模型往往擁有數(shù)以?xún)|計(jì)的參數(shù)，需要巨大的計(jì)算資源和存儲(chǔ)空間，這使得它們?cè)谫Y源受限的設(shè)備(如智能家電、智能手機(jī)、嵌入式系統(tǒng)等)上部署和運(yùn)行變得極為困難。
2、為了解決上述問(wèn)題，權(quán)重剪枝作為一種有效的模型壓縮技術(shù)應(yīng)運(yùn)而生。權(quán)重剪枝的核心思想是通過(guò)減少模型中非必要的參數(shù)(即權(quán)重)來(lái)降低模型的復(fù)雜度和計(jì)算量，同時(shí)盡可能保持模型的性能。權(quán)重剪枝的實(shí)施步驟包括：在模型訓(xùn)練過(guò)程中，收集每一層或每個(gè)神經(jīng)元連接的權(quán)重?cái)?shù)據(jù)；對(duì)每一層或所有連接權(quán)重設(shè)定閾值，并對(duì)這些權(quán)重進(jìn)行絕對(duì)值排序；刪除那些絕對(duì)值小于閾值的權(quán)重，即將它們?cè)O(shè)置為0；對(duì)剩余的非零權(quán)重進(jìn)行重新訓(xùn)練，以獲得更加緊湊的模型。
3、權(quán)重剪枝雖然能夠顯著減少模型參數(shù)數(shù)量和計(jì)算量，降低內(nèi)存占用，但是如何準(zhǔn)確評(píng)估權(quán)重的重要性是一個(gè)難題。因?yàn)橛行?quán)重雖然數(shù)值小，但在模型中起著重要的連接作用，刪除這類(lèi)權(quán)重則會(huì)導(dǎo)致模型精度大幅下降。
4、需要說(shuō)明的是，在上述
技術(shù)介紹
部分公開(kāi)的信息僅用于加強(qiáng)對(duì)本申請(qǐng)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。
技術(shù)實(shí)現(xiàn)思路
1、為了對(duì)披露的實(shí)施例的一些方面有基本的理解
2、本公開(kāi)實(shí)施例提供了一種用于深度學(xué)習(xí)模型的特征分析方法、存儲(chǔ)介質(zhì)和電子設(shè)備，能夠使剪枝操作更有針對(duì)性，實(shí)現(xiàn)在保證模型性能的前提下降低模型的規(guī)模和計(jì)算復(fù)雜度。
3、在一些實(shí)施例中，提供了一種用于深度學(xué)習(xí)模型的特征分析方法，包括：獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系；根據(jù)所述映射關(guān)系，確定分類(lèi)對(duì)象的疑似特征區(qū)域；疑似特征區(qū)域表示同時(shí)對(duì)深度學(xué)習(xí)模型的多個(gè)重要神經(jīng)元的激活具有高貢獻(xiàn)度的特征區(qū)域；基于分類(lèi)對(duì)象對(duì)深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得輸出數(shù)據(jù)變化量；根據(jù)輸出數(shù)據(jù)變化量，從疑似特征區(qū)域中確定關(guān)鍵特征區(qū)域。
4、可選地，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：確定深度學(xué)習(xí)模型中的目標(biāo)神經(jīng)元；配置目標(biāo)神經(jīng)元的激活值為1并配置其他神經(jīng)元的激活值為0，獲得微調(diào)深度學(xué)習(xí)模型；基于微調(diào)深度學(xué)習(xí)模型，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系。
5、可選地，基于微調(diào)深度學(xué)習(xí)模型，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：基于微調(diào)深度學(xué)習(xí)模型進(jìn)行反向傳播，從目標(biāo)神經(jīng)元反向傳播至輸入層，獲得與輸入層維度相同的參考輸入數(shù)據(jù)；對(duì)參考輸入數(shù)據(jù)進(jìn)行可視化顯示，獲得目標(biāo)神經(jīng)元激活值對(duì)應(yīng)的分類(lèi)對(duì)象的特征區(qū)域；替換目標(biāo)神經(jīng)元以遍歷深度學(xué)習(xí)模型中的每個(gè)神經(jīng)元，獲得每個(gè)神經(jīng)元激活值對(duì)應(yīng)的分類(lèi)對(duì)象的特征區(qū)域作為深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系。
6、可選地，基于分類(lèi)對(duì)象對(duì)深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得輸出數(shù)據(jù)變化量，包括：輸入分類(lèi)對(duì)象至深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得原始輸出數(shù)據(jù)；輸入遮擋分類(lèi)對(duì)象至深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得參考輸出數(shù)據(jù)；遮擋分類(lèi)對(duì)象是由滑動(dòng)窗口遮擋分類(lèi)對(duì)象的局部區(qū)域獲得；根據(jù)原始輸出數(shù)據(jù)和參考輸出數(shù)據(jù)，獲得輸出數(shù)據(jù)變化量。
7、可選地，按照以下方式獲得遮擋分類(lèi)對(duì)象：確定滑動(dòng)窗口的窗口尺寸和遮擋位置；遮擋位置表征遮擋分類(lèi)對(duì)象中被遮擋的局部區(qū)域所在位置；根據(jù)窗口尺寸和遮擋位置，確定分類(lèi)對(duì)象的待遮擋區(qū)域；配置待遮擋區(qū)域的像素值為像素閾值，獲得遮擋分類(lèi)對(duì)象。
8、可選地，輸入遮擋分類(lèi)對(duì)象至深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得參考輸出數(shù)據(jù)，包括：按照設(shè)定滑動(dòng)方向和步長(zhǎng)閾值控制滑動(dòng)窗口在分類(lèi)對(duì)象內(nèi)依次移動(dòng)以獲得多個(gè)遮擋分類(lèi)對(duì)象；分別輸入多個(gè)遮擋分類(lèi)對(duì)象至深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得多個(gè)遮擋分類(lèi)對(duì)象各自對(duì)應(yīng)的參數(shù)輸出數(shù)據(jù)。
9、可選地，根據(jù)輸出數(shù)據(jù)變化量，從疑似特征區(qū)域中確定關(guān)鍵特征區(qū)域，包括：獲得每個(gè)參考輸出數(shù)據(jù)與原始輸出數(shù)據(jù)的輸出數(shù)據(jù)變化量；將輸出數(shù)據(jù)變化量最大的參考輸出數(shù)據(jù)對(duì)應(yīng)的滑動(dòng)窗口的遮擋位置作為目標(biāo)位置；將含有目標(biāo)位置的疑似特征區(qū)域作為關(guān)鍵特征區(qū)域。
10、可選地，特征分析方法還包括：根據(jù)關(guān)鍵特征區(qū)域?qū)ι疃葘W(xué)習(xí)模型進(jìn)行剪枝；對(duì)剪枝后的深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得目標(biāo)深度學(xué)習(xí)模型。
11、在一些實(shí)施例中，提供了一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，所述程序運(yùn)行時(shí)執(zhí)行上述實(shí)施例所述的用于深度學(xué)習(xí)模型的特征分析方法。
12、在一些實(shí)施例中，提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為通過(guò)所述計(jì)算機(jī)程序執(zhí)行上述實(shí)施例所述的用于深度學(xué)習(xí)模型的特征分析方法。
13、本公開(kāi)實(shí)施例提供的用于深度學(xué)習(xí)模型的特征分析方法、存儲(chǔ)介質(zhì)和電子設(shè)備，可以實(shí)現(xiàn)以下技術(shù)效果：
14、通過(guò)深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，能夠獲知重要神經(jīng)元激活貢獻(xiàn)較大的區(qū)域并獲知同時(shí)對(duì)多個(gè)重要神經(jīng)元的激活均有較大貢獻(xiàn)的特征區(qū)域，即疑似特征區(qū)域。若一特征區(qū)域同時(shí)對(duì)多個(gè)重要神經(jīng)元的激活均有較大貢獻(xiàn)，則該特征區(qū)域極有可能對(duì)模型輸出具有較大影響。因此，本公開(kāi)實(shí)施例先獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系以根據(jù)該映射關(guān)系確定分類(lèi)對(duì)象的疑似特征區(qū)域。然后，基于分類(lèi)對(duì)象對(duì)深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得輸出數(shù)據(jù)變化量，并根據(jù)輸出數(shù)據(jù)變化量從疑似特征區(qū)域中確定關(guān)鍵特征區(qū)域，實(shí)現(xiàn)關(guān)鍵特征區(qū)域的準(zhǔn)確定位。在深度學(xué)習(xí)模型自適應(yīng)剪枝過(guò)程中，準(zhǔn)確確定出關(guān)鍵特征區(qū)域有助于判斷分類(lèi)對(duì)象中哪部分對(duì)模型性能至關(guān)重要，使剪枝操作更有針對(duì)性，從而在保證模型性能的前提下降低模型的規(guī)模和計(jì)算復(fù)雜度。
15、本公開(kāi)實(shí)施例提供的用于深度學(xué)習(xí)模型的模型分析方法能夠從輸入數(shù)據(jù)的角度出發(fā)，確定出對(duì)模型性能至關(guān)重要的特征區(qū)域，即關(guān)鍵特征區(qū)域。在已知深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系的情況下，能夠獲知與關(guān)鍵特征區(qū)域相關(guān)的神經(jīng)元，為剪枝過(guò)程中的權(quán)重評(píng)估提供了可靠的依據(jù)。與相關(guān)技術(shù)相比，本公開(kāi)實(shí)施例提供了一種新的評(píng)估權(quán)重重要性的方法，以確定關(guān)鍵權(quán)重，即與關(guān)鍵特征區(qū)域相關(guān)的神經(jīng)元連接的權(quán)重，包括那些權(quán)重?cái)?shù)值雖然小但在模型中起著重要連接作用的權(quán)重。從而在剪枝過(guò)程中，能夠避免誤刪關(guān)鍵權(quán)重導(dǎo)致的模型精度下降，實(shí)現(xiàn)在降低模型的規(guī)模和計(jì)算復(fù)雜度的同時(shí)，確保剪枝后的模型依舊能夠保持較好的性能。
16、以上的總體描述和下文中的描述僅是示例性和解釋性的，不用于限制本申請(qǐng)。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種用于深度學(xué)習(xí)模型的特征分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的特征分析方法，其特征在于，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：
3.根據(jù)權(quán)利要求2所述的特征分析方法，其特征在于，基于微調(diào)深度學(xué)習(xí)模型，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的特征分析方法，其特征在于，基于分類(lèi)對(duì)象對(duì)深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得輸出數(shù)據(jù)變化量，包括：
5.根據(jù)權(quán)利要求4所述的特征分析方法，其特征在于，按照以下方式獲得遮擋分類(lèi)對(duì)象：
6.根據(jù)權(quán)利要求5所述的特征分析方法，其特征在于，輸入遮擋分類(lèi)對(duì)象至深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得參考輸出數(shù)據(jù)，包括：
7.根據(jù)權(quán)利要求6所述的特征分析方法，其特征在于，根據(jù)輸出數(shù)據(jù)變化量，從疑似特征區(qū)域中確定關(guān)鍵特征區(qū)域，包括：
8.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的特征分析方法，其特征在于，還包括：
9.一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀的存儲(chǔ)介
10.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為通過(guò)所述計(jì)算機(jī)程序執(zhí)行權(quán)利要求1至8中任一項(xiàng)所述的用于深度學(xué)習(xí)模型的特征分析方法。
...【技術(shù)特征摘要】
1.一種用于深度學(xué)習(xí)模型的特征分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的特征分析方法，其特征在于，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：
3.根據(jù)權(quán)利要求2所述的特征分析方法，其特征在于，基于微調(diào)深度學(xué)習(xí)模型，獲得深度學(xué)習(xí)模型的神經(jīng)元激活值與分類(lèi)對(duì)象的特征區(qū)域的映射關(guān)系，包括：
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的特征分析方法，其特征在于，基于分類(lèi)對(duì)象對(duì)深度學(xué)習(xí)模型進(jìn)行模型訓(xùn)練，獲得輸出數(shù)據(jù)變化量，包括：
5.根據(jù)權(quán)利要求4所述的特征分析方法，其特征在于，按照以下方式獲得遮擋分類(lèi)對(duì)象：
6.根據(jù)權(quán)利要求5所述的特征分析方法，其特征在于，輸入...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：田云龍，杜永杰，岳美媛，趙乾，許磊，
申請(qǐng)(專(zhuān)利權(quán))人：青島海爾科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。