【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及自動化機器學習領(lǐng)域，具體涉及一種基于演化神經(jīng)架構(gòu)搜索的輕量級潛在擴散模型設(shè)計方法及系統(tǒng)。
技術(shù)介紹
1、隨著深度學習技術(shù)的快速發(fā)展，擴散模型diffusion?model作為一種生成模型，已經(jīng)在圖像生成、語音合成、視頻處理等多個領(lǐng)域取得了顯著成果。擴散模型的核心思想是模擬圖像從清晰狀態(tài)到純噪聲狀態(tài)的前向擴散過程，再通過反向去噪過程逐步恢復出原始的清晰圖像，從而實現(xiàn)高質(zhì)量的圖像生成。擴散模型在反向去噪過程中使用u型網(wǎng)絡(luò)架構(gòu)unet來預(yù)測圖像中存在的噪聲，然而，現(xiàn)有擴散模型中使用的u型網(wǎng)絡(luò)架構(gòu)unet通常依賴于人工設(shè)計的網(wǎng)絡(luò)架構(gòu)，盡管這些人工設(shè)計的網(wǎng)絡(luò)架構(gòu)在一定程度上能夠完成一些生成任務(wù)，但在不同數(shù)據(jù)集和任務(wù)背景下的泛化能力較差，且對計算資源的消耗巨大，當面對新的數(shù)據(jù)集或任務(wù)背景時，僅依賴人工設(shè)計和試錯的方式，幾乎不可能快速設(shè)計出一個良好的網(wǎng)絡(luò)架構(gòu)。
2、計算資源消耗巨大一直以來是擴散模型面臨的一大難題，針對這一問題，已有研究者在擴散模型的基礎(chǔ)上提出了潛在擴散模型，潛在擴散模型通過引入變分自編碼器，將輸入圖像從原始的像素空間轉(zhuǎn)換到潛在空間中，在潛在空間中進行擴散模型的加噪和去噪操作，潛在擴散模型不僅顯著減輕了對計算資源的依賴，還確保了生成質(zhì)量的高度一致性，從而在高效性和適應(yīng)性方面實現(xiàn)了進一步的提升。
3、為了提高潛在擴散模型的性能和適應(yīng)能力，近年來，研究者們開始探索自動化設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu)的解決方案。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)已成為一個重要的研究方向，通過自動化搜索最優(yōu)架構(gòu)，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)能夠減少
4、此外，盡管引入了神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索這一自動化搜索策略，但如何在潛在擴散模型的網(wǎng)絡(luò)架構(gòu)設(shè)計中高效結(jié)合搜索策略與特定的生成任務(wù)仍然是一個重要挑戰(zhàn)。特別是在資源受限的環(huán)境下，如何在保證潛在擴散模型性能的同時顯著降低計算開銷，仍然是潛在擴散模型實際應(yīng)用中的難點之一。與此同時，一些研究已經(jīng)提出通過超網(wǎng)繼承的方式訓練網(wǎng)絡(luò)架構(gòu)，這種方法雖然能夠極大縮短訓練時間，但從超網(wǎng)中通過權(quán)重繼承得到的子網(wǎng)與實際從頭訓練時的表現(xiàn)往往存在較大偏差。鑒于上述問題，迫切需要一種高效、低成本的解決方案，既能通過自動化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法優(yōu)化潛在擴散模型的架構(gòu)設(shè)計，又能結(jié)合蒸餾技術(shù)以提升潛在擴散模型在不同任務(wù)和數(shù)據(jù)集中的適配性與性能，同時減少計算資源的消耗。因此，提出一種基于演化神經(jīng)架構(gòu)搜索的輕量級潛在擴散模型設(shè)計方法及系統(tǒng)使其能夠在實現(xiàn)潛在擴散模型輕量化的同時，又可以進行高效的架構(gòu)搜索，提升潛在擴散模型在不同應(yīng)用場景中的性能和適應(yīng)性是十分必要的。
技術(shù)實現(xiàn)思路
1、專利技術(shù)目的：本專利技術(shù)所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于演化神經(jīng)架構(gòu)搜索的輕量級潛在擴散模型設(shè)計方法及系統(tǒng)。所述方法包括以下步驟：
2、步驟1，選擇一個預(yù)訓練好的變分自編碼器，使用變分自編碼器中的編碼器將輸入圖像數(shù)據(jù)從原始像素空間轉(zhuǎn)換到潛在空間，輸入圖像數(shù)據(jù)在潛在空間中用潛在數(shù)據(jù)分布來表示；接著，在潛在空間中執(zhí)行噪聲添加過程，即向潛在數(shù)據(jù)分布中逐步添加高斯噪聲，直到潛在數(shù)據(jù)分布達到純噪聲的狀態(tài)；隨后，在潛在空間中依次完成步驟2到步驟8的操作，等待步驟8結(jié)束后，利用步驟8中得到的網(wǎng)絡(luò)架構(gòu)執(zhí)行純噪聲數(shù)據(jù)的去噪操作；后續(xù)的一系列步驟（除步驟10外）均在潛在空間中完成；
3、步驟2，選擇一個與圖像生成相關(guān)的預(yù)訓練模型作為教師模型，并根據(jù)教師模型的網(wǎng)絡(luò)架構(gòu)來設(shè)計學生模型的網(wǎng)絡(luò)架構(gòu)，然后以分辨率級別的不同為依據(jù)將教師模型和學生模型的網(wǎng)絡(luò)架構(gòu)分別劃分為兩個以上區(qū)塊；
4、步驟3，定義學生模型的架構(gòu)搜索空間，根據(jù)步驟2中設(shè)計的學生模型架構(gòu)構(gòu)建一個學生超網(wǎng)，并對學生超網(wǎng)進行訓練；
5、步驟4，在每個學生模型區(qū)塊內(nèi)均隨機初始化一個架構(gòu)種群，并評估每個區(qū)塊中初始種群內(nèi)個體（架構(gòu)）的性能；
6、步驟5，通過基于整數(shù)編碼的均勻交叉算子和隨機均勻變異算子的現(xiàn)有技術(shù)，對父代架構(gòu)進行交叉與變異操作，生成子代架構(gòu)，逐步擴展搜索空間，探索潛在的優(yōu)良架構(gòu)；
7、步驟6，對于經(jīng)過演化操作新生成的子代種群，使用與步驟4中相同的評估方式計算種群個體（學生模型的架構(gòu)）的適應(yīng)度值；在新生成的子代架構(gòu)經(jīng)過適應(yīng)度值評估后，將演化生成的子代架構(gòu)種群與父代架構(gòu)種群合并形成一個種群稱為擴展種群，然后使用精英選擇策略，根據(jù)適應(yīng)度值對所有架構(gòu)進行排序，排序結(jié)束后僅保留擴展種群中適應(yīng)度值高的（一般取前）架構(gòu)作為新一代種群，作為下一輪演化和評估的基礎(chǔ)種群；這種方法既能保證優(yōu)良架構(gòu)的傳承，避免在交叉和變異過程中丟失優(yōu)秀個體，又能通過選擇高質(zhì)量架構(gòu)逐步提升種群的整體性能；
8、步驟7，學生模型的每個區(qū)塊重復執(zhí)行步驟5至步驟6，直至滿足預(yù)設(shè)的停止條件（即種群演化迭代次數(shù)達到定義的搜索總迭代次數(shù)上限時），停止搜索；隨后，從學生模型的每個區(qū)塊中選取適應(yīng)度值最高的架構(gòu)，作為學生模型每個區(qū)塊中最終搜索到的最優(yōu)架構(gòu)；
9、步驟8，將學生模型每個區(qū)塊中最終搜索到的最優(yōu)架構(gòu)按照區(qū)塊大小順序從小到大依次連接起來，組成一個完整的網(wǎng)絡(luò)架構(gòu)，所述完整的網(wǎng)絡(luò)結(jié)構(gòu)被稱為子網(wǎng)；
10、步驟9，對步驟8中得到的子網(wǎng)進行重訓練，在子網(wǎng)重訓練過程中，引入一種動態(tài)聯(lián)合損失函數(shù)，可進一步提升子網(wǎng)的重訓練效果，擴散模型中神經(jīng)網(wǎng)絡(luò)的主要功能是用于預(yù)測帶有噪聲數(shù)據(jù)分布中存在的噪聲；動態(tài)聯(lián)合損失函數(shù)由教師模型與學生模型之間的蒸餾損失以及子網(wǎng)在噪聲數(shù)據(jù)上的預(yù)測損失組成，通過使用這種動態(tài)聯(lián)合損失函數(shù)，既能確保學生模型高效地學習教師模型的知識，又能增強子網(wǎng)的噪聲預(yù)測能力；所述重訓練指的是使用步驟8中搜索得到的子網(wǎng)在訓練數(shù)據(jù)集上接著步驟1中的操作執(zhí)行純噪聲數(shù)據(jù)的噪聲去除操作，在子網(wǎng)重訓練過程中使用的數(shù)據(jù)集()為圖像生成領(lǐng)域的公開數(shù)據(jù)集，該數(shù)據(jù)集包含張分辨率大小為的人臉圖像，其中張圖像作為訓練數(shù)據(jù)集；
11、步驟10，使用步驟9中重訓練好的子網(wǎng)進行采樣，生成最終圖像，在采樣過程中，使用變分自編碼器中的解碼器將子網(wǎng)去除噪聲后得到的潛在數(shù)據(jù)分布映射回像素空間，最終輸出生成的圖像樣本。
12、步驟2中，之所以要對教師模型和學生模型的網(wǎng)絡(luò)架構(gòu)進行分區(qū)塊化處理，是因為使用這種分區(qū)塊方法可以顯著減少搜索空間的規(guī)模，在傳統(tǒng)的全局架構(gòu)搜索方法中，需要在整個網(wǎng)絡(luò)架構(gòu)的搜索空間中尋找最優(yōu)解，這會導致搜索空間呈指數(shù)級增長，計算復雜度極高，例如，在本專利技術(shù)中，如果使用傳統(tǒng)的搜索方法，搜索空間約為；如果將網(wǎng)絡(luò)架構(gòu)按分辨率級別不同劃分為多個較小的區(qū)塊，在每個區(qū)塊內(nèi)獨立進行演化架構(gòu)搜索，那么搜索空間將減少為，搜索效率將大大提高。
13、步驟2中，選擇一個與圖像生成相關(guān)的預(yù)訓練模型作為教師模型，所述預(yù)訓練模型須與本專利技術(shù)使用相同的人臉圖像本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于演化神經(jīng)架構(gòu)搜索的輕量級潛在擴散模型設(shè)計方法，所述輕量級潛在擴散模型用于圖像生成任務(wù)，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟2中，選擇一個與圖像生成相關(guān)的預(yù)訓練模型作為教師模型，根據(jù)教師模型的網(wǎng)絡(luò)架構(gòu)設(shè)計一個輕量化的學生模型，教師模型和學生模型的骨干網(wǎng)絡(luò)均采用型網(wǎng)絡(luò)架構(gòu)，所述型網(wǎng)絡(luò)架構(gòu)包括編碼器階段、中間階段和解碼器階段，在編碼器階段和解碼器階段的每個區(qū)塊中，學生模型網(wǎng)絡(luò)架構(gòu)中的殘差塊數(shù)量僅為教師模型網(wǎng)絡(luò)架構(gòu)中的一半；最后，根據(jù)分辨率級別的不同將教師模型和學生模型的網(wǎng)絡(luò)架構(gòu)分別劃分為兩個以上區(qū)塊，其中，編碼器階段劃分的區(qū)塊稱為編碼器塊，解碼器階段劃分的區(qū)塊稱為解碼器塊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟3包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟4包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟4.2包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，步驟9包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，步驟9.1包括：所述動態(tài)聯(lián)
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，步驟9.2包括：使用階梯函數(shù)對系數(shù)進行調(diào)整。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，步驟10中，利用步驟9中重訓練好的子網(wǎng)來預(yù)測當前數(shù)據(jù)中的噪聲成分，并將噪聲成分移除，逐步得到更接近真實數(shù)據(jù)分布的表示，然后使用變分自編碼器中的解碼器將去除噪聲后得到的潛在表示映射回像素空間，最終輸出生成的圖像樣本，完成輕量級潛在擴散模型的圖像生成任務(wù)。
10.根據(jù)權(quán)利要求1~9任一項所述的方法實現(xiàn)的系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于演化神經(jīng)架構(gòu)搜索的輕量級潛在擴散模型設(shè)計方法，所述輕量級潛在擴散模型用于圖像生成任務(wù)，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟2中，選擇一個與圖像生成相關(guān)的預(yù)訓練模型作為教師模型，根據(jù)教師模型的網(wǎng)絡(luò)架構(gòu)設(shè)計一個輕量化的學生模型，教師模型和學生模型的骨干網(wǎng)絡(luò)均采用型網(wǎng)絡(luò)架構(gòu)，所述型網(wǎng)絡(luò)架構(gòu)包括編碼器階段、中間階段和解碼器階段，在編碼器階段和解碼器階段的每個區(qū)塊中，學生模型網(wǎng)絡(luò)架構(gòu)中的殘差塊數(shù)量僅為教師模型網(wǎng)絡(luò)架構(gòu)中的一半；最后，根據(jù)分辨率級別的不同將教師模型和學生模型的網(wǎng)絡(luò)架構(gòu)分別劃分為兩個以上區(qū)塊，其中，編碼器階段劃分的區(qū)塊稱為編碼器塊，解碼器階段劃分的區(qū)塊稱為解碼器塊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟3包括：
4.根據(jù)權(quán)利要求3所述的方法，其...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：焦春曉，薛羽，王堯，田青，梅園，韓進，金婷，王修來，
申請(專利權(quán))人：南京信息工程大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。