【技術實現步驟摘要】
本專利技術涉及神經網絡架構，具體涉及一種基于降低空間和通道特征冗余的可微分神經架構搜索方法。
技術介紹
1、神經架構搜索(neural?architecture?search，簡稱nas)是個高維空間的最優參數搜索問題，如圖1所示，首先給定一個稱為搜索空間的候選神經網絡結構集合，然后按照某種搜索策略采樣子網絡結構，并使用性能評估策略對其進行評估，根據反饋結果進行下一輪的搜索。由此可見，神經架構搜索的方法涉及三個方面：搜索空間、搜索策略、性能評估策略。通過搜索策略在搜索空間中選擇一個網絡架構，借助性能評估策略對該網絡架構進行評估，并將結果反饋給搜索策略指導搜索策略選擇更好的網絡架構，通過不斷迭代得到最優的網絡架構。
2、搜索空間定義了nas算法中可以搜索的神經網絡的類型，同時也定義了如何描述神經網絡結構。神經網絡所實現的計算可以抽象成一個無孤立節點的有向無環圖(dag)，圖的節點代表神經網絡的層，邊代表數據流動。每個節點從其前驅節點接收數據，經過計算之后將數據輸出到后續節點。搜索空間可以大致分為兩類：全局搜索空間和基于單元的搜索空間。全局搜索空間為表示整個神經結構的圖定義，包括一系列卷積、池化、具有激活的線性變換(dense層)和具有不同超參數設置如過濾器數量、內核大小、步長等等。基于單元的搜索空間假設一個體系結構是結合重復的少數單元格來構建整個網絡。這種設計不僅可以產生高性能的模型，而且還可以跨數據集實現任務泛化。
3、神經架構搜索中的搜索策略定義了如何在搜索空間中尋找最優網絡結構。這通常是一個迭代優化過
4、對于搜索策略搜索出的神經網絡結構，首先在一個訓練集上訓練，然后在驗證集上測試精度值。訓練和驗證過程非常耗時，因此有必要采取措施以降低性能評估的成本。基于多目標優化的神經網絡架構搜索方法可以通過在搜索過程中維護一個帕累托前沿的集合來尋找最佳的神經網絡結構。具體而言，該方法通過在每一次迭代中生成一組新的神經網絡結構，并使用多個評價指標對這些結構進行評估。然后，根據這些評價指標的權重，使用多目標優化算法來選擇出一組最優的神經網絡結構。
5、當前關于nas的技術主要存在以下缺點：(1)當前的nas大多依賴于大量的計算資源。這是因為nas需要在預定義的搜索空間中搜索最優的神經網絡架構。每一個可能的架構都需要在大規模的數據集上進行訓練和驗證，以評估其性能。這個過程通常需要大量的計算資源，包括cpu、gpu和內存。因此，nas通常需要在高性能的計算平臺上運行，這可能會導致高昂的計算成本。(2)另外，nas的訓練過程通常很復雜。首先，nas需要定義一個搜索空間，這個搜索空間包含了所有可能的神經網絡架構。然后，nas需要定義一個搜索策略，這個搜索策略決定了如何在搜索空間中尋找最優的神經網絡架構。最后，nas需要定義一個性能評估策略，這個策略用于評估每一個神經網絡架構的性能。這些步驟都需要深入理解機器學習和深度學習的原理，以及熟悉使用相關的工具和庫。(3)神經網絡的訓練結果可能會受到初始權重的影響。這意味著，即使是最優的網絡架構，如果初始權重設置不當，也可能無法達到最佳的性能。例如，如果初始權重過大或過小，可能會導致神經網絡的訓練過程陷入局部最優解，而無法找到全局最優解。因此，在使用nas時，需要注意合理設置初始權重，以確保神經網絡可以正確地學習和優化。(4)nas通常需要在一個離散的搜索空間中尋找最優的架構，因此，使用強化學習、進化算法、貝葉斯優化等，都不能用損失的梯度更新網絡架構，只能間接優化生成子網絡模型的控制器。離散的搜索空間意味著每個架構都是由一些離散的選擇組成的，例如層的類型、數量、連接方式等。離散的搜索空間帶來了一些挑戰，例如：離散的搜索空間往往是非凸的、非連續的、高維的，這使得很難使用基于梯度的優化方法來搜索架構；離散的搜索空間往往是非常大的，這使得搜索過程非常耗時和計算資源密集；離散的搜索空間往往是不完全可觀測的，這使得評估每個架構的性能需要訓練和測試，這也是非常耗時和計算資源密集的。
技術實現思路
1、為了解決現有技術中存在的各種問題，本專利技術的目的在于提供一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，該方法在輕量級、高效性、動態通道選擇、信息保留與計算效率平衡、易于擴展與泛化以及提升圖像分類性能等方面均展現出顯著的優勢。
2、本專利技術通過以下技術方案來實現上述目的：
3、一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，該方法包括以下步驟：
4、定義搜索空間，該搜索空間中包含所有期望的候選神經網絡模型，在該搜索空間中搜索最優的神經網絡架構；
5、設計空間特征重構模塊來消除空間特征冗余，該模塊包含分離和重構操作，分離操作將具有豐富信息的特征圖與對應于空間內容的少量信息的特征圖分離，然后通過重構操作在通道維度上將這些部分重新組合成空間細化特征圖；
6、使用自適應通道注意力模塊通過快速一維卷積提取每個通道的重要性，根據計算出的注意力權重用于指導通道的去向；其中，注意力權重較高的通道被發送到操作空間，而其他通道則直接與操作空間的輸出在通道維度疊加，以平衡信息保留和計算效率；
7、將搜索到的最佳網絡架構單元進行堆疊，重新構建并訓練神經網絡模型，進而實現圖像的分類任務。
8、根據本專利技術提供的一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，在定義搜索空間時，將搜索空間建模成有向無環圖，并稱為超網結構，有向無環圖中的節點代表特征圖，有向邊代表操作方式，將超網結構中的節點數量設置為7，包含2個輸入節點、4個中間節點代表潛在的特征信息，以及1個輸出節點。
9、根據本專利技術提供的一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，所述超網結構的操作方式集合包括：卷積核大小分別為3和5的可分離卷積；卷積核大小分別為3和5的空洞卷積；跳躍連接；zero操作；最大池化；平均池化。
10、根據本專利技術提供的一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，所述超網結構包括：
11、normal模塊：所有操作在該模塊中的步長為1，保持特征圖的尺寸不變；
12、reduce模塊：所有操作在該模塊中的步長為2，用于壓縮特征圖尺寸，并且輸出特征圖的通道數翻倍。
13、根據本專利技術提供的一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，在定義搜索空間時，引入結構參數α將離散的搜索空間連續化，在超網結構中，節點相當于一組特征圖，每個中間節點和其所有后繼中間節點均有一條有向連接邊，中間節點j和其前驅節點i的有向邊(i，j)表示為操作集合中的所有操作，即前驅節點i首先經過空間特征重構模塊去除空間特征冗余，然后經過自適應通道注意力模塊采樣一部分權重值較高的通道，并將這些高權重本文檔來自技高網...
【技術保護點】
1.一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，其特征在于，該方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于：
3.根據權利要求2所述的方法，其特征在于：
4.根據權利要求2所述的方法，其特征在于：
5.根據權利要求2所述的方法，其特征在于，還執行：
6.根據權利要求5所述的方法，其特征在于：
7.根據權利要求1所述的方法，其特征在于：
8.根據權利要求1所述的方法，其特征在于：
9.根據權利要求8所述的方法，其特征在于：
10.根據權利要求2所述的方法，其特征在于：
【技術特征摘要】
1.一種基于降低空間和通道特征冗余的可微分神經架構搜索方法，其特征在于，該方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于：
3.根據權利要求2所述的方法，其特征在于：
4.根據權利要求2所述的方法，其特征在于：
5.根據權利要求2所述的方法，...
【專利技術屬性】
技術研發人員：王睿，尹善通，李芃，
申請(專利權)人：哈爾濱工業大學深圳哈爾濱工業大學深圳科技創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。