一種深度卷積神經網絡模型構建方法技術

一種深度卷積神經網絡模型構建方法，屬于模式識別與機器學習領域。其特征在于：包括以下步驟，1)、卷積神經網絡模型初始化；2)、對網絡進行端到端的全局擴展學習，直到卷積神經網絡系統平均誤差達到預設期望值；3)、全局擴展后，采用交叉驗證樣本對網絡性能進行評估，若識別率未達到期望值，則對網絡展開局部擴展學習；4)、增加新的增量式端到端擴展學習支路，實現網絡結構的增量擴展學習，最終實現深度卷積神經網絡的模型構建。本發明專利技術可根據參與訓練樣本的情況按需添加神經元，實現網絡結構的擴充式擴展和增量式擴展，增強了數據樣本和網絡模型之間的關聯性，實現了網絡結構自適應增量學習。

【技術實現步驟摘要】
一種深度卷積神經網絡模型構建方法
一種深度卷積神經網絡模型構建方法，屬于模式識別與機器學習領域。
技術介紹
卷積神經網絡是一種特殊的深層的神經網絡模型，它的特殊性體現在兩個方面，一方面它的神經元間的連接是非全連接的，另一方面同一層中某些神經元之間的連接的權重是共享的(即相同的)。它的非全連接和權值共享的網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。卷積神經網絡又是一種為識別二維圖像而特殊設計的多層感知器，具有良好的容錯能力、并行處理能力和自學習能力，可處理環境信息復雜、推理規則不明確等復雜情況下的模式識別問題。當前針對卷積神經網絡的研究主要集中在兩大方面：(1)卷積神經網絡的應用方法研究；(2)卷積神經網絡的理論方法研究。關于卷積神經網絡的應用方法研究：2012年，Hinton等人使用并行化手段實現了更深層次的卷積神經網絡，在ImageNet競賽上取得了前所未有的成功，實現了卷積神經網絡對自然圖像的識別，增強了卷積神經網絡研究者的信心。此后，基于7層深度卷積神經網絡實現了文檔圖像識別；基于卷積神經網絡實現了無參考圖像質量評價、人臉識別、表情識別等等。關于卷積神經網絡的模型構建理論研究：2013年，Sun(YSun,XWang,XTang.Hybriddeeplearningforfaceverification.Proc.ofIEEEInternationalConferenceonComputerVision,2013:1489-1496.)等融合卷積神經網絡和受限玻爾茲曼機提出一種混合深度學習策略，在復雜非受控條件下的人臉識別中作用明顯。Zou(JZou，QWu，YTan，FWuAnalysisRangeofCoefficientsinLearningRateMethodsofConvolutionNeuralNetwork,InternationalSymposiumonDistributedComputing&ApplicationsforBusinessEngineering&Science2015:513-517.)等則針對卷積神經網絡中的學習率取值范圍開展了研究和分析，在最優取值下，獲得了更小的錯誤率和更好的訓練速度。但目前，現有技術中的傳統卷積神經網絡結構存在過度依賴人為經驗、網絡深度和特征圖個數難以確定、訓練難度大等缺點，數據樣本和網絡模型之間的關聯性較弱。
技術實現思路
本專利技術所要解決的技術問題是：克服現有技術的不足，提供一種增強數據樣本和網絡模型之間關聯性，降低對人為經驗的依賴性，訓練難度小的深度卷積神經網絡模型構建方法。本專利技術解決其技術問題所采用的技術方案是：該深度卷積神經網絡模型構建方法，其特征在于：包括以下步驟，1)、卷積神經網絡模型初始化，初始網絡模型只設置一條支路，該支路上包含輸入層、卷積層、池化層和全連接層，且每層僅包含一幅特征圖；2)、以卷積神經網絡的收斂速度為評價指標，對網絡進行端到端的全局擴展學習，直到卷積神經網絡系統平均誤差達到預設期望值，則全局網絡擴展結束；3)、全局擴展后，采用交叉驗證樣本對網絡性能進行評估，采用交叉驗證樣本測試所得網絡的識別率，若識別率未達到期望值，則對網絡展開局部擴展學習，直到交叉驗證樣本的識別率達到預設期望值后，停止局部網絡學習；4)、保留擴充式擴展學習訓練得到的網絡訓練結果，針對新追加的訓練樣本，增加新的增量式端到端擴展學習支路，實現網絡結構的增量擴展學習，以系統平均誤差達到期望值為訓練結束的標志，最終實現深度卷積神經網絡的模型構建。改變傳統深度卷積神經網絡模型的構建思路，采用初始化網絡模型，擴充式擴展網絡模型及增量式擴展網絡模型三大步，逐步顯現深度卷積神經網絡的模型的構建。其中，可根據參與訓練樣本的情況按需添加神經元，實現網絡結構的擴充式擴展和增量式擴展，直到獲取最優分類結果或滿足預設條件。本專利技術的構建方法的構建思想能夠克服傳統卷積神經網絡網絡結構過度依賴人為經驗、網絡深度和特征圖個數難以確定、訓練難度大等缺點，實現了網絡模型與樣本數據的直接關聯。增強了數據樣本和網絡模型之間的關聯性，實現了網絡結構的自適應增量學習，在網絡訓練時間和識別效果上展現出較好的優越性。全局擴展后，網絡模型并未達到最優的識別性能。當不同批次交叉驗證樣本的識別率趨于某一個穩定值，且此穩定值為非理想狀態時，需要構建形成新的局部支路，實現網絡結構的局部擴展學習，用于提高網絡識別精度。卷積神經網絡模型的增量式擴展是針對新追加的訓練樣本，在保留已有訓練結果的基礎上，通過拓展新的端到端全局支路的方式，實現網絡結構的自適應增量學習，降低了訓練開銷，實現了預期識別效果。步驟1)的網絡深度設置為5層，所述的卷積層和池化層分別設有兩個，全連接層設有一個，卷積層和池化層交錯設置。步驟2)所述的卷積神經網絡系統平均誤差小于預設期望值時，對當前網絡結構展開端到端的全局擴展訓練學習，擴展出新的端到端支路，網絡深度變為6層。全局擴展訓練學習是以網絡的收斂速度作為評價指標，從網絡的輸入端到輸出端進行端到端的全局擴展學習，直到卷積神經網絡系統平均誤差達到預設期望值。在擴展所述的新的端到端支路前，應先保留已訓練完成的初試網絡的卷積層和池化層的相關參數及其輸出層的輸出結果。擴展出的新的端到端支路與步驟1)所述的初試網絡相同或相近，且在網絡輸出層產生新的輸出，最后的輸出層添加一個新的全連接層，將兩條端到端支路和支路的輸出融合到一起，并獲得最終輸出結果。步驟3)所述的對網絡展開局部擴展學習，即當不同批次交叉驗證樣本的識別率趨于一個穩定值，且此穩定值為非理想狀態時，構建形成新的局部支路，并對已有網絡的分支在第一級池化層進行局部融合。卷積神經網絡模型的局部擴展學習采用交叉驗證樣本測試當前網絡識別率，當識別率未達到期望值時，對已有網絡的分支從第一級池化層進行局部融合，實現網絡結構的局部擴展學習，直到交叉驗證樣本的識別率達到預設期望值后停止局部網絡學習。所述的局部擴展之前，需保存已經完成的全局擴展模型的相關權重參數以及網絡輸出層的輸出值，在訓練局部支路時，將全局擴展模型中池化層的特征圖作為輸入，將全局擴展和局部擴展的輸出融合到一起，得到最終的輸出結果。步驟3)所述的局部擴展后，形成兩個全連接層，網絡深度擴展為7層。步驟4)所述的增量式擴展學習訓練后，網絡深度擴展為8層。與現有技術相比，本專利技術所具有的有益效果是：本專利技術提供了一種深度卷積神經網絡模型構建方法，改變傳統深度卷積神經網絡模型的構建思路，采用初始化網絡模型，擴充式擴展網絡模型及增量式擴展網絡模型三大步，逐步顯現深度卷積神經網絡的模型的構建。其中，可根據參與訓練樣本的情況按需添加神經元，實現網絡結構的擴充式擴展和增量式擴展，直到獲取最優分類結果或滿足預設條件。本專利技術的構建方法的構建思想能夠克服傳統卷積神經網絡網絡結構過度依賴人為經驗、網絡深度和特征圖個數難以確定、訓練難度大等缺點，實現了網絡模型與樣本數據的直接關聯。增強了數據樣本和網絡模型之間的關聯性，實現了網絡結構的自適應增量學習，在網絡訓練時間和識別效果上展現出較好的優越性。全局擴展后，網絡模型并未達到最優的識別性能。當不同批次交叉驗證樣本本文檔來自技高網...

【技術保護點】
一種深度卷積神經網絡模型構建方法，其特征在于：包括以下步驟，1)、卷積神經網絡模型初始化，初始網絡模型只設置一條支路，該支路上包含輸入層、卷積層、池化層和全連接層，且每層僅包含一幅特征圖；2)、以卷積神經網絡的收斂速度為評價指標，對網絡進行端到端的全局擴展學習，直到卷積神經網絡系統平均誤差達到預設期望值，則全局網絡擴展結束；3)、全局擴展后，采用交叉驗證樣本對網絡性能進行評估，采用交叉驗證樣本測試所得網絡的識別率，若識別率未達到期望值，則對網絡展開局部擴展學習，直到交叉驗證樣本的識別率達到預設期望值后，停止局部網絡學習；4)、保留擴充式擴展學習訓練得到的網絡訓練結果，針對新追加的訓練樣本，增加新的增量式端到端擴展學習支路，實現網絡結構的增量擴展學習，以系統平均誤差達到期望值為訓練結束的標志，最終實現深度卷積神經網絡的模型構建。

【技術特征摘要】
1.一種深度卷積神經網絡模型構建方法，其特征在于：包括以下步驟，1)、卷積神經網絡模型初始化，初始網絡模型只設置一條支路，該支路上包含輸入層、卷積層、池化層和全連接層，且每層僅包含一幅特征圖；2)、以卷積神經網絡的收斂速度為評價指標，對網絡進行端到端的全局擴展學習，直到卷積神經網絡系統平均誤差達到預設期望值，則全局網絡擴展結束；3)、全局擴展后，采用交叉驗證樣本對網絡性能進行評估，采用交叉驗證樣本測試所得網絡的識別率，若識別率未達到期望值，則對網絡展開局部擴展學習，直到交叉驗證樣本的識別率達到預設期望值后，停止局部網絡學習；4)、保留擴充式擴展學習訓練得到的網絡訓練結果，針對新追加的訓練樣本，增加新的增量式端到端擴展學習支路，實現網絡結構的增量擴展學習，以系統平均誤差達到期望值為訓練結束的標志，最終實現深度卷積神經網絡的模型構建。2.根據權利要求1所述的一種深度卷積神經網絡模型構建方法，其特征在于：步驟1)的網絡深度設置為5層，所述的卷積層和池化層分別設有兩個，全連接層設有一個，卷積層和池化層交錯設置。3.根據權利要求1所述的一種深度卷積神經網絡模型構建方法，其特征在于：步驟2)所述的卷積神經網絡系統平均誤差小于預設期望值時，對當前網絡結構展開端到端的全局擴展訓練學習，擴展出新的端到端支路，網絡深度變為6層。4.根據權利要求3所述...

【專利技術屬性】
技術研發人員：鄒國鋒，傅桂霞，趙新宇，林釘屹，高明亮，尹麗菊，李海濤，
申請(專利權)人：山東理工大學，
類型：發明
國別省市：山東,37