【技術實現步驟摘要】
本專利技術涉及計算機視覺，具體為一種基于dropout和去相關策略的gcnn網絡優化方法。
技術介紹
1、在計算機視覺領域，隨著任務難度的增加，構建大規模的卷積神經網絡(cnn)已成為提高視覺識別效果的重要手段。自從large?scale?visual?recognition?challenge(ilsvrc)以來，研究表明，網絡分類精度的提升在很大程度上依賴于網絡規模的擴大。這一發現促使了對深度學習模型的深入研究，特別是在網絡結構設計和訓練策略上的創新。
2、早期的研究者，如lecun等人，通過引入具有局部感受野的卷積操作和下采樣，將圖像的局部空間拓撲結構信息融入網絡，有效緩解了過擬合問題。然而，這種方法并沒有解決網絡參數過多的問題。hinton等人通過預學習和限制玻爾茲曼機的使用，從訓練圖像中挖掘有用信息，獲得了具有優化初始權值的網絡結構。盡管這種方法在一定程度上提高了網絡性能，但隨著網絡層數的增加，所需的時間開銷也隨之增大。
3、為了進一步提高網絡的泛化能力，hinton等人提出了dropout策略，通過在訓練過程中隨機忽略網絡中某些隱節點的權重，抑制了特征檢測器之間的共同作用。這種策略顯著提高了網絡模型的穩定性。goodfellow等人通過在兩個隱含層之間定義maxout層，配合dropout策略，進一步提升了網絡性能。wan等人提出的dropconnect策略，通過隨機置零節點中的連接權值，提高了網絡的模型平均能力。lian等人針對dropconnect提出了改進策略，根據前一層的輸出稀疏保留最
4、gcnn在沒有充分的訓練數據的情況下會產生過擬合問題，尤其當增長的網絡規模過于龐大時，如何避免訓練的過擬合仍存在以下問題：
5、(1)訓練樣本有限：當訓練樣本數量有限時，大規模的cnn容易產生過擬合現象，即網絡模型雖然能夠很好地擬合訓練數據，但卻無法有效地泛化到未見過的測試樣本上。
6、(2)網絡參數過多：隨著網絡規模的增大，參數數量也隨之增加，這不僅增加了計算負擔，也加劇了過擬合問題。
7、(3)傳統正則化方法的局限性：在沒有使用任何正則化技術的情況下，傳統的過擬合解決方法(如增加訓練樣本、提前終止、權重范數懲罰)只有在訓練大型網絡時才能取得較好的測試效果。
8、本專利技術針對上述問題提出解決方案，通過對卷積層、采樣層和全連接層的不同組合使用dropout，比較其對網絡泛化能力的影響，得到最佳訓練策略。降低gcnn隱層激活單元間的相關性，利用協方差矩陣范數懲罰來優化gcnn網絡，減少過擬合，提高網絡泛化能力。
技術實現思路
1、本專利技術提供了一種基于dropout和去相關策略的gcnn網絡優化方法，通過在不同網絡層應用dropout，評估其對泛化能力的影響，并利用協方差矩陣范數懲罰降低隱層激活單元間的相關性，從而減少過擬合，解決了上述
技術介紹
中提出的問題。
2、本專利技術提供如下技術方案：一種基于dropout和去相關策略的gcnn網絡優化方法，包括以下步驟：
3、步驟一、通過對卷積層、采樣層和全連接層的不同組合使用dropout，比較其對網絡泛化能力的影響，得到最佳訓練策略；
4、具體操作為：設計單層dropout實驗和雙層dropout實驗，每組實驗中都訓練三個gcnn模型，通過對比不同層次的dropout應用，探討其對網絡泛化能力的影響，最終通過全連接層輸出分類結果，基于實驗結果和比較分析得到最佳dropout組合：卷積層dropout：0.3；采樣層dropout：0.2；全連接層dropout：0.5；
5、步驟二、降低gcnn隱層激活單元間的相關性，利用協方差矩陣范數懲罰來優化gcnn網絡，減少過擬合，提高網絡泛化能力；
6、具體操作為：第一步、假設hn∈rd，表示第n個樣本某個隱層的激活值，n∈{1,....,n}，其中n表示樣本的個數，定義其中激活i和j之間的協方差矩陣如下：
7、
8、其中：表示所有樣本激活i的均值；
9、第二步、對協方差矩陣的范數進行懲罰，得到最終的損失函數為：
10、
11、其中：||.||f表示frobenius范數；
12、第三步、把損失函數作用于gcnn的卷積層、采樣層和全連接層，提升網絡泛化能力。
13、優選的，所述單層dropout實驗為分別在每個網絡的不同層次使用dropout；包括gcnn-1：在卷積層使用dropout、gcnn-2：在采樣層使用dropout和gcnn-3：在全連接層使用dropout。
14、優選的，所述雙層dropout實驗為在每個網絡的兩層使用dropout；包括gcnn-4：在卷積層和采樣層同時使用dropout、gcnn-5：在采樣層和全連接層同時使用dropout和gcnn-6：在卷積層和全連接層同時使用dropout。
15、優選的，分別訓練gcnn-1到gcnn-6模型，使用相同的訓練參數，分析評估指標后得到結果如下：gcnn-1：在卷積層使用dropout，能夠有效減少特征過擬合，但過高的dropout會降低特征提取能力；gcnn-2：在采樣層使用dropout，通過max-pooling增加樣本多樣性，適度的dropout有助于泛化能力提升；gcnn-3：在全連接層使用dropout，防止過擬合效果顯著，但過高的dropout會導致信息丟失過多；gcnn-4：在卷積層和采樣層同時使用dropout，適度的組合能夠增強特征提取和樣本多樣性；gcnn-5：在采樣層和全連接層同時使用dropout，適度的組合能夠有效增加樣本多樣性并防止全連接層過擬合；gcnn-6：在卷積層和全連接層同時使用dropout，適度的組合能夠增強特征提取能力并防止全連接層過擬合。
16、優選的，使用相同的訓練參數包括dropout概率、學習率、批大小、使用交叉熵損失函數、使用adam優化器。
17、優選的，通過最小化激活單元間的協方差的方式，得到損失函數ldcoυ，所述損失函數ldcoυ的優勢在于無監督，可將其作用在任何激活之間。
18、優選的，所述gcnn網絡結構包括輸入層、兩層卷積層，每層后接采樣層和dropout層。
19、優選的，所述步驟一和步驟二中均使用cifar-100數據集。
20、與現有技術對比，本專利技術具備以下有益效果：
21、1、該基于dropout和去相關策略的gcnn網絡優化方法，通過結合dropout技術和去相關策略，顯著提升了網絡的泛化能力和減少過擬合的可能性；通過在不同網絡層(卷積層、采樣層和全連接層)實施dropout，不僅提高了模型的泛化能力，還通過實驗確定了最佳的dropout比例，為網絡訓練提供了有效的指導。
22、2、該基于dropout和去相關策本文檔來自技高網...
【技術保護點】
1.一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：所述單層Dropout實驗為分別在每個網絡的不同層次使用Dropout；包括GCNN-1：在卷積層使用Dropout、GCNN-2：在采樣層使用Dropout和GCNN-3：在全連接層使用Dropout。
3.根據權利要求2所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：所述雙層Dropout實驗為在每個網絡的兩層使用Dropout；包括GCNN-4：在卷積層和采樣層同時使用Dropout、GCNN-5：在采樣層和全連接層同時使用Dropout和GCNN-6：在卷積層和全連接層同時使用Dropout。
4.根據權利要求3所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：分別訓練GCNN-1到GCNN-6模型，使用相同的訓練參數，分析評估指標后得到結果如下：GCNN-1：在卷積層使用Dropout，能夠有效減少特
5.根據權利要求4所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：使用相同的訓練參數包括Dropout概率、學習率、批大小、使用交叉熵損失函數、使用Adam優化器。
6.根據權利要求1所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：通過最小化激活單元間的協方差的方式，得到損失函數LDcoυ，所述損失函數LDcoυ的優勢在于無監督，可將其作用在任何激活之間。
7.根據權利要求1所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：所述GCNN網絡結構包括輸入層、兩層卷積層，每層后接采樣層和Dropout層。
8.根據權利要求1所述的一種基于Dropout和去相關策略的GCNN網絡優化方法，其特征在于：所述步驟一和步驟二中均使用CIFAR-100數據集。
...【技術特征摘要】
1.一種基于dropout和去相關策略的gcnn網絡優化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于dropout和去相關策略的gcnn網絡優化方法，其特征在于：所述單層dropout實驗為分別在每個網絡的不同層次使用dropout；包括gcnn-1：在卷積層使用dropout、gcnn-2：在采樣層使用dropout和gcnn-3：在全連接層使用dropout。
3.根據權利要求2所述的一種基于dropout和去相關策略的gcnn網絡優化方法，其特征在于：所述雙層dropout實驗為在每個網絡的兩層使用dropout；包括gcnn-4：在卷積層和采樣層同時使用dropout、gcnn-5：在采樣層和全連接層同時使用dropout和gcnn-6：在卷積層和全連接層同時使用dropout。
4.根據權利要求3所述的一種基于dropout和去相關策略的gcnn網絡優化方法，其特征在于：分別訓練gcnn-1到gcnn-6模型，使用相同的訓練參數，分析評估指標后得到結果如下：gcnn-1：在卷積層使用dropout，能夠有效減少特征過擬合，但過高的dropout會降低特征提取能力；gcnn-2：在采樣層使用dropout，通過max-pooling增加樣本多樣性，適度的dropout有助于泛化能力提升；gcnn-3：在全...
【專利技術屬性】
技術研發人員：胡東映，趙仲秋，汪濤，王攀，董春，謝團結，
申請(專利權)人：合肥耀安科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。