基于提升方案深度神經網絡的圖像分類方法技術

本發明專利技術涉及一種基于提升方案深度神經網絡的圖像分類方法。本發明專利技術結合了提升方案和卷積神經網絡的優點，利用提升方案的特有優勢改進基于卷積的神經網絡模型。在神經網絡中引入提升方案以取代卷積層作為新的特征提取器，一方面為神經網絡帶來了整數變換、運算加速、無需輔存等優點，另一方面非線性提升方案算子的引入增強了特征的表達能力，能夠更好地保留圖像的原始信息，在數字圖像和遙感圖像的分類準確率上均有提升。

Image classification method based on depth neural network of lifting scheme

【技術實現步驟摘要】
基于提升方案深度神經網絡的圖像分類方法
本專利技術屬于圖像處理
，特別涉及一種基于提升方案深度神經網絡的圖像分類方法。
技術介紹
圖像分類是計算機視覺領域中重要的研究主題，其目標是將不同的圖像劃分到不同的類別并降低分類誤差。圖像分類是計算機視覺領域中的基礎任務，其研究對于其他圖像處理任務如目標檢測、圖像分割等都具有重要的意義。近年來，深度學習逐漸成為圖像處理的發展主流。其中，卷積神經網絡無須手工提取特征便能在訓練中自動完成特征的提取和抽象，在圖像分類、圖像識別、物體檢測、語義分割等應用上均表現突出，因而在計算機視覺領域占有重要地位。卷積層通過輸入信號與卷積核的卷積操作為網絡的提取圖像特征，是卷積神經網絡的核心模塊。由于具有局部連接和權值共享特性，卷積層實現了參數量減少、訓練復雜度大大降低、過擬合減輕等優良效果，并賦予了網絡平移不變性。但是，卷積操作的線性特性制約了所提取特征的表達能力，而卷積操作的運算量之大也制約了網絡在算力有限的移動平臺上的應用。卷積操作同樣是小波變換的核心操作。離散小波變換因具有多分辨、時頻局部化、緊致等特性而廣泛應用于圖像壓縮、圖像去噪等圖像處理領域，但是由于其卷積運算而受限于線性特性、運算復雜等問題。為此，Sweldens提出了小波提升方案，使得小波變換的實現更為快速、無需輔存且還能引入非線性變換、整數變換。提升方案的上述優勢使得小波變換更易于在算力有限的硬件平臺上的實現，并成功應用于JPEG2000標準硬件實現。此外，提升方案還能實現非線性變換，使得變換后的小波系數更能準確表達原始圖像的特征。本專利技術提供的基于提升方案學習的特征能夠很好保留圖像的信息，通過在提升方案中引入非線性擴大了特征提取模塊的函數空間、增強了特征的信息表征能力，從而提高了圖像分類的準確率。本專利技術方法將提升方案作為特征提取器，為神經網絡帶來了整數變換、原位變換等優良特性，為神經網絡在FPGA等硬件上的實現方式提供進一步研究的基礎。
技術實現思路
本專利技術目的在于結合提升方案和卷積神經網絡的優點，利用提升方案的特有優勢改進基于卷積的神經網絡模型。在神經網絡中引入提升方案以取代卷積層作為新的特征提取器，一方面為神經網絡帶來了整數變換、運算加速、無需輔存等優點，另一方面非線性提升方案算子的引入增強了特征的表達能力，能夠更好地保留圖像的原始信息，在數字圖像和遙感圖像的分類準確率上均有提升。本專利技術的技術方案為一種基于提升方案深度神經網絡用于數字圖像和遙感圖像的分類方法，包括以下步驟：步驟1，準備待分類圖像數據集，實現方式如下：準備一個含有M張圖像的數據集D，將數據集D分成兩個不重疊的子數據集Dtrain,Dtest，分別用于訓練和測試，所有數據集圖像的大小為n×n像素；步驟2，以提升方案模塊為基礎構建特征提取基本模塊，然后構建基于提升方案的深度神經網絡，具體實現方式如下，其中特征提取基本模塊用于實現原圖像的特征提取和降采樣，包含以下子步驟：步驟2.1，將原圖像輸入3×3卷積層實現通道數變換和降采樣；步驟2.2，批歸一化處理和ReLU激活；步驟2.3，經過非線性提升方案模塊進行特征提取；步驟2.4，批歸一化處理和ReLU激活；步驟2.5，使用一層1×1卷積層增強通道間的聯系表示；步驟2.6，輸入圖像的恒等映射與上述步驟的輸出進行短徑連接；步驟2.7，使用ReLU激活；其中，提升方案模塊的處理包括以下3個步驟：(1)分裂：將原圖像x逐行分為兩個圖像子集合，記為xe和xo，其處理公式為xe[i,j]＝x[i,j],xo[i]＝x[i+1,j+1]其中x[i,j]表示圖像x中第i行、第j列的元素；(1)(2)預測：利用xe來預測xo，其處理公式為xo＝xo-N{Pconv(xe)}(2)式(2)中，Pconv(·)表示預測步驟中的普通卷積運算，N{·}表示預測步驟中的非線性函數；(3)更新：利用步驟(2)中得到的xo來更新xe，其處理公式為xe＝xe-M{Uconv(xo)}(3)式(3)中，Uconv(·)表示更新步驟中的普通卷積運算，M{·}表示更新步驟中的非線性函數；構建基于提升方案的深度神經網絡，該網絡的具體結構如下：輸入層：輸入數據為n×n像素的圖像；LS1：該層為提升方案模塊；C1：該層為卷積層；M1：該層為3個特征提取基本模塊的堆疊；M2：該層為4個特征提取基本模塊的堆疊；M3：該層為6個特征提取基本模塊的堆疊；M4：該層為3個特征提取基本模塊的堆疊；F1：該層為全連接層；P：該層為平均池化層；輸出層：由30個歐氏徑向基函數構成；步驟3，將訓練數據集Dtrain輸入到基于提升方案的深度神經網絡中，對該網絡進行訓練；步驟4，利用訓練好的網絡對測試數據集Dtest進行分類。進一步的，步驟4中通過誤差敏感項的反向傳播和隨機梯度算法進行訓練。進一步的，LS1中預測步驟和更新步驟中卷積層的卷積核大小為3×3，卷積深度為3。進一步的，M1中特征提取基本模塊中的3×3卷積層步長為1，卷積深度為64，1×1卷積層的卷積深度為64，提升方案模塊中預測步驟和更新步驟卷積層的核尺寸為3×3，卷積深度為64。進一步的，M2中第1個特征提取基本模塊中的3×3卷積層步長為2，其余3個特征提取基本模塊中的3×3卷積層步長為1，卷積深度為128，1×1卷積層的卷積深度為128，提升方案模塊中預測步驟和更新步驟卷積層的核尺寸為3×3，卷積深度為128。進一步的，M3中第1個特征提取基本模塊中的3×3卷積層步長為2，其余5個特征提取模塊中的3×3卷積層步長為1，卷積深度為256，1×1卷積層的卷積深度為256，提升方案模塊中預測步驟和更新步驟卷積層的核尺寸為3×3，卷積深度為256。進一步的，M4中第1個特征提取基本模塊中的3×3卷積層步長為2，其余2個特征提取模塊中的3×3卷積層步長為1，卷積深度為512，1×1卷積層的卷積深度為512，提升方案模塊中預測步驟和更新步驟卷積層的核尺寸為3×3，卷積深度為512。本專利技術的提升方案深度神經網絡基于提升方案可以向下兼容卷積運算的事實，將提升方案可實現的固定有限小波基底推廣到可變任意的濾波器基底，將提升方案作為特征提取模塊嵌入神經網絡中。通過在提升方案模塊中使用非線性的預測算子和更新算子，同時結合神經網絡的學習能力使得預測算子和更新算子不斷迭代更新，學習出具有自適應、數據依賴性的非線性特征提取器。本專利技術提出一種基于提升方案的深度神經網絡用于圖像分類的方法，通過非線性變換學習圖像信息，適用于數字圖像和遙感圖像的識別。附圖說明圖1本專利技術實施例的提升方案模塊原理說明圖。圖2本專利技術實施例的特征提取基本模塊原理說明圖。圖3本專利技術實施例的基于提升方案的本文檔來自技高網...

【技術保護點】
1.基于提升方案深度神經網絡的圖像分類方法，其特征在于，包括如下步驟：/n步驟1，準備待分類圖像數據集，實現方式如下：/n準備一個含有M張圖像的數據集D，將數據集D分成兩個不重疊的子數據集D

【技術特征摘要】
1.基于提升方案深度神經網絡的圖像分類方法，其特征在于，包括如下步驟：
步驟1，準備待分類圖像數據集，實現方式如下：
準備一個含有M張圖像的數據集D，將數據集D分成兩個不重疊的子數據集Dtrain,Dtest，分別用于訓練和測試，所有數據集圖像的大小為n×n像素；
步驟2，以提升方案模塊為基礎構建特征提取基本模塊，然后構建基于提升方案的深度神經網絡，具體實現方式如下，
其中特征提取基本模塊用于實現原圖像的特征提取和降采樣，包含以下子步驟：
步驟2.1，將原圖像輸入3×3卷積層實現通道數變換和降采樣；
步驟2.2，批歸一化處理和ReLU激活；
步驟2.3，經過非線性提升方案模塊進行特征提取；
步驟2.4，批歸一化處理和ReLU激活；
步驟2.5，使用一層1×1卷積層增強通道間的聯系表示；
步驟2.6，輸入圖像的恒等映射與上述步驟的輸出進行短徑連接；
步驟2.7，使用ReLU激活；
其中，提升方案模塊的處理包括以下3個步驟：
(1)分裂：將原圖像x逐行分為兩個圖像子集合，記為xe和xo，其處理公式為
xe[i,j]＝x[i,j],xo[i]＝x[i+1,j+1]
其中x[i,j]表示圖像x中第i行、第j列的元素；(1)
(2)預測：利用xe來預測xo，其處理公式為
xo＝xo-N{Pconv(xe)}(2)
式(2)中，Pconv(·)表示預測步驟中的普通卷積運算，N{·}表示預測步驟中的非線性函數；
(3)更新：利用步驟(2)中得到的xo來更新xe，其處理公式為
xe＝xe-M{Uconv(xo)}(3)
式(3)中，Uconv(·)表示更新步驟中的普通卷積運算，M{·}表示更新步驟中的非線性函數；
構建基于提升方案的深度神經網絡，該網絡的具體結構如下：
輸入層：輸入數據為n×n像素的圖像；
LS1：該層為提升方案模塊；
C1：該層為卷積層；
M1：該層為3個特征提取基本模塊的堆疊；
M2：該層為4個特征提取基本模塊的堆疊；
M3：該層為6個特征提取基本模塊的堆疊；<...

【專利技術屬性】
技術研發人員：何楚，石紫珊，何博琨，張清怡，
申請(專利權)人：武漢大學，
類型：發明
國別省市：湖北;42