基于對抗網(wǎng)絡(luò)的圖像顯著性檢測方法技術(shù)

本發(fā)明專利技術(shù)公開了一種利用對抗訓(xùn)練來生成卷積神經(jīng)網(wǎng)絡(luò)模型的圖像顯著性檢測方法，屬于計算機(jī)視覺與圖像處理領(lǐng)域。所述方法包括數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)、選取合適的參數(shù)、使用隨機(jī)梯度下降法與沖量單元進(jìn)行訓(xùn)練，數(shù)據(jù)預(yù)處理是對收集到的大量數(shù)據(jù)及標(biāo)簽進(jìn)行預(yù)處理，網(wǎng)絡(luò)結(jié)構(gòu)是設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)及具體核函數(shù)，選取合適的參數(shù)包括學(xué)習(xí)速率、動量因子及每次塞入網(wǎng)絡(luò)的圖像數(shù)目，使用隨機(jī)梯度下降法與沖量單元進(jìn)行訓(xùn)練來減小網(wǎng)絡(luò)過擬合的可能性，利用本發(fā)明專利技術(shù)能夠更準(zhǔn)確地獲取顯著性圖。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及計算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，特別是涉及一種基于對抗網(wǎng)絡(luò)的圖像顯著性檢測方法。
技術(shù)介紹
顯著性預(yù)測，是一種預(yù)測靜態(tài)自然圖像中人眼注視位置的過程。圖像顯著性預(yù)測的結(jié)果被廣泛應(yīng)用于計算機(jī)視覺領(lǐng)域，包括自動圖像分割、目標(biāo)識別、高效圖像縮略和圖像檢索等，是很重要的圖像預(yù)處理步驟。傳統(tǒng)的手動選取特征的方法大致可以分成三個步驟：前期特征提取，特征差異推斷，以及特征差異結(jié)合。顯著性預(yù)測是一種自底向上的方法，受到最低層的特征所驅(qū)使。而隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)驅(qū)動的學(xué)習(xí)方法越來越多地出現(xiàn)在人們視野中。深度學(xué)習(xí)的方法也一再刷新各領(lǐng)域最高紀(jì)錄。目前對抗訓(xùn)練主要用于生成對抗網(wǎng)絡(luò)，其中包含生成器和鑒別器。生成器用來產(chǎn)生對抗樣本，鑒別器同時使用原樣本和對抗樣本來進(jìn)行訓(xùn)練，生成器是將原樣本進(jìn)行混合生成的新樣本。生成器也不斷改進(jìn)生成方法，最終目的是生成鑒別器不能正確識別的對抗樣本。這個方法可用于生成類似自然圖像，在人臉圖像和房間圖像中均有應(yīng)用，可節(jié)約成本。對抗訓(xùn)練最早出現(xiàn)是為了解決深度學(xué)習(xí)對于對抗樣本的脆弱性。后來對抗訓(xùn)練被證明具有正則化的效果。將對抗訓(xùn)練用于生成卷積神經(jīng)網(wǎng)絡(luò)檢測圖像顯著性是亟待解決的問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)目的就是為解決利用對抗訓(xùn)練生成卷積神經(jīng)網(wǎng)絡(luò)檢測圖像顯著性的方法問題。本專利技術(shù)的技術(shù)問題通過以下的技術(shù)方案予以解決：一種利用對抗訓(xùn)練的圖像顯著性檢驗(yàn)方法，包括：A1：數(shù)據(jù)預(yù)處理：對收集到的圖像及標(biāo)簽進(jìn)行預(yù)處理，得到圖像數(shù)據(jù)；A2：設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及具體核函數(shù)；A3：選取合適的參數(shù)；A4：使用對抗訓(xùn)練來減小卷積神經(jīng)網(wǎng)絡(luò)模型過擬合的可能性，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型；A5：將所述圖像數(shù)據(jù)輸入到所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型后，得到顯著圖。根據(jù)本專利技術(shù)的另一個具體方面，A1中的數(shù)據(jù)預(yù)處理是指將輸入的介于0-255之間的圖像的初始像素值除以255，從而得到0-1之間的圖像數(shù)據(jù)；然后將圖像數(shù)據(jù)進(jìn)行下采樣至圖像原始高度及原始寬度的一半大小。根據(jù)本專利技術(shù)的另一個具體方面，A2中卷積神經(jīng)網(wǎng)絡(luò)模型CNN包含9層，其中8個卷積層、1個反卷積層；在每個所述卷積層中設(shè)置卷積層的卷積核大小和卷積步長，設(shè)置卷積神經(jīng)網(wǎng)絡(luò)模型的過程是最小化預(yù)測顯著圖與真值之間歐氏距離的損失函數(shù)的過程。根據(jù)本專利技術(shù)的另一個具體方面，所述卷積是所述卷積核對所述圖像數(shù)據(jù)進(jìn)行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數(shù)據(jù)進(jìn)行操作的時候?qū)υ紙D像數(shù)據(jù)做卷積時候滑動像素的大小；使用卷積步長為2的卷積實(shí)現(xiàn)降低圖像分辨率，有效控制擬合。根據(jù)本專利技術(shù)的另一個具體方面，所述顯著圖是指由輸入原始圖像數(shù)據(jù)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)模型后得到的矩陣，所述真值為相對應(yīng)于原始圖像數(shù)據(jù)的標(biāo)簽，所述顯著圖中每個像素點(diǎn)都具有各自的值。根據(jù)本專利技術(shù)的另一個具體方面，每層采用ReLU函數(shù)作為激活函數(shù)。根據(jù)本專利技術(shù)的另一個具體方面，進(jìn)行權(quán)重衰減限制搜尋范圍，反復(fù)進(jìn)行權(quán)重衰減逐漸縮小搜索范圍，最終找到全局最優(yōu)解對應(yīng)的點(diǎn)，卷積神經(jīng)網(wǎng)絡(luò)模型收斂，其中每次衰減后搜尋點(diǎn)更加靠近最優(yōu)點(diǎn)所在的區(qū)域范圍。根據(jù)本專利技術(shù)的另一個具體方面，所述對抗訓(xùn)練是指將正常樣本和對抗樣本同時作用于卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；所述對抗樣本是指在正常樣本上加線性擾動得到的樣本，所述對抗訓(xùn)練能夠增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)模型的正則化，從而提高預(yù)測準(zhǔn)確率。根據(jù)本專利技術(shù)的另一個具體方面，所述線性擾動指由目標(biāo)函數(shù)對原始圖像求梯度所得到的矩陣，所述矩陣在長、寬、通道數(shù)方面和原始圖像矩陣在長、寬、通道數(shù)方面大小相同。根據(jù)本專利技術(shù)的另一個具體方面，采用線性擾動的方式生成所述對抗樣本，而所述對抗訓(xùn)練體現(xiàn)在對應(yīng)損失函數(shù)的不斷更新：J~(w,x,y)=αJ(w,x,y)+(1-α)J(w,x+σsign(▿xJ(w,x,y)))]]>其中：η為得到的擾動，y為網(wǎng)絡(luò)輸出，σ為正極小量，sign為取大于零的值，為求目標(biāo)函數(shù)對于輸入圖像x的梯度，α為控制對抗訓(xùn)練的小于1的參數(shù)。本專利技術(shù)與現(xiàn)有技術(shù)對比的有益效果是：在本專利技術(shù)中針對顯著性預(yù)測這個特定問題，卷積神經(jīng)網(wǎng)絡(luò)要實(shí)現(xiàn)的是一個回歸問題，使得生成的顯著圖中每個像素點(diǎn)都有各自的值，利用對抗訓(xùn)練的泛化能力來實(shí)現(xiàn)網(wǎng)絡(luò)正則化，從而提高預(yù)測過程準(zhǔn)確率。附圖說明圖1是本專利技術(shù)方法的流程圖具體實(shí)施方式本專利技術(shù)使用對抗訓(xùn)練對卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)正則化的功能，從而提高了使用神經(jīng)網(wǎng)絡(luò)預(yù)測時的準(zhǔn)確率。針對具體問題——顯著性預(yù)測，本專利技術(shù)提出一種基于數(shù)據(jù)驅(qū)動的回歸方法。學(xué)習(xí)過程可以被描述為最小化顯著圖與真值之間歐氏距離的代價函數(shù)。為了避免取到局部極小值，本專利技術(shù)使用較小的批大小—2，雖然收斂較慢，但效果更好。訓(xùn)練過程中使用隨機(jī)梯度下降法和沖量單元相結(jié)合的方式，有助于訓(xùn)練過程中逃離局部最小值，使網(wǎng)絡(luò)能夠更快速地收斂。學(xué)習(xí)速率逐漸降低，保證在尋找最小值的過程中不過步幅過大而跳過最優(yōu)解。如圖1所示，本專利技術(shù)所提出的一種利用對抗訓(xùn)練來生成卷積神經(jīng)網(wǎng)絡(luò)模型的圖像顯著性檢驗(yàn)方法，所述方法如下：A1：數(shù)據(jù)預(yù)處理：由于深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動的方法，故在收集到大量數(shù)據(jù)及標(biāo)簽的基礎(chǔ)上最重要的就是將它們進(jìn)行預(yù)處理為輸入網(wǎng)絡(luò)做好準(zhǔn)備；A2：網(wǎng)絡(luò)結(jié)構(gòu)：所設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)(CNN)包含9層，其中8個卷積層、1個反卷積層。在卷積層中使用步長為2的卷積從而使得圖像分辨率下降。該學(xué)習(xí)過程被描述為最小化預(yù)測顯著圖與真值之間歐氏距離的損失函數(shù)的過程；A3：選取合適的參數(shù)，包括學(xué)習(xí)速率、動量因子及每次塞入網(wǎng)絡(luò)的圖像數(shù)目。顯著圖中像素點(diǎn)的大小屬于0到1之間，故屬于回歸問題而非分類問題；A4：使用隨機(jī)梯度下降法(SGD)+沖量單元進(jìn)行訓(xùn)練，從而尋找到全局最小值。使用對抗訓(xùn)練(生成對抗樣本，并使用對抗樣本來訓(xùn)練網(wǎng)絡(luò))來減小網(wǎng)絡(luò)過擬合的可能性。沒有使用全連接層。A5：將所述圖像數(shù)據(jù)輸入到所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型后，得到顯著圖。在具體的實(shí)施方案中，可按下面方式操作。A1：對訓(xùn)練集圖像進(jìn)行預(yù)處理，每幅圖像的像素值分別除以255，得到像素值0-1之間的圖像。然后對圖像進(jìn)行下采樣，生成寬和高分別減半的圖像。數(shù)據(jù)集是顯著性預(yù)測領(lǐng)域近年來應(yīng)用廣泛的SALICON和iSUN。SALICON是根據(jù)鼠標(biāo)點(diǎn)擊來獲取的真值，而iSUN則是通過眾包的方式得到的真值；A2：由于該卷積神經(jīng)網(wǎng)絡(luò)層數(shù)比較多，為了節(jié)約內(nèi)存和控制過擬合，前兩層卷積都設(shè)為步長為2，即隔一個像素點(diǎn)進(jìn)行一次卷積，而所采用的卷積核大小都大于3，故實(shí)際上并不會造成信息損失。在每個所述卷積層中設(shè)置卷積層的卷積核大小和卷積步長，設(shè)置卷積神經(jīng)網(wǎng)絡(luò)模型的過程是最小化預(yù)測顯著圖與真值之間歐氏距離的損失函數(shù)的過程。所述卷積是所述卷積核對對所述圖像數(shù)據(jù)進(jìn)行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數(shù)據(jù)進(jìn)行操作的時候?qū)υ紙D像數(shù)據(jù)做卷積時候滑動像素的大小；所述顯著圖是指由輸入原始圖像數(shù)據(jù)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)模型后得到的矩陣，所述真值為相對應(yīng)于原始圖像數(shù)據(jù)的標(biāo)簽，所述顯著圖中每個像素點(diǎn)都具有各自的值。每層采用ReLU(RectifiedLinearUnits，調(diào)整線性單元)函數(shù)作為激活函數(shù)。A3：深度學(xué)習(xí)函數(shù)包選擇谷歌開發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)tensorflow。將原數(shù)據(jù)集里的圖像轉(zhuǎn)換成HDF5的數(shù)據(jù)存儲格式，HDF5是用于存儲和本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種利用對抗訓(xùn)練的圖像顯著性檢驗(yàn)方法，其特征在于，所述方法包括：A1：數(shù)據(jù)預(yù)處理：對收集到的圖像及標(biāo)簽進(jìn)行預(yù)處理，得到圖像數(shù)據(jù)；A2：設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及具體核函數(shù)；A3：選取合適的參數(shù)；A4：使用對抗訓(xùn)練來減小卷積神經(jīng)網(wǎng)絡(luò)模型過擬合的可能性，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型；A5：將所述圖像數(shù)據(jù)輸入到所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型后，得到顯著圖。

【技術(shù)特征摘要】
1.一種利用對抗訓(xùn)練的圖像顯著性檢驗(yàn)方法，其特征在于，所述方法包括：A1：數(shù)據(jù)預(yù)處理：對收集到的圖像及標(biāo)簽進(jìn)行預(yù)處理，得到圖像數(shù)據(jù)；A2：設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及具體核函數(shù)；A3：選取合適的參數(shù)；A4：使用對抗訓(xùn)練來減小卷積神經(jīng)網(wǎng)絡(luò)模型過擬合的可能性，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型；A5：將所述圖像數(shù)據(jù)輸入到所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型后，得到顯著圖。2.根據(jù)權(quán)利要求1所述圖像顯著性檢驗(yàn)方法，其特征在于，A1中的數(shù)據(jù)預(yù)處理是指將輸入的介于0-255之間的圖像的初始像素值除以255，從而得到0-1之間的圖像數(shù)據(jù)；然后將圖像數(shù)據(jù)進(jìn)行下采樣至圖像原始高度及原始寬度的一半大小。3.根據(jù)權(quán)利要求1所述圖像顯著性檢驗(yàn)方法，其特征在于，A2中卷積神經(jīng)網(wǎng)絡(luò)模型CNN包含9層，其中8個卷積層、1個反卷積層；在每個所述卷積層中設(shè)置卷積層的卷積核大小和卷積步長，設(shè)置卷積神經(jīng)網(wǎng)絡(luò)模型的過程是最小化預(yù)測顯著圖與真值之間歐氏距離的損失函數(shù)的過程。4.根據(jù)權(quán)利要求3所述圖像顯著性檢驗(yàn)方法，其特征在于，所述卷積是所述卷積核對所述圖像數(shù)據(jù)進(jìn)行操作的簡稱，所述卷積步長是所述卷積核在對所述圖像數(shù)據(jù)進(jìn)行操作的時候?qū)υ紙D像數(shù)據(jù)做卷積時候滑動像素的大小；使用卷積步長為2的卷積實(shí)現(xiàn)降低圖像分辨率，有效控制擬合。5.根據(jù)權(quán)利要求3所述圖像顯著性檢驗(yàn)方法，其特征在于，所述顯著圖是指由輸入原始圖像數(shù)據(jù)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)模型后得到的矩陣，所述真值為...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王好謙，閆冰，王興政，張永兵，戴瓊海，
申請(專利權(quán))人：深圳市未來媒體技術(shù)研究院，清華大學(xué)深圳研究生院，
類型：發(fā)明
國別省市：廣東;44