用于構(gòu)建魯棒的深度卷積神經(jīng)網(wǎng)絡(luò)的濾波器重用機制制造技術(shù)

一種裝置和方法，該方法包括：針對卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層，基于將被評估的圖像的區(qū)域和來自第一卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖(406)；針對卷積神經(jīng)網(wǎng)絡(luò)的一個或多個后續(xù)卷積層，基于先前卷積層的特征圖、針對先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對后續(xù)卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖(408)；以及基于第一卷積層和一個或多個后續(xù)卷積層的所生成的特征圖來在圖像的區(qū)域中檢測感興趣的對象的存在(410)。

Filter reuse mechanism for constructing robust deep convolution neural network

A device and method include: for the first convolution layer of convolution neural network, a feature map (406) is generated based on the region of the image to be evaluated and the learned filter from the first convolution layer; for one or more subsequent convolution layers of convolution neural network, a feature map based on the previous convolution layer, a learned filter for the previous convolution layer and a needle The learned filter for the subsequent convolution layer generates a feature map (408); and detects the presence of objects of interest in an area of the image based on the generated feature map of the first convolution layer and one or more subsequent convolutions (410).

【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】用于構(gòu)建魯棒的深度卷積神經(jīng)網(wǎng)絡(luò)的濾波器重用機制
本公開涉及神經(jīng)網(wǎng)絡(luò)，并且更具體地，涉及用于卷積神經(jīng)網(wǎng)絡(luò)的濾波機制。
技術(shù)介紹
對象識別是計算機視覺領(lǐng)域中的重要組成部分。在過去的幾年中，深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)已經(jīng)被用于促進目標識別。深度卷積神經(jīng)網(wǎng)絡(luò)的強大之處在于其能夠?qū)W習(xí)特征的層級的事實。在G.Huang，Z.Liu，Q.Weinberge：DenselyConnectedConvolutionalNetworks，CoRR，abs/1608.06993(2016)(以下簡稱“Huang”)中描述了CNN架構(gòu)的示例。在Huang中，提出了CNN架構(gòu)，其在神經(jīng)網(wǎng)絡(luò)中的塊的所有層內(nèi)引入了直接連接。即，在一個塊中，每層以前饋方式直接連接到每個其他層。一個塊通常包括不具有下采樣操作的若干層。針對每一層，所有在先前層的特征圖都被視為單獨的輸入，而其自身的特征圖作為對所有后續(xù)層的輸入被持續(xù)傳遞。核心思想是重用前面的層中所生成的特征圖。然而，這些特征圖本身不會為神經(jīng)網(wǎng)絡(luò)帶來新的信息。
技術(shù)實現(xiàn)思路
因此，本公開提供一種裝置和方法，以針對卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層，基于將被評估的圖像的區(qū)域和來自第一卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖，針對卷積神經(jīng)網(wǎng)絡(luò)的在第一卷積層之后的一個或多個后續(xù)卷積層生成特征圖，以及基于第一卷積層和一個或多個后續(xù)卷積層的所生成的特征圖來在圖像的區(qū)域中檢測感興趣的對象的存在。每個后續(xù)卷積層基于先前卷積層的特征圖、針對先前卷積層的經(jīng)學(xué)習(xí)的濾波器和針對后續(xù)卷積層的經(jīng)學(xué)習(xí)的濾波器而被生成。裝置和方法可以進一步被配置以接收從圖像感測設(shè)備所捕獲的圖像，和/或在對象被檢測到的情況下啟動告警。此外，卷積神經(jīng)網(wǎng)絡(luò)可以被應(yīng)用于圖像的每個區(qū)域，以檢測對象是否存在于圖像的區(qū)域中的任何區(qū)域中。裝置和方法還可以被配置以在訓(xùn)練階段(或時期)期間使用一個或多個訓(xùn)練圖像來針對卷積神經(jīng)網(wǎng)絡(luò)的每個卷積層學(xué)習(xí)濾波器。為了學(xué)習(xí)濾波器，裝置和方法可以被配置以針對卷積神經(jīng)網(wǎng)絡(luò)的卷積層初始化濾波器，使用前向傳播來針對每個卷積層生成特征圖，基于所生成的特征圖以及針對每個類別和相應(yīng)標簽的得分使用損失函數(shù)來計算損失，以及在所計算的損失已經(jīng)減少的情況下使用后向傳播來針對卷積層更新濾波器。第一卷積層之后的每個后續(xù)卷積層基于先前卷積層的特征圖、針對先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對后續(xù)卷積層的濾波器而被生成。裝置和方法可以被配置以重復(fù)計算特征圖、計算損失以及更新濾波器的操作，直到在所計算的損失不再減少時卷積神經(jīng)網(wǎng)絡(luò)收斂為止。在裝置和方法中，兩個圖特征可以針對一個或多個后續(xù)卷積層中的每個卷積層被生成。此外，針對第一卷積層生成特征圖、針對一個或多個后續(xù)卷積層生成特征圖以及檢測對象的存在的操作在測試階段被執(zhí)行。為了在圖像的區(qū)域中檢測對象的存在，裝置和方法可以被配置以從卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用獲得針對區(qū)域的得分，以及將針對區(qū)域的得分與閾值的值比較。如果針對區(qū)域的得分大于閾值的值，則對象在區(qū)域中被檢測到。附圖說明各種示例實施例的描述結(jié)合附圖被說明，在附圖中：圖1圖示了根據(jù)本公開的實施例的用于使用具有濾波器重用(或共享)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)來檢測對象的存在或不存在的示例系統(tǒng)的框圖；圖2圖示了根據(jù)本公開的另一實施例的用于使用具有濾波器重用(或共享)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)來檢測對象的存在或不存在的示例系統(tǒng)的框圖；圖3是根據(jù)本公開的實施例的卷積神經(jīng)網(wǎng)絡(luò)的示例架構(gòu)，該卷積神經(jīng)網(wǎng)絡(luò)在后續(xù)卷積層中重用來自先前卷積層的濾波器；圖4是示出本公開的實施例的示例過程的流程圖，諸如例如圖1或圖2中的系統(tǒng)被配置以通過該示例過程來使用卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)訓(xùn)練和/或測試階段；圖5是示出根據(jù)本公開的實施例的示例過程的流程圖，諸如例如圖1或圖2中的系統(tǒng)被配置以通過該示例過程來實現(xiàn)用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段；圖6是示出根據(jù)本公開的實施例的示例過程的流程圖，諸如例如圖1或圖2中的系統(tǒng)被配置以通過該示例過程來使用經(jīng)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)用于評估圖像或其區(qū)域的測試階段；以及圖7是示出根據(jù)本公開的示例實施例的示例檢測過程的流程圖，諸如例如圖1或圖2中的系統(tǒng)被配置以通過該示例檢測過程來使用卷積神經(jīng)網(wǎng)絡(luò)來檢測諸如對象的特征的存在(或不存在)。具體實施方式根據(jù)各種示例實施例，提供了一種裝置和方法，其采用具有濾波重用機制的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)來分析圖像或其區(qū)域，并且檢測感興趣的(多個)對象的存在(或不存在)。CNN被配置以重用來自先前(例如，前面的或較早的)卷積層的濾波器，以計算后續(xù)卷積層中的圖特征。以此方式，濾波器可以被充分地使用或共享，使得特征表示的能力被顯著增強，從而顯著改進所得深度CNN的識別準確性。與簡單地重用先前特征圖的其他方式相比，具有濾波器重用的本CNN方法還可以利用從先前卷積層獲得的信息(例如，濾波器)，并且在當(dāng)前卷積層中生成新的信息(例如，特征圖)。此外，由于每個當(dāng)前卷積層都重用先前卷積層的濾波器，因此這種CNN的架構(gòu)可以減少參數(shù)的數(shù)目。因此，這種配置可以解決由使用太多參數(shù)所導(dǎo)致的過擬合問題。本公開的裝置和方法可以在對象識別系統(tǒng)中被采用，諸如例如采用相機或其他傳感器的視頻監(jiān)控系統(tǒng)。例如，相機可以捕獲相同場景的若干多視圖圖像，諸如360度圖像。視頻監(jiān)控的任務(wù)是從多視圖圖像中檢測一個或多個感興趣的對象(例如，行人、動物或其他對象)，然后向用戶提供警報或通知(例如，告警或警告)。因為相機系統(tǒng)可以被提供以捕獲360度圖像，所以視頻監(jiān)控系統(tǒng)可以潛在地檢測場景或環(huán)境中出現(xiàn)的所有感興趣的對象。在這種監(jiān)控系統(tǒng)中，每個相機(或相機子系統(tǒng))可以被配置以執(zhí)行對象檢測。例如，使用具有濾波器重用的CNN的視頻監(jiān)控系統(tǒng)的操作可以涉及以下內(nèi)容。系統(tǒng)的每個相機捕獲圖像。針對所捕獲的圖像的每個區(qū)域，具有濾波器重用的CNN可以例如被采用以在CNN的響應(yīng)大于預(yù)定義的閾值的情況下將該區(qū)域分類為感興趣的對象，并且在CNN的響應(yīng)等于或小于閾值的情況下將該區(qū)域分類為背景(例如，非對象)。如本文所述，對象檢測過程可以涉及訓(xùn)練階段和測試階段。訓(xùn)練階段的目標是設(shè)計或配置具有濾波器重用的CNN的結(jié)構(gòu)，并且學(xué)習(xí)CNN的參數(shù)(即，濾波器)。在訓(xùn)練階段，使用訓(xùn)練圖像作為輸入來訓(xùn)練CNN以檢測(多個)特定對象的存在(或不存在)。例如，后向傳播可以被用于學(xué)習(xí)或配置CNN的參數(shù)(諸如濾波器)以檢測對象的存在(或不存在)。訓(xùn)練圖像可以包括(多個)感興趣的對象的示例圖像、(多個)背景的示例圖像以及圖像中可能存在的其他方面。在測試階段，具有濾波器重用的經(jīng)訓(xùn)練的CNN可以被應(yīng)用于將被測試的圖像(例如，輸入圖像或測試圖像)以檢測(多個)特定對象的存在(或不存在)。利用經(jīng)訓(xùn)練的深度CNN的結(jié)構(gòu)和參數(shù)，測試階段的目標是通過將區(qū)域作為經(jīng)訓(xùn)練的CNN的輸入來對圖像的每個區(qū)域分類。區(qū)域被分類為感興趣的對象或背景。例如，如果分類判決是感興趣的對象，則系統(tǒng)例如生成警報或通知(例如，以語音或消息形式的警報信號)，其可以立即經(jīng)由網(wǎng)絡(luò)連接(例如，互聯(lián)網(wǎng))或其本文檔來自技高網(wǎng)...

【技術(shù)保護點】
1.一種計算機實現(xiàn)的方法，包括：/n配置以針對卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層，基于將被評估的圖像的區(qū)域和來自所述第一卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖；/n配置以針對所述卷積神經(jīng)網(wǎng)絡(luò)的一個或多個后續(xù)卷積層生成特征圖，每個后續(xù)卷積層基于先前卷積層的所述特征圖、針對所述先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對所述后續(xù)卷積層的經(jīng)學(xué)習(xí)的濾波器而被生成；以及/n配置以基于所述第一卷積層和所述一個或多個后續(xù)卷積層的所生成的特征圖來在所述圖像的所述區(qū)域中檢測感興趣的對象的存在。/n

【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種計算機實現(xiàn)的方法，包括：
配置以針對卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層，基于將被評估的圖像的區(qū)域和來自所述第一卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖；
配置以針對所述卷積神經(jīng)網(wǎng)絡(luò)的一個或多個后續(xù)卷積層生成特征圖，每個后續(xù)卷積層基于先前卷積層的所述特征圖、針對所述先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對所述后續(xù)卷積層的經(jīng)學(xué)習(xí)的濾波器而被生成；以及
配置以基于所述第一卷積層和所述一個或多個后續(xù)卷積層的所生成的特征圖來在所述圖像的所述區(qū)域中檢測感興趣的對象的存在。


2.根據(jù)權(quán)利要求1所述的方法，進一步包括：
配置以接收從圖像感測設(shè)備所捕獲的所述圖像。


3.根據(jù)權(quán)利要求1和2中任一項所述的方法，進一步包括：
配置以在訓(xùn)練階段期間使用一個或多個訓(xùn)練圖像來針對所述卷積神經(jīng)網(wǎng)絡(luò)的每個卷積層學(xué)習(xí)濾波器。


4.根據(jù)權(quán)利要求3所述的方法，其中所述配置以學(xué)習(xí)濾波器包括：
配置以針對所述卷積神經(jīng)網(wǎng)絡(luò)的所述卷積層初始化濾波器；
配置以使用前向傳播來針對每個卷積層生成特征圖，所述第一卷積層之后的每個后續(xù)卷積層基于先前卷積層的所述特征圖、針對所述先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對所述后續(xù)卷積層的濾波器而被生成；
配置以基于所述所生成的特征圖和針對每個類別和相應(yīng)標簽的得分使用損失函數(shù)來計算損失；以及
配置以在所計算的損失已經(jīng)減少的情況下使用后向傳播來針對所述卷積層更新所述濾波器，
其中所述配置以計算特征圖、所述配置以計算損失以及所述配置以更新所述濾波器被重復(fù)，直到在所計算的損失不再減小時所述卷積神經(jīng)網(wǎng)絡(luò)收斂為止。


5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其中兩個圖特征針對所述一個或多個后續(xù)卷積層中的每個后續(xù)卷積層被生成。


6.根據(jù)權(quán)利要求5所述的方法，進一步包括：
針對所述一個或多個后續(xù)卷積層中的每個后續(xù)卷積層級聯(lián)所述兩個圖特征。


7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中所述配置以針對第一卷積層生成特征圖、所述配置以針對一個或多個后續(xù)卷積層生成特征圖以及所述配置以檢測對象的存在在測試階段被執(zhí)行。


8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其中所述配置以檢測包括：
配置以從所述卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用獲得針對所述區(qū)域的得分；以及
配置以將針對所述區(qū)域的所述得分與閾值的值比較，
其中如果針對所述區(qū)域的所述得分大于所述閾值的值，則所述對象在所述區(qū)域中被檢測到。


9.根據(jù)權(quán)利要求1至8中任一項所述的方法，進一步包括：
配置以在所述對象被檢測到的情況下啟動告警。


10.根據(jù)權(quán)利要求1至9中任一項所述的方法，其中所述卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用于所述圖像的每個區(qū)域，以檢測所述對象是否存在于所述圖像的所述區(qū)域中的任何區(qū)域中。


11.一種包括用于執(zhí)行根據(jù)權(quán)利要求1至10中任一項所述的方法的部件的裝置。


12.一種包括計算機代碼指令的計算機程序產(chǎn)品，所述計算機代碼指令在由至少一個處理器執(zhí)行時，使裝置至少執(zhí)行根據(jù)權(quán)利要求1至10中任一項所述的方法。


13.一種裝置，包括：
存儲器，以及
一個或多個處理器，被配置以：
針對卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層，基于將被評估的圖像的區(qū)域和來自第一卷積層的經(jīng)學(xué)習(xí)的濾波器來生成特征圖；
針對所述卷積神經(jīng)網(wǎng)絡(luò)的一個或多個后續(xù)卷積層生成特征圖，每個后續(xù)卷積層基于先前卷積層的所述特征圖、針對所述先前卷積層的經(jīng)學(xué)習(xí)的濾波器以及針對所述后續(xù)卷積層的經(jīng)學(xué)習(xí)的濾波器而被生成；以及
基于所述第一卷積層和所述一個或多個后續(xù)卷積層的所生成的特征圖來在所述圖像的所述區(qū)域中檢測感興趣的對象的存在。


14.根據(jù)權(quán)利要求13所述的裝置，其中所述一個或多個處理器進一步被配置以接收從圖像感測設(shè)備所捕獲的所述圖像。


15.根據(jù)權(quán)利要求13和14中任一...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：姜曉恒，
申請(專利權(quán))人：諾基亞技術(shù)有限公司，
類型：發(fā)明
國別省市：芬蘭;FI