一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：首先利用3D卷積網(wǎng)絡(luò)（3D?ConvNet）提取短期時(shí)序特征；其次采用雙向長(zhǎng)短期記憶網(wǎng)（B?ConvLSTM）提取長(zhǎng)期時(shí)序特征；之后將提取到的短期時(shí)序特征和長(zhǎng)期時(shí)序特征進(jìn)行融合；最后通過融合結(jié)果反卷積得到顯著性圖。該模型結(jié)合了長(zhǎng)期和短期的時(shí)序特征，可以有效的保留視頻中顯著目標(biāo)的運(yùn)行信息，在二維視頻的顯著性預(yù)測(cè)實(shí)驗(yàn)結(jié)果證明，提出的模型可以獲得良好的檢測(cè)效果。

A two-dimensional video significance detection method based on long-term and short-term memory

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法
本專利技術(shù)涉及一種檢測(cè)二維視頻顯著性的視覺注意力檢測(cè)方法，屬于多媒體
，具體屬于數(shù)字圖像和數(shù)字視頻處理
，具體為一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法。
技術(shù)介紹
在視覺感知中視覺注意力是很重要的機(jī)理，它能夠迅速的在自然圖像中檢測(cè)出顯著信息，當(dāng)通過觀察自然圖像時(shí)，選擇性注意力會(huì)讓通過專注于一些具體的顯著信息，并且因?yàn)闃O限處理資源而忽略其他并不重要的信息。基本上視覺注意力方法可分為兩種：自底向上和自頂向下；自底向上處理是數(shù)據(jù)驅(qū)動(dòng)和任務(wù)獨(dú)立下的自動(dòng)顯著區(qū)域檢測(cè)，而自頂向下方法是涉及某些具體任務(wù)的認(rèn)知過程。顯著性檢測(cè)模型旨在預(yù)測(cè)人們?cè)趫?chǎng)景觀看期間注意視覺場(chǎng)景中的重要區(qū)域。已經(jīng)有許多針對(duì)各種視覺任務(wù)設(shè)計(jì)的顯著性預(yù)測(cè)方法，例如圖像分割，目標(biāo)檢測(cè)，視頻摘要，視頻壓縮等。大多數(shù)現(xiàn)有的顯著性檢測(cè)模型是針對(duì)靜止圖像設(shè)計(jì)的，而視頻顯著性檢測(cè)的研究由于復(fù)雜的運(yùn)動(dòng)特征提取而受到限制。傳統(tǒng)的顯著性檢測(cè)模型主要從兩方面著手，一是低級(jí)特征，如亮度，顏色，紋理和對(duì)比度；其次是語義信息，比如面部，人物和文本。然而，這些手工提取的方法無法綜合考慮各種因素。此外，手工提取特征的方式也比較耗時(shí)。早期視頻顯著性檢測(cè)模型是通過簡(jiǎn)單地?cái)U(kuò)展當(dāng)前靜態(tài)顯著性檢測(cè)模型和附加時(shí)間信息來設(shè)計(jì)的。由于采用光流的方式提取運(yùn)動(dòng)特征，它具有高計(jì)算復(fù)雜度，因此這些方法的適用性受到限制。對(duì)于這些視頻顯著性檢測(cè)模型，它們主要遵循兩個(gè)步驟：(1)從視頻序列中提取空間和時(shí)間信息以分別計(jì)算空間顯著圖和時(shí)間顯著圖；(2)通過融合策略結(jié)合空間顯著圖和時(shí)間顯著圖來計(jì)算最終時(shí)空顯著圖。Itti等人早期介紹了一種提取靜態(tài)圖像顯著性的方法，通過使用多尺度中心環(huán)繞機(jī)制以及強(qiáng)度、顏色和方向的對(duì)比度來預(yù)測(cè)顯著性。Li等人通過利用區(qū)域特征和圖像細(xì)節(jié)，設(shè)計(jì)了一種自下而上的顯著性方法，并優(yōu)化了圖像邊界以提供更準(zhǔn)確的顯著性結(jié)果。Sun等人使用馬爾可夫吸收概率建立顯著性檢測(cè)模型，除了常見的亮度、紋理、顏色、方向等低級(jí)特征外，還包括圖像邊界信息等信息。Zhu等人提出了邊界連通性概念，其表示圖像區(qū)域到圖像邊界的空間布局。與靜態(tài)圖像的顯著性相比，視頻顯著性預(yù)測(cè)必須考慮視頻序列中的運(yùn)動(dòng)信息。Mahadevan等人通過結(jié)合感知運(yùn)動(dòng)分組和中心環(huán)繞機(jī)制，設(shè)計(jì)了一種時(shí)空顯著性檢測(cè)方法。Liu等人提出了一種基于超像素的時(shí)空顯著性預(yù)測(cè)模型。Leboran等人假設(shè)知覺特征可以用高階統(tǒng)計(jì)結(jié)構(gòu)表示，從而設(shè)計(jì)了顯著性檢測(cè)模型。Fang等人提出了一種通過不確定性加權(quán)來融合空間顯著性和時(shí)間顯著性的視頻序列顯著性方法。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，已經(jīng)有許多研究通過深度學(xué)習(xí)來建立靜態(tài)圖像的顯著性檢測(cè)模型。這些圖像顯著性檢測(cè)模型已被證明在顯著區(qū)域提取上是有效的。視頻序列的顯著性與靜態(tài)圖像的顯著性相比，由于復(fù)雜的時(shí)間信息，預(yù)測(cè)更具挑戰(zhàn)性。Tran等人通過利用三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)來學(xué)習(xí)視頻序列的時(shí)空特征，從而引入了3DConvNet。大多數(shù)基于深度學(xué)習(xí)的視頻顯著性研究沒有考慮長(zhǎng)期時(shí)間信息。為了克服上述所說的這些缺點(diǎn)，通過設(shè)計(jì)了一種新的深度視頻顯著性檢測(cè)網(wǎng)絡(luò)(DevsNet)，通過設(shè)計(jì)新的3D卷積網(wǎng)絡(luò)(3D-ConvNet)和雙向卷積長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)進(jìn)行時(shí)空顯著性預(yù)測(cè)。步驟如下：首先構(gòu)建3D卷積網(wǎng)絡(luò)(3D-ConvNet)以提取短期時(shí)序特征，其次利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)來獲得長(zhǎng)期時(shí)序特征。通過結(jié)合短期和長(zhǎng)期時(shí)序特征來預(yù)測(cè)最終的顯著圖。總之，所提出的方法的主要貢獻(xiàn)如下：(1)通過設(shè)計(jì)了一種新的視頻顯著性檢測(cè)模型，分別利用3D卷積網(wǎng)絡(luò)(3D-ConvNet)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)來提取短期和長(zhǎng)期的時(shí)序特征。通過結(jié)合短期和長(zhǎng)期的時(shí)序特征，可以提高預(yù)測(cè)視頻顯著圖的性能。(2)通過設(shè)計(jì)了一種新的雙層雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)結(jié)構(gòu)，用于提取視頻顯著性檢測(cè)的長(zhǎng)期時(shí)序特征。所提出的B-ConvLSTM不僅可以從先前的視頻幀中提取時(shí)間信息，還可以從之后的視頻幀中提取時(shí)間信息，這表明所提出的網(wǎng)絡(luò)同時(shí)考慮了前向和后向時(shí)間特征。上述介紹到視覺注意力模型雖然有很多，但視覺注意力模型在二維視頻的研究上依然存在著局限性。所以需要在此領(lǐng)域提出新的方法，來改善二維視頻顯著性檢測(cè)性能。
技術(shù)實(shí)現(xiàn)思路
為了克服目前對(duì)于二維視頻的視覺注意力模型研究的局限性，本專利技術(shù)就二維視頻的視覺注意力模型提出了一種新的方法，提取的特征包含短期時(shí)序特征和長(zhǎng)期時(shí)序特征。其中分別利用3D卷積網(wǎng)絡(luò)(3D-ConvNet)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)來提取短期和長(zhǎng)期的時(shí)序特征；最后將得到的短期和長(zhǎng)期時(shí)序特征進(jìn)行融合并且反卷積得到最終的顯著圖。本專利技術(shù)涉及一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：首先利用3D卷積網(wǎng)絡(luò)(3D-ConvNet)提取短期時(shí)序特征；其次采用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)提取長(zhǎng)期時(shí)序特征；之后將提取到的短期時(shí)序特征和長(zhǎng)期時(shí)序特征進(jìn)行融合；最后通過融合結(jié)果反卷積得到顯著性圖。該模型結(jié)合了長(zhǎng)期和短期的時(shí)序特征，可以有效的保留視頻中顯著目標(biāo)的運(yùn)行信息，在二維視頻的顯著性預(yù)測(cè)實(shí)驗(yàn)結(jié)果證明，提出的模型可以獲得良好的檢測(cè)效果。本專利技術(shù)各個(gè)部分的具體操作如下：短期時(shí)序特征的提取：在這里，通過設(shè)計(jì)了一個(gè)3D卷積網(wǎng)絡(luò)(3D-ConvNet)來提取視頻短期時(shí)序特征，所有3D卷積層的內(nèi)核大小為3*3*3，每個(gè)Conv3D層的步幅和填充大小為1*1*1。在這三個(gè)層中使用卷積核的數(shù)量是16,32和64，卷積核的數(shù)量代表生成通道的多少；經(jīng)過每個(gè)池化層，視頻幀的分辨率大小和時(shí)間維度上縮小為原來的一半，這意味著3D卷積網(wǎng)絡(luò)只學(xué)習(xí)部分短期時(shí)空特征，正如通過之前提到的那樣。通過還應(yīng)用批量歸一化(BN)操作，通過減少內(nèi)部協(xié)變量偏移來加速深度網(wǎng)絡(luò)訓(xùn)練。長(zhǎng)期時(shí)序特征的提取：通過將全連接的LSTM(FC-LSTM)擴(kuò)展為卷積層，作為通過提出的長(zhǎng)短期記憶網(wǎng)絡(luò)(ConvLSTM)，并利用它來捕獲有效的時(shí)空信息，內(nèi)部結(jié)構(gòu)從輸入到狀態(tài)和狀態(tài)到狀態(tài)的轉(zhuǎn)換。在本專利技術(shù)中，通過通過采用一系列視頻幀作為網(wǎng)路的輸入來提取長(zhǎng)期時(shí)序特征，這些特征是通過預(yù)先訓(xùn)練的VGG16參數(shù)從原始視頻幀獲得的。本專利技術(shù)的有點(diǎn)和技術(shù)效果：本專利技術(shù)算法合理高效，提出了一種新穎的方法結(jié)合二維視頻中的短期時(shí)序特征和長(zhǎng)期時(shí)序特征。通過分別利用3D卷積網(wǎng)絡(luò)(3D-ConvNet)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)來提取短期和長(zhǎng)期的時(shí)序特征。通過結(jié)合短期和長(zhǎng)期的時(shí)序特征，可以提高預(yù)測(cè)視頻顯著圖的性能。本專利技術(shù)魯棒性高，評(píng)價(jià)指標(biāo)皆高于目前最好的算法，可擴(kuò)展性強(qiáng)。為了實(shí)現(xiàn)上述目的，本專利技術(shù)采用的技術(shù)方案為：一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于包括以下步驟：步驟1：提取二維視頻幀中的短期時(shí)序特征，利用3D卷積神經(jīng)網(wǎng)絡(luò)(3D-ConvNet)來提取；步驟2：提取二維視頻幀中的長(zhǎng)期時(shí)序特征，利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(B-ConvLSTM)來提取；步驟3：將提取的短期和長(zhǎng)期的時(shí)序特征進(jìn)行融合，并反卷積得到和輸入視頻幀分辨率大小一致的顯著圖。進(jìn)一步地，步驟1所述的二維視頻幀中的短期時(shí)序特征本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于，包括以下步驟：步驟1：提取二維視頻幀中的短期時(shí)序特征，利用3D卷積神經(jīng)網(wǎng)絡(luò)3D?ConvNet來提取；步驟2：提取二維視頻幀中的長(zhǎng)期時(shí)序特征，利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)B?ConvLSTM來提取；步驟3：將提取的短期和長(zhǎng)期的時(shí)序特征進(jìn)行融合，并反卷積得到和輸入視頻幀分辨率大小一致的顯著圖。

【技術(shù)特征摘要】
1.一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于，包括以下步驟：步驟1：提取二維視頻幀中的短期時(shí)序特征，利用3D卷積神經(jīng)網(wǎng)絡(luò)3D-ConvNet來提取；步驟2：提取二維視頻幀中的長(zhǎng)期時(shí)序特征，利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)B-ConvLSTM來提取；步驟3：將提取的短期和長(zhǎng)期的時(shí)序特征進(jìn)行融合，并反卷積得到和輸入視頻幀分辨率大小一致的顯著圖。2.根據(jù)權(quán)利要求1所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：步驟1所述的二維視頻幀中的短期時(shí)序特征包括運(yùn)動(dòng)信息。3.根據(jù)權(quán)利要求2所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：3D卷積網(wǎng)絡(luò)按照公式(1)來計(jì)算：hn＝σ(∑Wn*hn-1+bn)(1)其中Wn表示第n-1隱藏層的3D卷積核參數(shù)；hn-1代表第n-1隱藏層；bn代表相應(yīng)的偏置項(xiàng)；操作符‘*’代表卷積操作；σ代表激活函數(shù)。4.根據(jù)權(quán)利要求2所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：利用批量標(biāo)準(zhǔn)化BN算法來加速網(wǎng)路的訓(xùn)練，它的計(jì)算由公式(2)所示：其中E(x(k))和Var(x(k))分別代表第k批數(shù)據(jù)的期望和方差；代表標(biāo)準(zhǔn)化之后的結(jié)果。5.根據(jù)權(quán)利要求4所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：批量標(biāo)準(zhǔn)化BN算法之后，對(duì)于改變?cè)紨?shù)據(jù)的分布，采用公式(3)來調(diào)整：其中γ(k)和β(k)是相應(yīng)的調(diào)節(jié)參數(shù)；代表標(biāo)準(zhǔn)化BN算法之后的結(jié)果；y(k)代表調(diào)整之后的結(jié)果。6.根據(jù)權(quán)利要求1所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征在于：步驟2所述的二維視頻幀中的長(zhǎng)期時(shí)序特征包括運(yùn)動(dòng)信息。7.根據(jù)權(quán)利要求6所述的一種基于長(zhǎng)短期記憶的二維視頻顯著性檢測(cè)方法，其特征...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：方玉明，黃漢秦，樂晨陽，
申請(qǐng)(專利權(quán))人：方玉明，
類型：發(fā)明
國(guó)別省市：江西,36