一種3D圖像的顯著性檢測方法技術

本發明專利技術公開了一種3D圖像的顯著性檢測方法，包括步驟(1)基于卷積神經網絡對顏色圖像和深度圖像分別提取深度特征向量；(2)根據三層的神經網絡以及提取的顏色圖像和深度圖像的深度特征向量分別生成深度圖和顏色圖的顯著性圖；(3)將顏色圖像和深度圖像的顯著性圖進行線性融合處理后獲得3D圖像的顯著性圖。本發明專利技術通過CNN模型對顏色圖像和深度圖像分別進行多尺度區域的深度學習特征提取；深度圖像(或者顏色圖像)的顯著性圖是通過訓練后的NN模型基于深度特征向量和區域的顯著性標簽來生成的，NN模型在此相當于分類器的作用；并以深度顯著性圖和顏色顯著性圖為輸入，采用線性融合方法生成最終的3D圖像的顯著性圖；本檢測方法具有誤差小和精度高等優點。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術屬于3D圖像處理
，更具體地，涉及一種3D圖像的顯著性檢測方法。
技術介紹
隨著消費電子行業的不斷發展，在我們的日常生活中，3D應用變得越來越受歡迎。與傳統的2D視覺體驗相比，3D應用能夠給用戶提供一種深度感知和身臨其境的觀看感受。然而，在3D處理過程中還是有很多開放性的問題需要被很好得解決。在3D研究中，3D圖像的顯著性檢測是一個非常基本的問題，它主要的目的是在一張自然場景圖像中找到人眼感興趣的區域的位置。并且，他可以被應用于各種領域，例如，3D視頻編碼里可以用來優化比特分配，立體圖像質量評估時的空間池化以及3D物體檢測時的特征提取。現有的視覺顯著性檢測模型大多數都是跟2D圖像有關。這些模型主要是從顏色圖像中通過手動提取一些底層的特征(比如亮度、顏色、對比度、紋理等)來估計其顯著性，并且這些模型沒有考慮深度信息。例如，Itti等為快速場景分析提出了一個顯著性模型，主要是結合了多尺度下的圖像特征去估計顯著性。Bruce等介紹了一個基于信息最大化的顯著性方法，它主要是在進行顯著性估計的時候將香農的自信息理論應用進去。Goferman等設計了一個基于上下文感知的顯著性檢測模型，主要是為了檢測出一些可以代表場景的圖像區域。Yang等提出了一個基于自頂向下方法的視覺顯著性模型，主要是通過加入條件隨機域和判別式字典方法。然而這些方法基本都是在針對2D圖像去進行顯著性檢測的。因此，這些傳統的顯著性檢測模型不能夠準確的去預測在一個3D場景中人們在觀看時感興趣的區域位置。為了提升預測的準確度，一些研究者提出在模型化立體圖像的顯著性檢測時需要將其深度信息考慮在內。例如，方等人提出了一個框架是采用顏色、亮度、紋理和深度等特征的對比度來估計一個立體圖像的顯著性。該模型在計算立體圖像顯著性時依舊使用的是傳統的手動提取特征的方法來提取底層特征和深度特征。祁等人提出了一個3D視覺顯著性檢測模型，主要還是手動的用已經生成的視差圖來提取深度特征，從左右視圖來提取底層特征。Kim等描述了一個立體視頻的顯著性預測模型，它主要是通過將一些離散的底層特征、深度特征分布與高水平的場景分類等相結合。但是對于這些研究，手動提取特征的方法不能夠有效地準確地去分層級的原始像素提取特征，并且手動提取特征的不確定的因素很多，還會出現一些無法預料的誤差，在進行手動提取特征的時候往往需要投入大量的人力，同時還要依賴于專業的知識，并且，手動提取往往不能一概而論的都好。因此這些模型的性能就被受限。
技術實現思路
針對現有技術的缺陷，本專利技術的目的在于提供一種3D圖像的顯著性檢測方法，旨在解決現有技術中采用手動提取特征的方法不能有效地在原始像素提取特征導致誤差大的問題。本專利技術提供了一種3D圖像的顯著性檢測方法，包括下述步驟：(1)對顏色圖像和深度圖像的深度特征向量進行提取；(2)根據三層的神經網絡以及提取的顏色圖像和深度圖像的深度特征向量生成深度圖和顏色圖的顯著性圖；(3)將所述顏色圖像和深度圖像的顯著性圖進行線性融合處理后獲得3D圖像的顯著性圖。更進一步地，步驟(1)具體為：(1.1)將顏色圖像和與所述顏色圖像相關的深度圖像分別進行圖像分割后，獲得多層次的沒有重疊的圖像區域；(1.2)采用卷積神經網絡模型分別對分割后的顏色圖像和深度圖像的特征向量進行提取。更進一步地，所述卷積神經網絡模型的結構為五個卷積層和三個全連接層；對于每一層的網絡，設定具體的網絡參數配置：首先是圖片輸入層，設定輸入圖像的大小為227*227。以卷積層一為例，其卷積核的大小為11，共96個卷積濾波器，卷積步幅為4，輸出的圖片數量為96。ReLUs和max-pooling操作在卷積層一之后執行。最后是三個全連接層，是作為神經網絡的分類器。全連接層一和層二其神經元的個數分別都為4096，全連接層三的神經元的個數為1000個。更進一步地，步驟(2)中，根據神經網絡(NeuralNetwork，NN)模型生成深度圖和顏色圖的顯著性圖；其中，所述神經網絡(NN)模型有一個輸出層和兩個全連接的隱藏層，所述神經網絡(NN)模型的輸入為特征向量，輸出為當前區域的顯著性標簽，當顯著性標簽為1時則表示當前區域是顯著的，當顯著性標簽為0時則表示當前區域是非顯著。更進一步地，所述深度圖像的顯著性圖由公式生成，其中，x表示深度圖像的區域中的像素，表示深度圖第j層的權重因子，L表示分層的總數目，Sd(x)表示深度圖像的顯著性圖，j表示深度圖的層數，表示深度圖的第j層索引為i的分割區域，表示一個映射函數，主要描述深度圖的本地區域的特征向量與該區域的顯著性標簽之間的關系。更進一步地，所述顏色圖像的顯著性圖由公式生成，其中，x表示顏色圖像的區域中的像素，表示顏色圖第j層的的權重因子，L表示分層的總數目，j表示顏色圖的層數，表示顏色圖的第j層索引為i的分割區域，表示一個映射函數，主要描述顏色圖的本地區域的特征向量與該區域的顯著性標簽之間的關系。更進一步地，所述3D圖像的顯著性圖S＝w·Sc+(1-w)·Sd，其中，Sd為深度圖像的顯著性圖，Sc為顏色圖像的顯著性圖，w為顏色圖的顯著性圖在最終的3D圖像的視覺顯著性圖的貢獻權重。更進一步地，分層的總數目L是15，權重w為0.5。本專利技術通過基于卷積神經網絡(ConvolutionalNeuralNetwork，CNN)模型對顏色圖像和深度圖像分別進行多尺度區域的深度學習特征提取；深度圖像(或者顏色圖像)的顯著性圖是通過NN模型基于深度特征向量和區域的顯著性標簽來生成的，NN模型在此相當于分類器的作用；并采用了一個線性融合的方法其結合了深度顯著性圖和顏色顯著性圖從而生成了最終的3D圖像的顯著性圖；誤差小、精度高。附圖說明圖1是本專利技術提供的3D圖像的顯著性檢測方法的框架原理圖；圖2是本專利技術實施例提供的3D圖像的顯著性檢測方法的流程實現圖；圖3是本專利技術實施例提供的3D圖像的顯著性檢測方法與現有技術的對比仿真示例圖。具體實施方式為了使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本專利技術，并不用于限定本專利技術。根據以上描述可以知道，計算視覺顯著性圖的模型性能在很大的程度上是受那些具有代表性的特征影響的。因此對于3D視覺顯著性研究來說，找出那些具有代表性的視覺特征是相當重要的。又因為現存的3D圖像的顯著性檢測模型基本都是基于手動的方法來提取特征的。然而這些研究方法很難去實現顯著性區域與其鄰域之間的更高成都的差異區分。除此之外，由于對3D視覺感知方面的知識的欠缺，那么深度信息對最終的視覺顯著性圖有怎么樣的貢獻仍舊不是很清晰。本專利技術提供的3D圖像的顯著性檢測方法可以應用于視頻編碼、視頻壓縮、圖像檢索、圖像質量評估、感興趣目標物體的檢測以及圖像檢索等領域。其應用的方式主要還是根據其應用的領域來定。本專利技術提出的基于深度學習特征的視覺顯著性模型的框架包含了三個主要的步驟，分別是深度特征的提取，顯著性圖的生成，顯著性圖的融合，其框架描述圖如圖1所示。首先，顏色圖像和深度圖像的深度特征向量是被由一個卷積神經網絡(CNN)模型提取出來的。然后，深度圖和顏色圖的顯著性圖是由生成的區域特征向量以及區域的顯本文檔來自技高網...

【技術保護點】
一種3D圖像的顯著性檢測方法，其特征在于，包括下述步驟：(1)對顏色圖像和深度圖像的深度特征向量進行提??；(2)根據三層的神經網絡以及提取的顏色圖像和深度圖像的深度特征向量生成深度圖和顏色圖的顯著性圖；(3)將所述顏色圖像和深度圖像的顯著性圖進行線性融合處理后獲得3D圖像的顯著性圖。

【技術特征摘要】
【國外來華專利技術】1.一種3D圖像的顯著性檢測方法，其特征在于，包括下述步驟：(1)對顏色圖像和深度圖像的深度特征向量進行提取；(2)根據三層的神經網絡以及提取的顏色圖像和深度圖像的深度特征向量生成深度圖和顏色圖的顯著性圖；(3)將所述顏色圖像和深度圖像的顯著性圖進行線性融合處理后獲得3D圖像的顯著性圖。2.如權利要求1所述的顯著性檢測方法，其特征在于，步驟(1)具體為：(1.1)將顏色圖像和與所述顏色圖像相關的深度圖像分別進行圖像分割后，獲得多層次的沒有重疊的圖像區域；(1.2)采用卷積神經網絡模型分別對分割后的顏色圖像和深度圖像的特征向量進行提取。3.如權利要求2所述的顯著性檢測方法，其特征在于，所述卷積神經網絡模型的結構為五個卷積層和三個全連接層；對于每一層的網絡設定不同的網絡參數配置。4.如權利要求1所述的顯著性檢測方法，其特征在于，步驟(2)中，根據神經網絡模型生成深度圖和顏色圖的顯著性圖；其中，所述神經網絡模型有一個輸出層和兩個全連接的隱藏層，所述神經網絡模型的輸入為特征向量，輸出為當前區域的顯著性標簽，當顯著性標簽為1時則表示當前區域是顯著的，當顯著性標簽為0時則表示當前區域...

【專利技術屬性】
技術研發人員：王旭，張秋丹，江健民，
申請(專利權)人：深圳大學，
類型：發明
國別省市：廣東;44