【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像檢索領(lǐng)域，具體為一種基于深度學(xué)習(xí)特征和顏色矩的圖像檢索方法。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)和智能設(shè)備的發(fā)展，圖像的數(shù)據(jù)量呈指數(shù)級增長，本地的計(jì)算和存儲資源逐漸無法滿足用戶的需求。云服務(wù)器具有豐富的存儲和計(jì)算資源，可以滿足資源受限用戶對大規(guī)模圖像數(shù)據(jù)集的存儲和檢索，因此越來越多的用戶選擇將圖像外包給云平臺。基于內(nèi)容的圖像檢索技術(shù)的提出方便用戶可以快速的檢索到需要的外包圖像，而不需要下載全部圖像到本地，減少了計(jì)算和通信開銷。然而，圖像檢索效率、計(jì)算開銷以及應(yīng)用場景還存在以下問題。
2、檢索效率低。云環(huán)境下的圖像檢索方案可以在本地提取特征向量并上傳到云服務(wù)器中，當(dāng)需要檢索時(shí)候，用戶發(fā)送檢索陷門，云服務(wù)器會進(jìn)行相似圖像檢索并返回結(jié)果集合給用戶。然而，現(xiàn)有大多數(shù)方案在檢索相似圖像的時(shí)間復(fù)雜度都是線性的，需要逐個(gè)去計(jì)算查詢圖像和圖像數(shù)據(jù)集中的圖像特征向量的相似度，效率比較低。
3、計(jì)算開銷較大。現(xiàn)有方案圖像特征提取包含圖像的全局特征和局部特征，全局特征指圖像的形狀、紋理和顏色等。局部特征包括尺度不變特征變換(sca?l?e-i?nvar?iantfeature?transform，sift)，梯度方向直方圖(h?i?stogram?of?or?i?ented?grad?i?ents，hog)，局部二值模式(loca?l?bi?nary?patterns，lbp)等，這些特征相對簡單，并不能完全表示圖像的特征，會導(dǎo)致圖像檢索的準(zhǔn)確性較低。基于特征學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)取代了傳統(tǒng)手工設(shè)計(jì)的特征表示的最先進(jìn)技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、數(shù)據(jù)擁有者擁有大量的圖片，但他們的計(jì)算和存儲資源有限，為了為數(shù)據(jù)擁有者提供強(qiáng)大的計(jì)算和存儲資源，外包給云服務(wù)是大多數(shù)用戶的選擇。為了保證用戶可以在存儲在云端的圖像中檢索需要的圖像，提出了高效的基于內(nèi)容的圖像檢索方案。具體地，數(shù)據(jù)擁有者并上傳圖像數(shù)據(jù)集給云服務(wù)器，當(dāng)有檢索需求的時(shí)候，用戶生成檢索陷門并發(fā)送給云服務(wù)器，云服務(wù)器執(zhí)行檢索操作并返回top-k個(gè)相似圖像。然而，大多數(shù)檢索方案效率檢索精度較低。針對解決現(xiàn)有技術(shù)問題，本專利技術(shù)提出了一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索方法，首先，提取圖像的顏色矩，對其聚類并構(gòu)建索引樹，在檢索時(shí)候無需逐個(gè)計(jì)算比較圖像和查詢圖像的相似度，樹形索引的構(gòu)建提升檢索效率。其次，使用vgg16預(yù)訓(xùn)練模型提取深度學(xué)習(xí)特征，并使用pca對深度特征向量進(jìn)行降維，利用深度特征提升檢索方法的精度。最后，在檢索時(shí)，先使用顏色矩構(gòu)建的索引樹確定相似圖像的候選范圍，然后計(jì)算候選數(shù)據(jù)集中的圖像和查詢圖像間的相似度，并返回top-k個(gè)檢索結(jié)果，使用低維度的特征向量進(jìn)行大范圍的圖像數(shù)據(jù)集的計(jì)算，在篩選后的候選數(shù)據(jù)集進(jìn)行深度特征的計(jì)算，降低計(jì)算開銷。
2、為了解決現(xiàn)有技術(shù)問題，本專利技術(shù)采用如下技術(shù)方案：
3、一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，所述系統(tǒng)包括：圖像特征提取模塊、索引構(gòu)建模塊、檢索陷門生成模塊以及圖像檢索模塊；所述圖像特征提取模塊提取圖像數(shù)據(jù)集中圖像的顏色矩特征和深度學(xué)習(xí)特征獲得圖像多層次特征；
4、所述索引構(gòu)建模塊對顏色矩聚類自下而上構(gòu)建索引樹；
5、所述陷門生成模塊提取查詢圖像層次特征的按照如下公式檢索圖像陷門；
6、td＝{fq,cfq}
7、其中：fq表示圖像深度特征向量，cfq表示圖像顏色矩向量；
8、所述圖像檢索模塊根據(jù)檢索陷門自上而下遍歷索引樹得到相似圖像候選集合；計(jì)算候選相似圖像集合中的圖像的深度特征和查詢圖像深度特征的相似度，輸出與查詢圖像相似的top-k個(gè)圖像。
9、進(jìn)一步地，所述索引構(gòu)建模塊對顏色矩聚類自下而上構(gòu)建索引樹過程，包括：
10、s201、利用k-means聚類方法將n個(gè)圖像的顏色矩聚類為k個(gè)類，將每個(gè)類作為葉節(jié)點(diǎn)，那么葉結(jié)點(diǎn)可以表示為這k個(gè)聚類；
11、s202、初始化集合ac來表示當(dāng)前存在的類，然后計(jì)算集合ac中每個(gè)聚類的距離，合并距離最近的聚類后更新ac中的類；
12、s203、重復(fù)步驟二的過程直到只剩下一個(gè)類，按照構(gòu)建過程生成一個(gè)自下而上構(gòu)建的索引樹，索引樹構(gòu)建完成。
13、進(jìn)一步地，所述圖像輸出模塊計(jì)算候選相似圖像集合中的圖像的深度特征和查詢圖像深度特征的相似度，輸出與查詢圖像相似的top-k個(gè)圖像過程，包括：自上而下查詢索引樹的方法，
14、s301、在每一層中，通過與顏色矩向量cfq距離最小的向量定位節(jié)點(diǎn)，從而找到下一層的入口點(diǎn)；
15、s302、找到下一層的入口點(diǎn)后，若不是葉子節(jié)點(diǎn)則繼續(xù)迭代遍歷這些節(jié)點(diǎn)；否則，得到候選圖像數(shù)據(jù)集，進(jìn)行下一步驟；
16、s303、計(jì)算候選圖像數(shù)據(jù)集中每個(gè)圖像的深度特征向量fi與查詢圖像的特征向量fq之間的內(nèi)積值為di,q＝fi·fq，然后對計(jì)算結(jié)果進(jìn)行排序，得到top-k個(gè)相似結(jié)果。
17、本專利技術(shù)還采用如下技術(shù)方案基于顏色矩和深度學(xué)習(xí)特征的圖像檢索方法，包括如下步驟：利用預(yù)訓(xùn)練的vgg16模型計(jì)算圖像數(shù)據(jù)m中每個(gè)圖像mi的深度學(xué)習(xí)特征向量，并利用pca降維得到每個(gè)圖片對應(yīng)的深度學(xué)習(xí)特征向量fi；
18、計(jì)算圖像數(shù)據(jù)m中每個(gè)圖像mi的顏色矩獲得九維顏色矩向量cf?i；
19、聚類顏色矩，將得到的類作為葉節(jié)點(diǎn)，合并最近的節(jié)點(diǎn)自下而上構(gòu)建索引樹；
20、輸入查詢的圖像mq，并計(jì)算其對應(yīng)的深度特征向量fq和顏色矩cfq；
21、根據(jù)顏色矩自上而下的遍歷索引樹，選擇與查詢圖像顏色矩更為接近的子節(jié)點(diǎn)直到葉節(jié)點(diǎn)為止，得到候選相似圖像集合；
22、計(jì)算候選相似圖像集合中的圖像的深度特征和查詢圖像深度特征的相似度，得到與查詢圖像相似的top-k個(gè)圖像。
23、有益效果
24、相比于傳統(tǒng)技術(shù)方案，本專利技術(shù)所帶來的有益效果是：
25、(1)本專利技術(shù)綜合考慮了基于深度學(xué)習(xí)特征和顏色矩相結(jié)合的方式進(jìn)行圖像檢索，利用圖像顏色特征和語義特征更好的描述了圖像的特征，提升了檢索的精度。
26、(2)本專利技術(shù)基于顏色矩構(gòu)建了樹狀索引，與逐個(gè)計(jì)算圖像數(shù)據(jù)集中圖片與查詢圖片相似度的方法比較，進(jìn)一步提升了圖像檢索方法的檢索效率。
27、(3)本專利技術(shù)采用的顏色矩過濾目標(biāo)數(shù)據(jù)集，在大范圍的數(shù)據(jù)集上使用顏色矩盡心相似度匹配得到候選圖像數(shù)據(jù)集，進(jìn)一步使用深度學(xué)習(xí)特征進(jìn)行小范圍數(shù)據(jù)集的相似度匹配，與直接使用深度特征進(jìn)行計(jì)算的方法比較，降低了圖像檢索方法的計(jì)算開銷。...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，其特征在于，所述系統(tǒng)包括：圖像特征提取模塊、索引構(gòu)建模塊、檢索陷門生成模塊以及圖像檢索模塊；
2.根據(jù)權(quán)利要求1所述的一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，其特征在于，所述索引構(gòu)建模塊對顏色矩聚類自下而上構(gòu)建索引樹過程，包括：
3.根據(jù)權(quán)利要求1所述的一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，其特征在于，所述圖像檢索模塊計(jì)算候選相似圖像集合中的圖像的深度特征和查詢圖像深度特征的相似度，輸出與查詢圖像相似的top-k個(gè)圖像過程，包括：自上而下查詢索引樹的方法，
4.采用權(quán)利要求1-3任一項(xiàng)所述的系統(tǒng)進(jìn)行基于顏色矩和深度學(xué)習(xí)特征的圖像檢索方法，其特征在于，包括如下步驟：
【技術(shù)特征摘要】
1.一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，其特征在于，所述系統(tǒng)包括：圖像特征提取模塊、索引構(gòu)建模塊、檢索陷門生成模塊以及圖像檢索模塊；
2.根據(jù)權(quán)利要求1所述的一種基于顏色矩和深度學(xué)習(xí)特征的圖像檢索系統(tǒng)，其特征在于，所述索引構(gòu)建模塊對顏色矩聚類自下而上構(gòu)建索引樹過程，包括：
3.根據(jù)權(quán)利要求1所述的一...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張玉晴，賈春福，
申請(專利權(quán))人：南開大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。