一種服飾鞋包類商品圖像多視覺特征融合方法技術

本發明專利技術公開了一種基于多種視覺特征融合的服飾鞋包類商品圖像檢索方法，該方法首先對輸入商品圖像做背景檢測，根據輸入圖背景的復雜程度，采用不同策略抽取多種視覺特征，在圖像庫中匹配時，根據不同商品類目的不同特征權重進行融合，通過融合后的相似度度量作為檢索圖像的排序準則，從而能根據不同類目的不同檢索標準得到合理的檢索結果；提高了查全率和查準率。本發明專利技術有很強的擴展性，對新增類目的商品圖像檢索，通過類目權重表的設置能很好兼顧到新的類目需求。

【技術實現步驟摘要】

本專利技術涉及信息檢索和數據挖掘
，特別是涉及ー種基于多種視覺特征融合的圖片檢索方法。
技術介紹
圖像檢索研究興起自上世紀90時代，早期的圖像檢索更多的是基于文本的圖像檢索，隨著互聯網和多媒體技術的快速發展，圖像等多媒體信息呈爆炸性增長。傳統基于文本的信息檢索技術已經逐步不能滿足人們的檢索需求。市場調查顯示，面對一件衣服，用戶給出多個文本描述詞匯，都很難從現有的海量網絡商品圖庫中檢索出自己所想找的那件商品。Toml等在《A Picture is Worth a Thousand Keywords:1mage-Based Object Searchona Mobile Platform》一文中明顯提到在圖像搜索中圖像內容相對于文本的高效性。同時圖像本身具有信息豐富、不受語言限制、便于交流等優點。在這種背景下，基于內容的圖像檢索技術得到了廣泛的發展。利用圖像視覺特征，如顔色、形狀、紋理等信息，如何迅速而準確地從浩瀚的海量圖像數據庫中檢索到所需的圖像，成為近年來計算機視覺領域的研究熱點問題，基于內容的圖像檢索技術因此應運而生。現有的圖像檢索方法中，基本的檢索步驟包括以下幾步提取圖像視覺底層特征寫入對應的圖像庫；將用戶輸入的待檢索圖像進行視覺底層特征提取；與圖像庫中的特征進行相似度匹配度量，按相似度度量排序返回給用戶。其中，視覺底層特征的提取主要包括顔色特征、形狀特征以及紋理特征。顔色特征提取中常用的算法有顔色直方圖、顏色矩方法等；形狀特征中的常用算法包括zernike矩、HU不變矩、GIST等方法；紋理特征算法主要有Tamura紋理特征(粗糙度、方向度、對比度)、共生矩陣、Gabor濾波算法等等。在針對商品圖片的圖像檢索應用過程中，通過市場調研發現用戶針對不同類目的商品會有不同的關注點，例如對于服飾，因為存在模特圖和商品平鋪圖，圖像中的商品難免存在形變，所以用戶對服飾的關注度從主到次依次是紋理、顔色、形狀；而對于鞋包類商品圖，由于此類商品形變較小，則用戶更關注商品的款式，所以關注度從主到次依次是形狀、顔色、紋理。現有的圖像檢索方法在圖像庫內匹配時大多是通用型匹配模式，這很難滿足用戶在各類目上的檢索需求。另外在沒有人工交互框選的情況下，對于形狀特征，在背景復雜的商品圖像上效果均不佳，合理地針對商品圖像的背景做些區分，對形狀特征的檢索效果也有較大提升。
技術實現思路
本專利技術的目的是克服現有技術的不足，提供一種能根據待檢索商品圖像背景復雜與否，并能結合不同商品類目能采取不同融合策略的多視覺特征融合的圖像檢索方法，從而能滿足用戶不同類目的檢索需求。本專利技術的目的是通過以下技術方案來實現的(I)圖像庫特征的提取提取圖像庫中的每個圖像的顔色、紋理、形狀視覺特征，其中部分顔色和形狀特征，采用主動分塊策略，分為上、下、左、右、圖像中心塊5個子塊和全圖塊，共6個塊圖像，提取出每個塊的視覺特征。將多種特征合并成為表示該圖像的特征向量加入圖像庫；(2)由于海量圖像庫中檢索，對步驟I)得到的圖像特征庫進行KMeans聚類切分，保證查全率的前提下，提升檢索性能；(3)對于用戶輸入的待檢索商品圖像，用背景檢測算法檢測該圖像的背景復雜度，井根據復雜度對檢索圖像提取不同的視覺底層特征(形狀，顔色，紋理等)，并將多種特征合并成為表示該圖像的特征向量；(4)計算步驟3得到的待檢索的圖像特征向量與聚類切分后的各個聚類中心的距離度量，尋找最近聚類簇；(5)計算步驟3得到的待檢索的圖像特征向量與步驟4)得到的最近聚類簇中的所有圖像特征向量之間的相似度度量先對各種類型的特征(顔色、形狀、紋理等)分別計算距離度量，然后對度量分別做聚類簇內的歸ー化，在按不同類目配置的權重，線性組合得到最終的相似度度量；(6)將步驟5得到的相似度度量進行升序排序，將排序后的前若干個結果返回給用戶，即為所檢索的結果；本專利技術的有益效果是，本專利技術首先對用戶輸入的待檢索商品圖片，以圖片背景單一或者復雜進行分類，井根據背景單一與復雜兩種不同的情況，相應地抽取不同的多種底層視覺特征；在與圖像庫中匹配過程中引入了商品類目相關的底層視覺特征權重表，這樣檢索的結果能體現出不同商品類目的視覺特性相應的偏重，從而滿足不同商品類目檢索的客戶需求，提高了用戶體驗效果。附圖說明圖1是圖片數據集入庫的流程圖；圖2是檢索用戶輸入商品圖片的流程圖。具體實施例方式下面結合附圖詳細描述本專利技術，本專利技術的目的和效果將變得更加明顯。如圖1所示，本專利技術多視覺特征融合方法中圖像庫特征提取過程包括如下步驟步驟1:圖像庫的視覺特征提取。在本專利中具體采用以下幾種視覺特征顔色特征采用了顔色直方圖描述符、顔色結構描述符、顔色布局描述符。顏色直方圖描述符(Color Histogram Descriptor, CHD),表達了圖像顏色分布統計上的信息，在本專利中對64維的顏色直方圖特征進行提取。MPEG-7 的顏色結構描述符(Color Structure Descriptor, CSD),反應了顏色聚合度，對于背景単一的商品圖像，對商品主題進行了較好的描述，本專利采用了 64維的顏色結構特征。MPEG-7的顏色布局描述符(Color layout Descriptor, CLD),表達了顏色在空間的分布信息。本專利技術對該算子采用主動分塊策略(即分為上、下、左、右、圖像中心塊5個子塊和全圖塊，共6個塊圖像分別抽取特征)，采用了 72維(12*6)顔色布局特征。紋理特征采用了 MPEG-7的邊緣直方圖描述符(Edge Histogram Descriptor,EHD)，提取了描述來自16個子圖像的內容的80維數據。形狀特征米用了，AudeOliva, Antonio Torralba Modeling the Shape of theScene:A Holistic Representation of the Spatial Envelope.1nternational Journalof Computer Vision, Vol. 42 (3) : 145-175 (2001)的 GIST 特征方法，提取了 512 維度的特征向量維度，并對數據進行PCA降維為53維度，并采用了主動分塊策略，6個子塊圖像特征數據長度共計為318維(53*6)。本專利采用了以上5種特征對商品庫進行特征提取并入庫，每幅圖像共598維特征數據。步驟2:對商品庫圖像進行根據相似度進行聚類切分。如圖2所示，對于輸入的商品圖像，背景是單ー還是復雜，兩者所提取的圖像特征不同，若背景単一，則采用CSD、GIST、CLD、EHD等特征，若復雜則采用CHD、CLD、EHD等特征，CLD特征和EHD特征是兩者所公有的特征。在聚類切分吋，依據CLD特征和EHD特征上的距離度量來做聚類，保證了檢索效果的穩定性。步驟3對用戶輸入的商品查詢圖像進行特征提取。首先對查詢圖像判斷其背景是否復雜，通過圖像分割的方法，自動提取前景(商品主體)。然后對背景部分(商品主體外部分)區域的顔色、邊緣和紋理進行分析得到該查詢圖像背景是否復雜，若復雜則提取其CHD、CLD、EHD等特征，若背景単一，則提取CSD、GIST、CLD、EHD等特征數據。 步驟4 :對輸入商品查詢圖像在商品庫本文檔來自技高網...

【技術保護點】
一種服飾鞋包類商品圖像多視覺特征融合方法，其特征在于，包括如下步驟：（1）圖像庫特征的提取：提取圖像庫中的每個圖像的顏色、紋理、形狀視覺特征，其中部分顏色和形狀特征，采用主動分塊策略，分為上、下、左、右、圖像中心塊5個子塊和全圖塊，共6個塊圖像，提取出每個塊的顏色和形狀特征；將上述特征合并成為表示該圖像的特征向量加入圖像庫；（2）對步驟（1）得到的圖像特征向量庫根據相似度進行KMeans聚類切分，在保證查全率的前提下，提升檢索性能；（3）對用戶輸入的商品查詢圖像進行特征提取：對于用戶輸入的待檢索商品圖像，用背景檢測算法來檢測該圖像的背景是否單一，并以此來采用相應的策略提取所需的多種視覺底層特征（形狀，顏色，紋理等），并將多種特征合并成為表示該輸入圖像的特征向量；（4）計算步驟3得到的待檢索的圖像特征向量與步驟2得到的聚類切分后的各個聚類中心的距離，尋找最近聚類簇；（5）計算步驟3得到的待檢索的圖像特征向量與步驟4得到的最近聚類簇中的所有圖像特征向量之間的相似度距離度量：先對各種類型的特征（顏色、形狀、紋理等）分別計算距離度量，然后對距離度量分別做聚類簇內的歸一化，再按不同類目的不同特征權重，線性組合得到最終的相似度度量；（6）將步驟5得到的相似度度量進行升序排序，將排序后的前若干個結果返回給用戶，即為所檢索的結果。...

【技術特征摘要】
1.一種服飾鞋包類商品圖像多視覺特征融合方法，其特征在于，包括如下步驟 (1)圖像庫特征的提取提取圖像庫中的每個圖像的顏色、紋理、形狀視覺特征，其中部分顏色和形狀特征，采用主動分塊策略，分為上、下、左、右、圖像中心塊5個子塊和全圖塊，共6個塊圖像，提取出每個塊的顏色和形狀特征；將上述特征合并成為表示該圖像的特征向量加入圖像庫； (2)對步驟(I)得到的圖像特征向量庫根據相似度進行KMeans聚類切分，在保證查全率的如提下，提升檢索性能； (3)對用戶輸入的商品查詢圖像進行特征提取對于用戶輸入的待檢索商品圖像，用背景檢測算法來檢測該圖像的背景是否單一，并以此來采用相...

【專利技術屬性】
技術研發人員：張繼霞，孫凱，
申請(專利權)人：杭州淘淘搜科技有限公司，
類型：發明
國別省市：