一種結合圖像內容和關鍵字的信息推薦方法及系統技術方案

本發明專利技術公開一種結合圖像內容和關鍵字的信息推薦方法及系統，其中，方法包括步驟：提取圖片庫的圖片的關鍵字信息、及包含顏色特征和紋理特征的圖像內容信息，將關鍵字信息及圖像內容信息表示成向量空間模型，得到對應的關鍵字信息矩陣和圖像內容信息矩陣；利用線性稀疏模型對關鍵字信息矩陣和圖像內容信息矩陣進行處理，計算圖片庫中圖片之間的相似度得到相似度表；根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表；整理原始推薦列表得到最終推薦列表并展示。

Information recommendation method and system combining image content and keyword

The invention discloses a method for combining the information of image content and keyword recommendation method and system, wherein the method comprises the following steps: extracting the picture of the picture library, and keyword information contains color feature and texture feature of image content information, the key information and image content information is expressed as a vector space model, get the corresponding keyword information matrix and the image content information matrix; processing keyword information matrix and the image content information matrix using the sparse linear model, the similarity between the images in the picture library to get similarity calculation table; according to user search query the target image of the target image from the similarity in similar pictures and form the original recommendation list; collation of the original recommendation list the final recommendation list and display.

【技術實現步驟摘要】
一種結合圖像內容和關鍵字的信息推薦方法及系統
本專利技術涉及圖像檢索和信息推薦領域，尤其涉及一種結合圖像內容和關鍵字的信息推薦方法及系統。
技術介紹
隨著互聯網以及電子商務的高速發展，網上的多媒體信息也在爆炸式地增長，因此人們對多媒體信息的檢索需求也越來越多，例如網上購物，社交網絡，視頻分享平臺等等都需要對多媒體信息進行檢索。互聯網上的多媒體信息通常包括圖像，音頻和視頻。其中圖像的檢索是互聯網應用特別是電子商務的一個熱點和趨勢。例如，僅僅通過圖片本身信息來檢索相關的商品從而一方面方便用戶查詢，另一方面幫助系統有效地對用戶做出推薦。互聯網上圖像的檢索有兩個主流的方向：第一個是以關鍵字為基礎的檢索(Keyword-BasedRetrieval)；第二個是以圖像自身的內容為基礎的檢索(Content-BasedRetrieval)。在基于關鍵字的圖像檢索系統中，需要先對所有的圖像進行關鍵字標注，然后才能使用全文檢索技術對圖像進行搜索，如AltaVista、Yahoo!、Google的圖像搜索引擎等。這種方法存在兩個方面的問題:一是這種方法需要較多的人工參與，而且隨著圖像數目的增加，這種方法很難實現；第二個問題在于圖像所包含的信息量龐大，不同的人對于同一張圖像的理解也不相同，這就導致對圖像的標注沒有一個統一的標準，光憑關鍵字是很難做到準確地描述和檢索多媒體信息。基于圖像內容的信息檢索是對多媒體對象的內容及上下文語義環境進行檢索，如對圖像中的顏色、紋理，或視頻中的場景、片斷進行分析和特征提取，并基于這些特征進行相似性匹配，基于內容檢索的系統有IBM開發的QBIC、MIT多媒體實驗室的Photobook、美國哥倫比亞大學開發的VisualSEEK圖像查詢系統等等。基于內容的信息檢索具有較強的客觀性，但是，由于這些特征并不代表圖像真正的語義信息，基于內容的檢索結果往往不令人滿意，因此目前大多數系統還是基于關鍵字的圖像檢索。不管是基于關鍵字的圖像檢索系統還是基于圖像內容的圖像檢索系統都存在不足。因此，現有技術還有待于改進和發展。
技術實現思路
鑒于上述現有技術的不足，本專利技術的目的在于提供一種結合圖像內容和關鍵字的信息推薦方法及系統，旨在解決現有圖像檢索系統要么工作量大、檢索結果不準確的問題。本專利技術的技術方案如下：一種結合圖像內容和關鍵字的信息推薦方法，其中，包括步驟：A、提取圖片庫的圖片的關鍵字信息、及包含顏色特征和紋理特征的圖像內容信息，將關鍵字信息及圖像內容信息表示成向量空間模型，得到對應的關鍵字信息矩陣和圖像內容信息矩陣；B、利用線性稀疏模型對關鍵字信息矩陣和圖像內容信息矩陣進行處理，計算圖片庫中圖片之間的相似度得到相似度表；C、根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表；D、整理原始推薦列表得到最終推薦列表并展示。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述步驟A中，提取包含顏色特征和紋理特征的圖像內容信息的過程具體包括：將圖片按照預先指定的數量分塊；將每個分塊由顏色單元進行處理得到包含若干個小區間的直方圖，每個小區間代表一種顏色；抽取圖像邊緣的紋理特征；對抽取的顏色特征和紋理特征進行量化及正則化處理，得到每張圖片的CEDD直方圖。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述步驟B中線性稀疏模型的算法公式如下：其中，M、F分別表示關鍵字信息矩陣(mij)m×n和圖像內容信息矩陣(fij)p×n，S表示需要計算的圖片之間相似度矩陣,||·||F、||·||1分別表示Frobenius范數和1-范數，m、p分別表示所有圖片的關鍵字特征數量和圖像內容特征數量，n表示圖片數量，α代表圖像內容信息矩陣的影響因子，β、λ均為正則化參數。所述的結合圖像內容和關鍵字的信息推薦方法，其中，對F進行歸一化處理：其中，F(i,j)表示矩陣F第i行、第j列元素；Min{F(i,·)}表示矩陣F第i行所有元素的最小值；Max{F(i,·)}表示矩陣F第i行所有元素的最大值，0≤i<p,0≤j<n。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述步驟B還包括：當有新圖片添加至圖片庫時，采用稀疏線性模型增量更新的計算公式計算新圖片與圖片庫中的其他圖片之間的相似度，更新稀疏線性模型。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述整理原始推薦列表得到最終推薦列表并展示的步驟進一步包括：在獲得多個原始推薦列表時，對所有原始推薦列表中的圖片進行過濾，并對過濾后的圖片進行排序得到最終推薦列表。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述整理原始推薦列表得到最終推薦列表并展示的步驟具體包括：對原始推薦列表中的圖片進行過濾及排序得到最終推薦列表，展示所述最終推薦列表。所述的結合圖像內容和關鍵字的信息推薦方法，其中，所述根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表的步驟具體包括：在用戶檢索圖片時獲取用戶檢索的目標圖片的ID，根據目標圖片的ID從相似度表中查詢到與目標圖片相關的相似圖片形成原始推薦列表。一種結合圖像內容和關鍵字的信息推薦系統，其中，包括：矩陣轉換模塊，用于提取圖片庫的圖片的關鍵字信息、及包含顏色特征和紋理特征的圖像內容信息，將關鍵字信息及圖像內容信息表示成向量空間模型，得到對應的關鍵字信息矩陣和圖像內容信息矩陣；相似度計算模塊，用于利用線性稀疏模型對關鍵字信息矩陣和圖像內容信息矩陣進行處理，計算圖片庫中圖片之間的相似度得到相似度表；原始推薦列表獲取模塊，用于根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表；最終推薦列表獲取模塊，用于整理原始推薦列表得到最終推薦列表并展示。所述的結合圖像內容和關鍵字的信息推薦系統，其中，所述矩陣轉換模塊包括：分塊單元，用于將圖片按照預先指定的數量分塊；顏色處理單元，用于將每個分塊由顏色單元進行處理得到包含若干個小區間的直方圖，每個小區間代表一種顏色；紋理處理單元，用于抽取圖像邊緣的紋理特征；CEDD直方圖獲取單元，用于對抽取的顏色特征和紋理特征進行量化及正則化處理，得到每張圖片的CEDD直方圖。所述的結合圖像內容和關鍵字的信息推薦系統，其中，所述相似度計算模塊包括：算法單元，用于根據關鍵字信息矩陣和圖像內容信息矩陣計算圖片之間的相似度，其中算法公式如下：其中，M、F分別表示關鍵字信息矩陣(mij)m×n和圖像內容信息矩陣(fij)p×n，S表示需要計算的圖片之間相似度矩陣，||·||F、||·||1分別表示Frobenius范數和1-范數，m、p分別表示所有圖片的關鍵字特征數量和圖像內容特征數量，n表示圖片數量，α代表圖像內容信息矩陣的影響因子，β、λ均為正則化參數。所述的結合圖像內容和關鍵字的信息推薦系統，其中，所述相似度計算模塊包括：歸一化處理單元，用于對矩陣F進行歸一化處理：其中，F(i,j)表示矩陣F第i行、第j列元素；Min{F(i,·)}表示矩陣F第i行所有元素的最小值；Max{F(i,·)}表示矩陣F第i行所有元素的最大值，0≤i<p,0≤j<n。所述的結合圖像內容和關鍵字的信息推薦系統，其中，相似度計算模塊還包括：增量計算單元，用于本文檔來自技高網...

【技術保護點】
一種結合圖像內容和關鍵字的信息推薦方法，其特征在于，包括步驟：A、提取圖片庫的圖片的關鍵字信息、及包含顏色特征和紋理特征的圖像內容信息，將關鍵字信息及圖像內容信息表示成向量空間模型，得到對應的關鍵字信息矩陣和圖像內容信息矩陣；B、利用線性稀疏模型對關鍵字信息矩陣和圖像內容信息矩陣進行處理，計算圖片庫中圖片之間的相似度得到相似度表；C、根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表；D、整理原始推薦列表得到最終推薦列表并展示。

【技術特征摘要】
1.一種結合圖像內容和關鍵字的信息推薦方法，其特征在于，包括步驟：A、提取圖片庫的圖片的關鍵字信息、及包含顏色特征和紋理特征的圖像內容信息，將關鍵字信息及圖像內容信息表示成向量空間模型，得到對應的關鍵字信息矩陣和圖像內容信息矩陣；B、利用線性稀疏模型對關鍵字信息矩陣和圖像內容信息矩陣進行處理，計算圖片庫中圖片之間的相似度得到相似度表；C、根據用戶檢索的目標圖片從相似度表中查詢所述目標圖片的相似圖片并形成原始推薦列表；D、整理原始推薦列表得到最終推薦列表并展示。2.根據權利要求1所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，所述步驟A中，提取包含顏色特征和紋理特征的圖像內容信息的過程具體包括：將圖片按照預先指定的數量分塊；將每個分塊由顏色單元進行處理得到包含若干個小區間的直方圖，每個小區間代表一種顏色；抽取圖像邊緣的紋理特征；對抽取的顏色特征和紋理特征進行量化及正則化處理，得到每張圖片的CEDD直方圖。3.根據權利要求1所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，所述步驟B中線性稀疏模型的算法公式如下：，；其中，M、F分別表示關鍵字信息矩陣和圖像內容信息矩陣，表示需要計算的圖片之間相似度矩陣，、分別表示Frobenius范數和1-范數，m、p分別表示所有圖片的關鍵字特征數量和圖像內容特征數量，n表示圖片數量，α代表圖像內容信息矩陣的影響因子，β、λ均為正則化參數。4.根據權利要求3所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，對F進行歸一化處理：；其中，表示矩陣F第i行、第j列元素；表示矩陣F第i行所有元素的最小值；表示矩陣F第i行所有元素的最大值，。5.根據權利要求1所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，所述步驟B還包括：當有新圖片添加至圖片庫時，采用線性稀疏模型增量更新的計算公式計算新圖片與圖片庫中的其他圖片之間的相似度，更新線性稀疏模型。6.根據權利要求1所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，所述整理原始推薦列表得到最終推薦列表并展示的步驟進一步包括：在獲得多個原始推薦列表時，對所有原始推薦列表中的圖片進行過濾，并對過濾后的圖片進行排序得到最終推薦列表。7.根據權利要求1所述的結合圖像內容和關鍵字的信息推薦方法，其特征在于，所述整理原始推薦列表得到最終推薦列表并展示的步驟具體包括：對原始推薦列表中的圖片進行過濾及排序得到最終推薦列表，展示所述最終推薦列表。8.根據權利要求1所述的結合圖像內容和關鍵字的信息...

【專利技術屬性】
技術研發人員：李朝，汪灝泓，魯夢平，朱秋莎，
申請(專利權)人：TCL集團股份有限公司，
類型：發明
國別省市：