一種基于語義分析的文本聚類系統及方法技術方案

本發明專利技術提出了一種基于語義分析的文本聚類系統及方法，根據語義分析對文本進行聚類，簡化了聚類算法的工作量，提高工作效率，聚類的結果更加理想。本發明專利技術提出的一種基于語義分析的文本聚類系統，包括依次連接的預處理模塊、語義分析模塊、向量生成模塊和聚類模塊；其中，預處理模塊，用于對文本進行中文分詞和停用詞過濾；語義分析模塊，用于進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化，語義分析模塊內置本體和實體詞典，本體用于對文本進行語義分析，實體詞典用于對文本進行實體提取，本體的基本組成單元為概念，概念構成概念樹，概念樹組成本體；向量生成模塊，內置向量空間模型，用于對文本進行向量化。

【技術實現步驟摘要】
【專利摘要】本專利技術提出了，根據語義分析對文本進行聚類，簡化了聚類算法的工作量，提高工作效率，聚類的結果更加理想。本專利技術提出的一種基于語義分析的文本聚類系統，包括依次連接的預處理模塊、語義分析模塊、向量生成模塊和聚類模塊；其中，預處理模塊，用于對文本進行中文分詞和停用詞過濾；語義分析模塊，用于進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化，語義分析模塊內置本體和實體詞典，本體用于對文本進行語義分析，實體詞典用于對文本進行實體提取，本體的基本組成單元為概念，概念構成概念樹，概念樹組成本體；向量生成模塊，內置向量空間模型，用于對文本進行向量化。【專利說明】
本專利技術涉及文本信息處理
，尤其涉及。
技術介紹
近年來，隨著網絡的大規模普及和企業信息化程度的提高，各種資源呈爆炸式增長，然而，大部分信息是存儲在文本數據庫中的，對于這種半結構或無結構化數據，能夠獲取特定內容信息的手段卻較弱，導致信息搜尋困難和信息利用率低下。由此，文本挖掘、信息過濾和信息檢索等方面的研究出現了前所未有的高潮。快速并高質量的文本聚類技術可以將大量文本信息組成少數有意義的簇，并使同一簇中的文本信息之間具有較高的相似度，而不同簇之間的文本差別較大，從而通過聚類驅動的降維或權值調整來改善檢索性能，方便人們對文本信息的利用。聚類技術已成為文本信息挖掘技術中的核心技術，其工作效率與效果直接關系到文本信息處理的理想程度。
技術實現思路
基于
技術介紹
存在的問題，本專利技術提出了，根據語義分析對文本進行聚類，簡化了聚類算法的工作量，提高工作效率，聚類的結果更加理想。 本專利技術提出的一種基于語義分析的文本聚類系統，包括依次連接的預處理模塊、語義分析模塊、向量生成模塊和聚類模塊；其中， 預處理模塊，用于對文本進行中文分詞和停用詞過濾； 語義分析模塊，用于進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化，語義分析模塊內置本體和實體詞典，本體用于對文本進行語義分析，實體詞典用于對文本進行實體提取，本體的基本組成單元為概念，概念構成概念樹，概念樹組成本體； 向量生成模塊，內置向量空間模型，用于對文本進行向量化，生成文本向量； 聚類模塊，根據文本向量對文本進行聚類。 優選地，語義相似度計算公式為: Sim(H) 二--- _」1 J Zfe(WpW2)+ a Dis (W1, W2)為詞語Wl、W2對應的概念在概念樹上的距離，概念樹為本體的組成單元，a為可調節的計算常數。 優選地，特征項權重計算公式為: γ\ w = tf X idf = tf X ln(— +1) m 其中，w為特征項t在文檔d中的權重值，tf表示t在d內出現的頻率，idf表示t的反比文本頻率，η表示訓練集的文檔總數，m表示訓練集中包含t的文檔數。 本專利技術提供的一種基于語義分析的文本聚類方法，根據本體對文本進行語義分析，并對文本內容進行歸一化，生成文本向量，具體包括以下步驟: S1、輸入文本，并進行預處理，對文本進行中文分詞和停用詞過濾； S2、根據本體，對文本進行語義分析，并根據實體詞典對文本進行實體分析，提取實體文本； S3、根據本體，進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化； S4、根據向量空間模型，對歸一化文本進行向量化，生成文本向量； S5、根據文本向量對文本進行聚類； 步驟SI中，需要判別文本是否為中文，當文本為中文時，對其進行中文分詞和停用詞過濾；當文本非中文時，對其進行詞形變換后直接進行停用詞過濾； 步驟S3中設置門限值n，關鍵詞特征項為權重值大于門限值η的特征項。 優選地，0.1〈η〈1。 優選地，η= 0.7。 優選地，語義相似度計算公式為: SimiSNl ,W2) =--- L 」1 2 Dw(W15W2)+ a Dis (W1, W2)為詞語Wl、W2對應的概念在概念樹上的距離，概念樹為本體的組成單元，a為可調節的計算常數。 優選地，特征項權重計算公式為:Yl W = tfx idf = tf X ln(— +1) m 其中，w為特征項t在文檔d中的權重值，tf表示t在d內出現的頻率，idf表示t的反比文本頻率，η表示訓練集的文檔總數，m表示訓練集中包含t的文檔數。 本專利技術對文本進行語義分析和實體提取，可有效去除無實際意義的文本內容，并對表達意義相同的詞匯進行歸納，避免后續處理中詞義相同的詞匯造成重復，即增加工作量又造成冗余。本專利技術提供的文本聚類系統及方法，根據語義分析對文本進行聚類，簡化了聚類算法的工作量，提高工作效率，同時文本聚類的結果也更加理想。 【專利附圖】【附圖說明】 圖1為本專利技術提出的一種基于語義分析的文本聚類系統的結構圖； 圖2為圖1所示系統的工作流程圖。 【具體實施方式】 參照圖1，本專利技術提出的一種基于語義分析的文本聚類系統，包括依次連接的預處理模塊、語義分析模塊、向量生成模塊和聚類模塊。 預處理模塊，用于對文本進行中文分詞和停用詞過濾。 語義分析模塊，用于進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化，文文本向量化奠定基礎。語義分析模塊內置本體和實體詞典。本體用于對文本進行語義分析，本體的基本組成單元為概念，概念構成概念樹,概念樹組成本體。文本概念化解決了一詞多義或多詞一義的問題。實體詞典用于對文本進行實體提取，以便摒棄文本中不具實際意義的內容，簡化后續文本處理的計算量。 向量生成模塊，內置向量空間模型，用于對文本進行向量化，生成文本向量。向量空間模型是現有并且相當成熟的一種文本處理技術，可保證本系統工作模式更加穩定。 聚類模塊，根據文本向量對文本進行聚類。聚類模塊內置聚類算法，文本經過預處理及語義分析后，大大縮減了聚類算法的工作量，提高了工作效率。 圖2所示為圖1所示系統工作方法的流程圖，該方法根據本體對文本進行語義分析，并對文本內容進行歸一化，生成文本向量，具體包括以下步驟: S1、輸入文本，并進行預處理，對文本進行中文分詞和停用詞過濾； S2、根據本體，對文本進行語義分析，并根據實體詞典對文本進行實體分析,提取實體文本； S3、根據本體，進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化； S4、根據向量空間模型，對歸一化文本進行向量化，生成文本向量； S5、根據文本向量對文本進行聚類。 步驟SI中，需要判別文本是否為中文，當文本為中文時，對其進行中文分詞和停用詞過濾；當文本非中文時，對其進行詞形變換后直接進行停用詞過濾。 步驟S3中設置門限值n，關鍵詞特征項為權重值大于門限值η的特征項，η可在區間(0.1,1)上取值，因為權重值小于0.1的項在文本中所占比例最大，而這部分內容對文本主題的確定并無多大影響，可以直接舍棄。本實施方式中，設定η = 0.7。根據計算沿著，權重值大于0.7的項已經可以滿足關鍵詞特征項提取的需要，同時還大大節儉了后續處理中的計算量，提高工作效率。 本實施方式中，語義相似度計算公式為: 師i’W2)=a(I) W2) + a Dis (W本文檔來自技高網...

【技術保護點】
一種基于語義分析的文本聚類系統，其特征在于，包括依次連接的預處理模塊、語義分析模塊、向量生成模塊和聚類模塊；其中，預處理模塊，用于對文本進行中文分詞和停用詞過濾；語義分析模塊，用于進行語義相似度分析以及特征項權重計算，提取關鍵詞特征項，對文本進行歸一化，語義分析模塊內置本體和實體詞典，本體用于對文本進行語義分析，實體詞典用于對文本進行實體提取，本體的基本組成單元為概念，概念構成概念樹，概念樹組成本體；向量生成模塊，內置向量空間模型，用于對文本進行向量化，生成文本向量；聚類模塊，根據文本向量對文本進行聚類。

【技術特征摘要】

【專利技術屬性】
技術研發人員：賈巖，
申請(專利權)人：安徽華貞信息科技有限公司，
類型：發明
國別省市：安徽;34