一種基于自學習色彩聚類的自然場景文本檢測的方法技術

本發明專利技術提供了一種基于自學習色彩聚類的自然場景文本檢測的方法，首先，將層次聚類和參數自學習策略結合，設計一種自適應色彩聚類方法，提取圖像中的候選字符，該自適應色彩聚類方法能針對不同圖像自動學習權重閾值，有較好的字符召回率。然后，通過訓練Adaboost分類器，構建字符驗證模型，移除非文本字符；最后，合并字符構建文本行，并通過后處理得到文本檢測結果。與傳統的方法相比，本方法能獲得較高的文本檢測召回率，且檢測的文本結果較為準確。

A method of text detection in natural scenes based on self-learning color clustering

The present invention provides a method of natural scene text detection self-learning color clustering based on first, the hierarchical clustering and parameter self-learning strategy combination, design an adaptive color clustering method, candidate characters are extracted from the image, the adaptive color clustering method for weight threshold automatic learning of different images, good character recall. Then, the Adaboost classifier is trained to construct the character verification model to remove the non text characters. Finally, the merged characters are used to construct the text lines, and the text detection results are obtained by post-processing. Compared with the traditional methods, this method can achieve higher recall rate of text detection, and the results of text detection are more accurate.

【技術實現步驟摘要】
一種基于自學習色彩聚類的自然場景文本檢測的方法
本專利技術屬于模式識別
，涉及一種基于自學習色彩聚類的自然場景文本檢測方法。
技術介紹
自然場景圖像文本包含大量有效信息，提取圖像文本是圖像內容分析和理解的重要前提，并可廣泛應用于車牌檢測、無人駕駛、基于內容的圖像檢索、手機文本識別和機器人自動導航等領域。然而，由于自然場景圖像文本檢測方法受到多方面的因素影響，增加了文本檢測的難度，其中影響因素主要分為以下三類：復雜的圖像背景：圖像采集于任意的場景，不同圖像中色彩復雜程度各異，且存在大量的樹葉、磚頭、欄桿和瓦片等干擾物體，易導致文本檢測錯誤。多樣化的文本：自然場景圖像中文本尺寸大小和樣式的多樣化，且文本字符存在不同程度的扭曲和傾斜。不同程度的干擾因素：自然場景圖像為戶外拍攝采集得到，易受不同程度的光照、陰影、分辨率和拍攝角度的影響。為克服上述影響因素，提高文本檢測的準確率，專家學者提出了大量的自然場景文本檢測方法，主要分為兩類：基于滑動窗口的方法和基于連通域的方法。基于滑動窗口的文本檢測方法通常使用多尺度滑動窗口，掃描原始圖像，提取候選文本區域，然后結合候選區域色彩、梯度和紋理等特征，利用機器學習的方法進行驗證，得到文本檢測結果。由于圖像中文本尺寸的多樣性，基于滑動窗口的方法通常使用多尺度窗口掃描圖像，提取候選文本，使得該方法耗時長，產生的候選區域過多，增大了后續文本驗證的難度。基于連通域的方法是目前較為流行的文本檢測方法。該方法進一步分為三個子任務：(1)候選字符提取，(2)候選字符驗證，(3)文本區域分析。候選字符提取通常考慮圖像中文本字符包含的像素點具有灰度一致性、色彩一致性、筆畫寬度均一性等特征，進而提取特征相似的像素點，構建候選字符連通域。候選字符驗證通常通過對字符和背景區域進行分析，提取一系列易于區分背景和文本的特征，并結合機器學習的方法驗證候選字符連通域，移除非文本字符。文本區域分析通常是對驗證后保留的字符進行后處理操作。一般，通過分析字符連通域的空間位置，色彩、紋理等特征，將位置、色彩和紋理相近的字符進行合并，構成文本行，然后使用啟發式規則和機器學習的方式對文本行進行分詞和驗證，得到最終的檢測結果。由于自然場景圖像背景復雜多變，圖像中文本色彩、字體、尺寸等多樣化，且受到不同程度的光照、陰影、拍攝角度的影響。因此，如何從不同復雜程度的背景中有效提取提取候選字符，是基于連通區域文本檢測方法的關鍵。
技術實現思路
本專利技術提供了一種基于自學習色彩聚類的文本檢測方法，為了克服上述現有文本檢測方法存在的問題，本方法將層次聚類和參數自學習策略相結合，實現自適應色彩聚類算法，構建色彩層，提取色彩層中的連通區域，作為候選字符，進而定位圖像中的文本。一種基于自學習色彩聚類的自然場景文本檢測方法，包括以下步驟：步驟1：將待進行文本檢測圖像I中的每個像素點的R、G、B色彩值投影到三維色彩空間中，對三維色彩空間進行等間距劃分，每個三維色彩空間立方體作為一個層次聚類基本單元；以每個三維色彩空間立方體中所有像素點的色彩均值作為層次聚類基本單元的特征c；c＝(μ(r),μ(g),μ(b))，其中μ(r)、μ(g)和μ(b)分別為層次聚類基本單元中所有像素點的R、G、B色彩均值；步驟2：初始化層次聚類基本單元的特征權重向量w，w＝(wr,wg,wb,wθ)；其中，wr，wg，wb分別為層次聚類基本單元像素點的R、G、B的色彩距離權重，wθ為聚類閾值；步驟3：以層次聚類基本單元的特征權重向量w，依次計算任意兩個層次聚類基本單元之間的顏色距離；di,j＝wr|μi(r)-μj(r)|+wg|μi(g)-μj(g)|+wb|μi(b)-μj(b)|其中，μi和μj分別表示i和j個層次聚類基本單元；步驟4：將顏色距離最小的兩個層次聚類基本單元進行合并，獲得新的層次聚類基本單元，并計算新的層次聚類基本單元的特征c，以層次聚類基本單元合并構建對應的層次聚類樹，返回步驟3，直到層次聚類基本單元數量為1；步驟5：構建正樣本和負樣本的特征向量；依據聚類閾值wθ，對步驟4中構建的層次聚類樹進行劃分，得到層次聚類森林，以層次聚類森林中同一棵子樹下的任意兩個初始的層次聚類基本單元的顏色距離作為正樣本的特征向量，以層次聚類森林中不同子樹下的任意兩個初始的層次聚類基本單元的顏色距離作為負樣本的特征向量；步驟6：利用層次聚類基本單元的特征權重向量w的當前取值，并采用激活函數對步驟5構建的正樣本和負樣本的特征向量進行樣本類別預測，并利用樣本類別預測值和樣本本身的類別屬性，構建權重向量w的似然函數，通過最大化似然函數求得新的層次聚類基本單元的特征權重向量w，若更新后的w使得構建的似然函數的最大值收斂，則以新的層次聚類基本單元的特征權重向量w，重新構建層次聚類森林，否則，返回步驟3；為了方便求解似然函數，對似然函數兩邊取對數，得到對數似然函數：使用隨機梯度上升法，最大化對數似然函數l(w)，求解權重向量w。步驟7：依次以步驟6獲得的層次聚類森林中每一顆子樹包含的所有初始層次聚類單元中像素點進行合并，構建對應的色彩層；步驟8：從每個色彩層中提取連通域，得到候選字符，用分類器對候選字符進行篩選，對經過篩選后的候選字符進行字符合并，得到文本行；對文本行進行單詞劃分，得到文本檢測結果。進一步地，所述步驟6中采用的激活函數為邏輯回歸函數：其中，hw(x)為輸入向量x對應樣本的預測結果；x為輸入向量，由正樣本或負樣本的特征向量和截距項-1組成，x＝(|μi(r)-μj(r)|,|μi(g)-μj(g)|,|μi(b)-μj(b)|,-1)。進一步地，所述步驟6中構建的權重向量w的似然函數如下：其中，p(y(i)|x(i)；w)是x關于參數w的概率密度函數，x(i)和y(i)分別表示第i個樣本的輸入向量和樣本本身屬性類別，n為樣本總量；y(i)取值為0或1，0表示負樣本，1表示正樣本。進一步地，所述步驟8中用于對候選字符進行篩選的分類器為Adaboost分類器，采用如下過程訓練獲得：首先，將ICDAR2013數據庫中訓練集的每一幅圖像執行步驟1-7，從得到的色彩層中提取候選字符；然后，將候選字符與真實標定的字符進行像素點匹配，構建訓練正負樣本集合；接著，從訓練正負樣本集合中，隨機選取30000個訓練正樣本和30000個訓練負樣本作為構建Adaboost分類器的訓練集；最后，提取訓練集中每一個樣本的幾何特征和HOG特征，訓練Adaboost分類器，得到用于驗證候選字符的Adaboost分類器。進一步地，所述用分類器對候選字符進行篩選，是指提取每一個候選字符的幾何特征和HOG特征，輸入訓練好的Adaboost分類器進行候選字符驗證，移除非文本字符，保留文本字符。進一步地，所述對經過篩選后的候選字符進行字符合并，得到文本行的具體過程如下：將驗證之后的字符兩兩組合，形成字符對，將寬高比、水平距離和顏色距離滿足以下條件的字符對視為文本字符對，合并包含相同連通域的文本字符對，構建文本行：|mean(R1)-mean(R2)|<80其中，w(·)和h(·)分別表示字符的寬度和高度；hd和vd分別表示字符區域R1和R2兩個中心點之間的水平距離和垂直距離；mean(R)表本文檔來自技高網...

【技術保護點】
一種基于自學習色彩聚類的自然場景文本檢測方法，其特征在于，包括以下步驟：步驟1：將待進行文本檢測圖像I中的每個像素點的R、G、B色彩值投影到三維色彩空間中，對三維色彩空間進行等間距劃分，每個三維色彩空間立方體作為一個層次聚類基本單元；以每個三維色彩空間立方體中所有像素點的色彩均值作為層次聚類基本單元的特征c；步驟2：初始化層次聚類基本單元的特征權重向量w，w＝(w

【技術特征摘要】
1.一種基于自學習色彩聚類的自然場景文本檢測方法，其特征在于，包括以下步驟：步驟1：將待進行文本檢測圖像I中的每個像素點的R、G、B色彩值投影到三維色彩空間中，對三維色彩空間進行等間距劃分，每個三維色彩空間立方體作為一個層次聚類基本單元；以每個三維色彩空間立方體中所有像素點的色彩均值作為層次聚類基本單元的特征c；步驟2：初始化層次聚類基本單元的特征權重向量w，w＝(wr,wg,wb,wθ)；其中，wr，wg，wb分別為層次聚類基本單元像素點的R、G、B的色彩距離權重，wθ為聚類閾值；步驟3：以層次聚類基本單元的特征權重向量，依次計算任意兩個層次聚類基本單元之間的顏色距離；步驟4：將顏色距離最小的兩個層次聚類基本單元進行合并，獲得新的層次聚類基本單元，并計算新的層次聚類基本單元的特征c，以層次聚類基本單元合并構建對應的層次聚類樹，返回步驟3，直到層次聚類基本單元數量為1；步驟5：構建正樣本和負樣本的特征向量；依據聚類閾值wθ，對步驟4中構建的層次聚類樹進行劃分，得到層次聚類森林，以層次聚類森林中同一棵子樹下的任意兩個初始的層次聚類基本單元的顏色距離作為正樣本的特征向量，以層次聚類森林中不同子樹下的任意兩個初始的層次聚類基本單元的顏色距離作為負樣本的特征向量；步驟6：利用層次聚類基本單元的特征權重向量w的當前取值，并采用激活函數對步驟5構建的正樣本和負樣本的特征向量進行樣本類別預測，并利用樣本類別預測值和樣本本身的類別屬性，構建權重向量w的似然函數，通過最大化似然函數求得新的層次聚類基本單元的特征權重向量w，若更新后的w使得構建的似然函數的最大值收斂，則以新的層次聚類基本單元的特征權重向量w，重新構建層次聚類森林，否則，返回步驟3；步驟7：依次以步驟6獲得的層次聚類森林中每一顆子樹包含的所有初始層次聚類單元中像素點進行合并，構建對應的色彩層；步驟8：從每個色彩層中提取連通域，得到候選字符，用分類器對候選字符進行篩選，對經過篩選后的候選字符進行字符合并，得到文本行；對文本行進行單詞劃分，得到文本檢測結果。2.根據權利要求1所述的方法，其特征在于，所述步驟6中采用的激活函數為邏輯回歸函數：其中，hw(x)為輸入向量x對應樣本的預測結果；x為輸入向量，由正樣本或負樣本的特征向量和截距項-1組成，x＝(|μi(r)-μj(r)|,|μi(g)-μj(g)|,|μi(b)-μj(b)|,-1)。3.根據權利要求2所述的方法，其特征在于，所述步驟6中構建的權重向量w的似然函數如下：

【專利技術屬性】
技術研發人員：郭建京，鄒北驥，吳慧，楊文君，徐子雯，
申請(專利權)人：中南大學，
類型：發明
國別省市：湖南,43