基于機器學習對數據進行識別的方法及裝置制造方法及圖紙

本發明專利技術公開了一種基于機器學習對數據進行識別的方法及裝置，該方法包括：通過將獲取到的針對預設數據識別需求的訓練數據集輸入到與預設數據識別需求匹配的機器學習類的數據識別模型中，對數據識別模型進行訓練，能夠訓練出準確可靠的數據識別模型，并將訓練好的目標數據識別模型部署到對應的框架中進行應用，能夠提高對待識別數據的識別準確性及識別精度；以及通過將目標數據識別模型部署到預設框架中，能夠提高目標數據識別模型的可遷移性，更好地適應相關工作環境

【技術實現步驟摘要】
基于機器學習對數據進行識別的方法及裝置


[0001]本專利技術涉及人工智能
，尤其涉及一種基于機器學習對數據進行識別的方法及裝置
。

技術介紹

[0002]在現有技術中，往往需要使用傳統的
OCR
或者第三方廠家的
SDK
進行圖像
、
文字識別開發，以實現字符等數據的識別
、
圖像配準等功能
。
但是，在相對復雜的環境下，如對相對模糊的圖片或文本進行識別時，傳統的
OCR
或第三方廠家的
SDK
的識別準確率較低
。
因此，提出一種能夠提高數據識別準確率的技術方案顯得尤為重要
。

技術實現思路

[0003]本專利技術提供了一種基于機器學習對數據進行識別的方法及裝置，能夠有利于提高對數據進行識別的識別精度和適用的數據的范圍，提高了對數據進行識別的準確性
。
[0004]為了解決上述技術問題，本專利技術第一方面公開了一種基于機器學習對數據進行識別的方法，所述方法包括：獲取針對預設數據識別需求的訓練數據集，所述訓練數據集的類型包括文本類型和
/
或圖像類型；
[0005]將所述訓練數據集輸入到預先確定出的與所述預設數據識別需求匹配的數據識別模型，對所述數據識別模型進行訓練，得到訓練完畢的目標數據識別模型，所述數據識別模型為機器學習類型的模型；
[0006]將所述目標數據識別模型部署到預設框架中；
[0007]通過部署到所述預設框架中的所述目標數據識別模型，對待識別數據進行識別，得到與所述預設數據識別需求對應的目標信息
。
[0008]作為一種可選的實施方式，在本專利技術第一方面中，根據所述預設數據識別需求和所述訓練數據集的參數，確定數據識別模型的模型框架，所述模型框架包括卷積神經網絡框架
、
循環神經網絡框架和轉移學習框架中的一種；
[0009]根據所述訓練數據集的參數，確定所述數據識別模型的批大小，其中，所述訓練數據集的參數包括數據類型
、
數據大小以及數據數量中的一種或多種；
[0010]根據所述數據識別模型的模型框架
、
所述訓練數據集的參數以及所述數據識別模型的批大小，確定所述數據識別模型的初始學習率；
[0011]根據所述模型框架
、
所述批大小以及所述初始學習率，生成所述數據識別模型，作為與所述預設數據識別需求匹配的數據識別模型
。
[0012]作為一種可選的實施方式，在本專利技術第一方面中，將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合，所述驗證數據集的類型包括文本類型和
/
或圖像類型；
[0013]根據所述預設數據識別需求對應的數據識別效果，為所述性能參數集合中的每個性能參數添加權重系數；
[0014]根據所述目標數據識別模型的性能參數集合以及所述性能參數集合中的每個性能參數的權重系數，計算所述目標數據識別模型綜合性能值；
[0015]根據預設的綜合性能閾值評估所述目標數據識別模型的綜合性能值是否達標，得到評估結果；
[0016]當所述評估結果表示所述目標數據識別模型的綜合性能值達標時，執行所述的將所述目標數據識別模型部署到預設框架中的操作
。
[0017]作為一種可選的實施方式，在本專利技術第一方面中，在所述將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合之前，所述方法還包括：
[0018]根據所述預設數據識別需求和所述目標數據識別模型的應用場景，確定與所述預設數據識別需求和所述目標數據識別模型的應用場景相匹配的數據集，作為所述驗證數據集；
[0019]確定所述驗證數據集的參數，并根據所述預設數據識別需求和所述驗證數據集的參數，確定需要計算的性能參數類型，所述性能參數類型包括準確率
、
精確率
、
召回率
、F1
值
、ROC
曲線
、AUC
值以及混淆矩陣中的至少一種；
[0020]其中，將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合，包括：
[0021]將所述驗證數據集及性能參數類型輸入到所述目標數據識別模型中，計算與所述性能參數類型匹配的參數集合，作為所述目標數據識別模型的性能參數集合
。
[0022]作為一種可選的實施方式，在本專利技術第一方面中，在所述獲取針對預設數據識別需求的訓練數據集之后，所述方法還包括：
[0023]根據所述預設數據識別需求和所述訓練數據集的參數，對所述訓練數據集中的數據進行降噪處理，得到第一訓練數據集；
[0024]對所述第一訓練數據集執行數據增強操作，得到第二訓練數據集，所述數據增強操作包括裁剪
、
旋轉
、
縮放以及平移中的至少一種；
[0025]根據所述預設數據識別需求，對所述第二訓練數據集進行標注，得到目標訓練數據集；
[0026]所述將所述訓練數據集輸入到預先確定出的與所述預設數據識別需求匹配的數據識別模型，對所述數據識別模型進行訓練，得到訓練完畢的目標數據識別模型，包括：
[0027]將所述目標訓練數據集輸入到預先確定出的與所述預設數據識別需求匹配的數據識別模型，對所述數據識別模型進行訓練，得到訓練完畢的目標數據識別模型
。
[0028]作為一種可選的實施方式，在本專利技術第一方面中，當所述評估結果表示所述目標數據識別模型的綜合性能值不達標時，所述方法還包括：
[0029]確定所述目標數據識別模型所需應用的應用場景的場景參數，所述應用場景的場景參數包括所述應用場景中待識別數據的數據量
、
該待識別數據的數據類型
、
該待識別數據的并發量
、
該待識別數據的數據反饋時長要求中的一種或多種；
[0030]分析所述應用場景的場景參數，得到與所述應用場景匹配的數據識別需求參數；
[0031]確定所述目標數據識別模型的數據類型；
[0032]根據所述數據識別需求參數和所述目標數據識別模型的數據類型，對所述目標數
據識別模型進行優化，并將優化后的目標數據識別模型更新為所述目標數據識別模型，以及觸發執行所述的將所述目標數據識別模型部署到預設框架中的操作
。
[0033]作為一種可選的實施方式，在本專利技術第一方面中，所述根據所述數據識別需求參數和所述目標數據識別模型的數據類型，對所述目標數據識別模型進行優化，并將優化后的目標數據識別模型更新為所述目標數據識別模型，包括：
[0034]根據所述數據識別需求參數，確定所述目標數據識別模型的每個層的冗余系數；
[0035]將所述目標數據識別模型的每個層的冗余系數與預設本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.
一種基于機器學習對數據進行識別的方法，其特征在于，所述方法包括：獲取針對預設數據識別需求的訓練數據集，所述訓練數據集的類型包括文本類型和
/
或圖像類型；將所述訓練數據集輸入到預先確定出的與所述預設數據識別需求匹配的數據識別模型，對所述數據識別模型進行訓練，得到訓練完畢的目標數據識別模型，所述數據識別模型為機器學習類型的模型；將所述目標數據識別模型部署到預設框架中；通過部署到所述預設框架中的所述目標數據識別模型，對待識別數據進行識別，得到與所述預設數據識別需求對應的目標信息
。2.
根據權利要求1所述的基于機器學習對數據進行識別的方法，其特征在于，所述方法還包括：根據所述預設數據識別需求和所述訓練數據集的參數，確定數據識別模型的模型框架，所述模型框架包括卷積神經網絡框架
、
循環神經網絡框架和轉移學習框架中的一種；根據所述訓練數據集的參數，確定所述數據識別模型的批大小，其中，所述訓練數據集的參數包括數據類型
、
數據大小以及數據數量中的一種或多種；根據所述數據識別模型的模型框架
、
所述訓練數據集的參數以及所述數據識別模型的批大小，確定所述數據識別模型的初始學習率；根據所述模型框架
、
所述批大小以及所述初始學習率，生成所述數據識別模型，作為與所述預設數據識別需求匹配的數據識別模型
。3.
根據權利要求1或2所述的基于機器學習對數據進行識別的方法，其特征在于，所述方法還包括：將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合，所述驗證數據集的類型包括文本類型和
/
或圖像類型；根據所述預設數據識別需求對應的數據識別效果，為所述性能參數集合中的每個性能參數添加權重系數；根據所述目標數據識別模型的性能參數集合以及所述性能參數集合中的每個性能參數的權重系數，計算所述目標數據識別模型綜合性能值；根據預設的綜合性能閾值評估所述目標數據識別模型的綜合性能值是否達標，得到評估結果；當所述評估結果表示所述目標數據識別模型的綜合性能值達標時，執行所述的將所述目標數據識別模型部署到預設框架中的操作
。4.
根據權利要求3所述的基于機器學習對數據進行識別的方法，其特征在于，在所述將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合之前，所述方法還包括：根據所述預設數據識別需求和所述目標數據識別模型的應用場景，確定與所述預設數據識別需求和所述目標數據識別模型的應用場景相匹配的數據集，作為所述驗證數據集；確定所述驗證數據集的參數，并根據所述預設數據識別需求和所述驗證數據集的參數，確定需要計算的性能參數類型，所述性能參數類型包括準確率
、
精確率
、
召回率
、F1
值
、ROC
曲線
、AUC
值以及混淆矩陣中的至少一種；
其中，將驗證數據集輸入到所述目標數據識別模型中，計算所述目標數據識別模型的性能參數集合，包括：將所述驗證數據集及性能參數類型輸入到所述目標數據識別模型中，計算與所述性能參數類型匹配的參數集合，作為所述目標數據識別模型的性能參數集合
。5.
根據權利要求1或2所述的基于機器學習對數據進行識別的方法，其特征在于，在所述獲取針對預設數據識別需求的訓練數據集之后，所述方法還包括：根據所述預設數據識別需求和所述訓練數據集的參數，對所述訓練數據集中的數據進行降噪處理，得到第一訓練數據集；對所述第一訓練數據集執行數據增強操作，得到第二訓練數據集，所述數據增強操作包括裁剪
、
旋轉

【專利技術屬性】
技術研發人員：張清森，陳俊靈，易啟邦，呂旭明，
申請(專利權)人：深圳市綠聯科技股份有限公司，
類型：發明
國別省市：