基于圖像擴增的舌圖像識別方法技術

本發明專利技術涉及圖像處理技術領域，提供了一種基于圖像擴增的舌圖像識別方法

【技術實現步驟摘要】
基于圖像擴增的舌圖像識別方法、裝置和計算機設備


[0001]本專利技術涉及圖像處理
，尤其涉及一種基于圖像擴增的舌圖像識別方法
、
裝置和計算機設備
。

技術介紹

[0002]舌是人體消化道中的重要組成器官之一，由許多縱橫交錯的橫紋肌組成，外覆有特殊的黏膜結構
。
在中醫學上，舌通過經絡與臟腑之間發生聯系，尤其與脾
、
胃聯系密切，故中醫學上常常以舌象推斷消化道的疾患
。
[0003]在消化道疾病發生時，舌的質
、
苔
、
齒痕等特征往往呈現規律性改變，而這些改變均可以通過肉眼或圖像的方式加以捕捉和分析
。
現代醫學中，也通過判斷舌圖像對應的消化道疾病的類別，輔助醫生進行消化道疾病的識別
。
但是，在遠程會診中，由于手機拍攝的舌苔圖像容易受到手機成像算法
、
光線
、
背景干擾等因素的影響，會造成影像不能反應出真實的圖像信息，比如舌苔發白，但手機拍攝的舌苔偏紅等，攝影帶來的偏差會造成舌圖像識別的誤差
。

技術實現思路

[0004]鑒于上述問題，提出了本專利技術以便提供一種克服上述問題的一種基于圖像擴增的舌圖像識別方法
、
裝置和計算機設備
。
[0005]本專利技術的一個方面，提供了一種基于圖像擴增的舌圖像識別方法，所述方法包括：
[0006]對待處理的初始舌圖像進行有效區域分割處理獲得第一舌圖像和第一舌輪廓掩碼圖像；
[0007]基于預設的圖像擴散模型生成與所述第一舌輪廓掩碼圖像對應的
N
張第一生成式舌圖像，
N
大于等于1；
[0008]基于
N
張第一生成式舌圖像分別對所述第一舌圖像進行顏色校正，分別生成與
N
張第一生成式舌圖像一一對應的
N
張第二舌圖像；
[0009]將
N
張第二舌圖像或
N
張第二舌圖像與第一舌圖像的集合作為目標圖像數據，并調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果
。
[0010]進一步地，所述基于
N
張第一生成式舌圖像分別對所述第一舌圖像進行顏色校正，分別生成與
N
張第一生成式舌圖像一一對應的
N
張第二舌圖像包括：
[0011]依次從所述第一生成式舌圖像中選取一張圖像作為目標生成式舌圖像，對所述第一舌圖像和所述目標生成式舌圖像進行特征點匹配獲得特征點對；
[0012]根據所述特征點的顏色對應關系生成第一舌圖像與所述目標生成式舌圖像之間的顏色校正矩陣；
[0013]基于所述顏色校正矩陣對所述第一舌圖像進行顏色校正，以獲得與所述目標生成式舌圖像對應的第二舌圖像
。
[0014]進一步地，所述圖像識別模型為級聯網絡模型，所述級聯網絡模型的第一網絡模型為文本描述預測模型，所述級聯網絡模型的第二網絡模型為舌圖像分類預測模型；
[0015]所述調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果，包括：
[0016]將各個目標圖像數據輸入所述文本描述預測模型進行識別，以獲得各個目標圖像數據對應的文本描述，所述文本描述用于描述目標圖像數據中的舌紋理特征；
[0017]將各個目標圖像數據對應的文本描述輸入所述舌圖像分類預測模型進行識別，以獲得與所述初始舌圖像對應的識別結果
。
[0018]進一步地，在調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果之前，所述方法還包括：預先訓練所述文本描述預測模型；
[0019]所述預先訓練所述文本描述預測模型，具體包括：
[0020]對第一初始舌圖像樣本進行有效區域分割處理獲得第一舌圖像樣本；
[0021]獲取用于描述所述第一舌圖像樣本的舌紋理特征的文本描述；
[0022]將所述第一舌圖像樣本和第一舌圖像樣本的文本描述作為訓練數據輸入預設的多模態訓練模型的輸入層，經訓練獲得文本描述預測模型
。
[0023]進一步地，在調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果之前，所述方法還包括：預先訓練所述舌圖像分類預測模型；
[0024]所述預先訓練所述舌圖像分類預測模型，具體包括：
[0025]對第二初始舌圖像樣本進行有效區域分割處理獲得第二舌圖像樣本和第一舌輪廓掩碼圖像樣本，并對所述第二初始舌圖像樣本進行舌圖像分類標注；
[0026]基于預設的圖像擴散模型生成與所述第二舌輪廓掩碼圖像對應的
N
張第一生成式舌圖像樣本；
[0027]基于
N
張第一生成式舌圖像樣本分別對所述第二舌圖像樣本進行顏色校正，分別生成與
N
張第一生成式舌圖像樣本一一對應的
N
張第三舌圖像樣本；
[0028]將
N
張第三舌圖像樣本或
N
張第三舌圖像樣本與第二舌圖像樣本的集合作為目標圖像數據樣本，并調用預設的文本描述預測模型對所述目標圖像數據樣本進行識別，以獲得各個目標圖像數據樣本對應的文本描述；
[0029]將第二初始舌圖像樣本的舌圖像分類結果和各個目標圖像數據樣本對應的文本描述作為訓練數據輸入預設的舌圖像分類預測訓練模型的輸入層，經訓練獲得舌圖像分類
。
[0030]進一步地，在調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果之前，所述方法還包括：預先訓練所述舌圖像分類預測模型；
[0031]所述預先訓練所述舌圖像分類預測模型，具體包括：
[0032]獲取與不同舌圖像分類結果對應的多項舌紋理特征的文本描述；
[0033]將任一目標舌圖像分類結果和與當前目標舌圖像分類結果對應的多項舌紋理特征的文本描述作為訓練數據輸入預設的舌圖像分類預測訓練模型的輸入層，經訓練獲得舌圖像分類預測模型
。
[0034]進一步地，所述圖像識別模型為預先訓練獲得的圖像識別模型，所述調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果，包括：
[0035]將各個目標圖像數據輸入所述圖像識別模型進行識別，以獲得各個目標圖像數據對應的舌圖像分類結果；
[0036]對各個目標圖像數據對應的舌圖像分類結果進行統計計算，以最終獲得初始舌圖像的識別結果
。
[0037]進一步地，在對待處理的初始舌圖像進行有效區域分割處理獲得第一舌圖像和第一舌輪廓掩碼圖像之前，所述方法還包括：預先訓練舌分割模型；
[0038]所述預先訓練舌分割模型包括：
[0039]獲取包含舌有效區域的第本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.
一種基于圖像擴增的舌圖像識別方法，其特征在于，所述方法包括：對待處理的初始舌圖像進行有效區域分割處理獲得第一舌圖像和第一舌輪廓掩碼圖像；基于預設的圖像擴散模型生成與所述第一舌輪廓掩碼圖像對應的
N
張第一生成式舌圖像，
N
大于等于1；基于
N
張第一生成式舌圖像分別對所述第一舌圖像進行顏色校正，分別生成與
N
張第一生成式舌圖像一一對應的
N
張第二舌圖像；將
N
張第二舌圖像或
N
張第二舌圖像與第一舌圖像的集合作為目標圖像數據，并調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果
。2.
根據權利要求1所述的方法，其特征在于，所述基于
N
張第一生成式舌圖像分別對所述第一舌圖像進行顏色校正，分別生成與
N
張第一生成式舌圖像一一對應的
N
張第二舌圖像包括：依次從所述第一生成式舌圖像中選取一張圖像作為目標生成式舌圖像，對所述第一舌圖像和所述目標生成式舌圖像進行特征點匹配獲得特征點對；根據所述特征點的顏色對應關系生成第一舌圖像與所述目標生成式舌圖像之間的顏色校正矩陣；基于所述顏色校正矩陣對所述第一舌圖像進行顏色校正，以獲得與所述目標生成式舌圖像對應的第二舌圖像
。3.
根據權利要求1所述的方法，其特征在于，所述圖像識別模型為級聯網絡模型，所述級聯網絡模型的第一網絡模型為文本描述預測模型，所述級聯網絡模型的第二網絡模型為舌圖像分類預測模型；所述調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果，包括：將各個目標圖像數據輸入所述文本描述預測模型進行識別，以獲得各個目標圖像數據對應的文本描述，所述文本描述用于描述目標圖像數據中的舌紋理特征；將各個目標圖像數據對應的文本描述輸入所述舌圖像分類預測模型進行識別，以獲得與所述初始舌圖像對應的識別結果
。4.
根據權利要求3所述的方法，其特征在于，在調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果之前，所述方法還包括：預先訓練所述文本描述預測模型；所述預先訓練所述文本描述預測模型，具體包括：對第一初始舌圖像樣本進行有效區域分割處理獲得第一舌圖像樣本；獲取用于描述所述第一舌圖像樣本的舌紋理特征的文本描述；將所述第一舌圖像樣本和第一舌圖像樣本的文本描述作為訓練數據輸入預設的多模態訓練模型的輸入層，經訓練獲得文本描述預測模型
。5.
根據權利要求4所述的方法，其特征在于，在調用預設的圖像識別模型對所述目標圖像數據進行識別，以獲得所述初始舌圖像的識別結果之前，所述方法還包括：預先訓練所述舌圖像分類預測模型；所述預先訓練所述舌圖像分類預測模型，具體包括：
對第二初始舌圖像樣本進行有效區域分割處理獲得第二舌圖像樣本和第一舌輪廓掩碼圖像樣本，并對所述第二初始舌圖像樣本進行舌圖像分類標注；基于預設的圖像擴散模型生成與所述第二舌輪廓掩碼圖像對應的
N
張第一生成式舌圖像樣本；基于
N
張第一生成式舌圖像樣本分別對所述第二舌圖像樣本進行顏色校正，分別生成與
N
張第一生成式舌圖像樣本一一對應的
...

【專利技術屬性】
技術研發人員：馮健，陳棟棟，賴永航，
申請(專利權)人：青島美迪康數字工程有限公司，
類型：發明
國別省市：