【技術實現步驟摘要】
本專利技術涉及青光眼不同階段判別系統，屬于計算機視覺和機器學習技術。
技術介紹
1、青光眼的特點是其進行性，如果不及時發現和治療，可能會造成視力喪失和不可逆轉的失明。早期識別和預防青光眼對于解決這種嚴重的眼病至關重要。
2、然而，傳統的青光眼診斷方法不僅耗時較長，而且在操作過程中容易受人為因素影響，導致診斷結果存在誤差，且整體診斷效率不高。這些問題都限制了傳統診斷方法在青光眼篩查和管理中的應用效果。
3、為了提高診斷的準確性和簡化診斷流程，自動化診斷技術的引入變得尤為重要且必要。
4、目前已經有一套基于googlenet的青光眼自動診斷系統。該系統采用滑動窗口方法與網絡相結合，結合人工提取的octa結構和感興趣區域(roi)子圖像進行訓練。經過訓練，即使使用質量較差的數據庫的圖像，該算法也顯示出良好的準確性。實現數據庫圖像的預處理步驟增加了計算開銷，可能會減慢整個工作流程并增加資源需求。
5、densenet169的準確率(ar)達到85.19％，表明其在區分輕度和重度青光眼方面是有效的。但densenet169是一個具有大量參數的深度神經網絡，使其訓練計算密集，需要大量的計算資源。
6、輔助社會專業人員青光眼篩查的cad框架在青光眼分類方面達到了96％的高準確率，顯示了其在青光眼檢測中檢查各種眼部狀況的潛在效用。但具有dln的cad框架需要大量不同的數據集來進行有效的訓練，這可能具有挑戰性，特別是對于罕見的疾病或特定的患者群體。
技術實現思
1、本專利技術的目的是為了解決現有青光眼不同階段判別準確率低的問題，而提出基于多模態信息網絡的青光眼不同階段判別系統。
2、基于多模態信息網絡的青光眼不同階段判別系統包括：數據采集模塊、數據預處理模塊、超分辨率重建網絡模型、圖文多模態卷積網絡模型和待測模塊；
3、數據采集模塊用于采集眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集、病歷信息；所述病歷信息包含患者的性別和年齡信息；
4、數據預處理模塊用于對數據采集模塊采集的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息分別進行預處理，得到預處理后的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息；所述病歷信息包含患者的性別和年齡信息；
5、超分辨率重建網絡模型用于將預處理后的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集和rnfl影像訓練集作為超分辨率重建網絡模型的輸入，高分辨率的oct影像訓練集、octa影像訓練集和rnfl影像訓練集作為超分辨率重建網絡模型的輸出，獲得訓練好的超分辨率重建網絡模型；
6、圖文多模態卷積網絡模型用于將訓練好的超分辨率重建網絡模型輸出的高分辨率的oct影像、octa影像、rnfl影像和年齡、性別、聯合特征作為圖文多模態卷積網絡模型的輸入，青光眼不同時期的患病概率作為圖文多模態卷積網絡模型的輸出，獲得訓練好的圖文多模態卷積網絡模型；
7、待測模塊用于獲取待測的oct影像、octa影像、rnfl影像、病例中的年齡和性別信息，對待測的oct影像、octa影像、rnfl影像、病例中的年齡和性別信息進行預處理，得到預處理后的oct影像、octa影像、rnfl影像、性別、年齡以及聯合指標；將預處理后的oct影像、octa影像、rnfl影像輸入訓練好的超分辨率重建網絡模型，訓練好的超分辨率重建網絡模型中的生成器輸出高分辨率的oct影像、octa影像和rnfl影像；將生成器輸出的高分辨率的oct影像、octa影像和rnfl影像和預處理后的性別、年齡以及聯合指標輸入訓練好的圖文多模態卷積網絡模型，訓練好的圖文多模態卷積網絡模型輸出青光眼不同時期的概率，包括青光眼初期、中期和晚期。
8、優選地，所述數據采集模塊用于采集眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集、病歷信息；具體過程為：
9、所述眼底光相干斷層掃描oct影像訓練集包括帶標簽的正常oct影像、早期青光眼oct影像、中期青光眼oct影像、晚期青光眼oct影像；
10、所述眼底光相干斷層掃描octa影像訓練集包括帶標簽的正常octa影像、早期青光眼octa影像、中期青光眼octa影像、晚期青光眼octa影像；
11、所述rnfl影像訓練集包括帶標簽的正常rnfl影像、早期青光眼rnfl影像、中期青光眼rnfl影像、晚期青光眼rnfl影像；
12、所述oct為光學相干斷層掃描技術；
13、所述octa為光學相干斷層掃描血管成像；
14、所述rnfl為視網膜神經纖維層。
15、優選地，所述數據預處理模塊用于對數據采集模塊采集的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息分別進行預處理，得到預處理后的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息；具體過程為：
16、1)、對數據采集模塊采集的眼底光相干斷層掃描oct影像訓練集進行預處理，得到預處理后的眼底光相干斷層掃描oct影像訓練集；具體過程為：
17、11)、使用中值濾波技術對oct影像進行去噪處理，得到去噪后的oct影像；
18、12)、采用sobel邊緣檢測技術對去噪后的oct影像的邊界進行定位，得到邊界明確的oct影像；
19、13)、采用自適應閾值技術對邊界明確的oct影像進行分割，分割為玻璃體、視網膜神經纖維層、神經節細胞層、內核層、外叢狀層、外核層和視網膜色素上皮層；
20、14)、將分層后的oct影像調整到224×224像素，對調整到224×224像素的oct影像進行歸一化，得到預處理后的oct影像訓練集；
21、2)、對數據采集模塊采集的眼底光相干斷層掃描octa影像訓練集進行預處理，得到預處理后的眼底光相干斷層掃描octa影像訓練集；具體過程為：
22、21)、使用擴散模型對octa影像進行去噪處理，得到去噪后的octa影像；
23、22)、計算去噪后的octa影像中每個像素點的hessian矩陣；
24、23)、計算每個像素點的hessian矩陣的特征值，基于特征值識別octa影像中潛在的血管結構；
25、24)、設計匹配濾波器對識別的潛在的血管結構進行增強并抑制背景噪聲，得到octa影像；
26、25)、采用自適應閾值技術對24)得到的octa影像進行處理，得到篩選后的octa影像；
27、26)、將25)得到的篩選后的octa影像調整到224×224像素，對調整到224×224像素的本文檔來自技高網...
【技術保護點】
1.基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述系統包括：數據采集模塊、數據預處理模塊、超分辨率重建網絡模型、圖文多模態卷積網絡模型和待測模塊；
2.根據權利要求1所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述數據采集模塊用于采集眼底光相干斷層掃描OCT影像訓練集、眼底光相干斷層掃描OCTA影像訓練集、RNFL影像訓練集、病歷信息；具體過程為：
3.根據權利要求2所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述數據預處理模塊用于對數據采集模塊采集的眼底光相干斷層掃描OCT影像訓練集、眼底光相干斷層掃描OCTA影像訓練集、RNFL影像訓練集和病歷信息分別進行預處理，得到預處理后的眼底光相干斷層掃描OCT影像訓練集、眼底光相干斷層掃描OCTA影像訓練集、RNFL影像訓練集和病歷信息；具體過程為：
4.根據權利要求3所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述4)中對數據采集模塊采集的病歷信息進行預處理，得到預處理后的病歷信息；預處理后的病歷信息包括預處理后的年齡、處理后的性
5.根據權利要求4所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述超分辨率重建網絡模型用于將預處理后的眼底光相干斷層掃描OCT影像訓練集、眼底光相干斷層掃描OCTA影像訓練集和RNFL影像訓練集作為超分辨率重建網絡模型的輸入，高分辨率的OCT影像訓練集、OCTA影像訓練集和RNFL影像訓練集作為超分辨率重建網絡模型的輸出，獲得訓練好的超分辨率重建網絡模型；具體過程為：
6.根據權利要求5所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述2)中將預處理后的OCT影像輸入數據轉換模塊，數據轉換模塊輸出OCT影像對應的一對低分辨率和高分辨率圖像；
7.根據權利要求6所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述3)中將數據轉換模塊輸出的OCT影像、OCTA影像、RNFL影像對應的低分辨率圖像分別輸入生成器網絡，生成器網絡分別輸出高分辨率圖像；
8.根據權利要求7所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述4)中將數據轉換模塊輸出的OCT影像對應的高分辨率圖像或生成器網絡輸出的OCT影像對應的高分辨率圖像輸入判別器網絡，判別器網絡判斷輸出圖像是數據轉換模塊輸出的OCT影像對應的高分辨率圖像的概率P；
9.根據權利要求8所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述5)中重復執行1)至5)，直至判別器網絡判斷輸出圖像是數據轉換模塊輸出的OCT影像對應的高分辨率圖像的概率P、判別器網絡判斷輸出圖像是數據轉換模塊輸出的OCTA影像對應的高分辨率圖像的概率P、判別器網絡判斷輸出圖像是數據轉換模塊輸出的RNFL影像對應的高分辨率圖像的概率P皆達到最大，獲得訓練好的深度學習模塊；
10.根據權利要求9所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述圖文多模態卷積網絡模型用于將訓練好的超分辨率重建網絡模型輸出的高分辨率的OCT影像、OCTA影像、RNFL影像和年齡、性別、聯合特征作為圖文多模態卷積網絡模型的輸入，青光眼不同時期的患病概率作為圖文多模態卷積網絡模型的輸出，獲得訓練好的圖文多模態卷積網絡模型；具體過程為：
...【技術特征摘要】
1.基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述系統包括：數據采集模塊、數據預處理模塊、超分辨率重建網絡模型、圖文多模態卷積網絡模型和待測模塊；
2.根據權利要求1所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述數據采集模塊用于采集眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集、病歷信息；具體過程為：
3.根據權利要求2所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述數據預處理模塊用于對數據采集模塊采集的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息分別進行預處理，得到預處理后的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集、rnfl影像訓練集和病歷信息；具體過程為：
4.根據權利要求3所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述4)中對數據采集模塊采集的病歷信息進行預處理，得到預處理后的病歷信息；預處理后的病歷信息包括預處理后的年齡、處理后的性別、處理后的聯合特征；
5.根據權利要求4所述的基于多模態信息網絡的青光眼不同階段判別系統，其特征在于：所述超分辨率重建網絡模型用于將預處理后的眼底光相干斷層掃描oct影像訓練集、眼底光相干斷層掃描octa影像訓練集和rnfl影像訓練集作為超分辨率重建網絡模型的輸入，高分辨率的oct影像訓練集、octa影像訓練集和rnfl影像訓練集作為超分辨率重建網絡模型的輸出，獲得訓練好的超分辨率重建網絡模型；具體過程為：
6.根據權利要求5所述的基于多模...
【專利技術屬性】
技術研發人員：杜奕輝，宋旭文，張圣予，楊學博，楊憲強，佟明斯，
申請(專利權)人：哈爾濱工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。