【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于生物醫(yī)學(xué)信息技術(shù)、人工智能，具體而言，涉及一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫系統(tǒng)及勾畫方法。
技術(shù)介紹
1、食管癌是世界上常見的消化道惡性腫瘤之一，其病理類型主要包括食管鱗狀細胞癌(escc)和食管腺癌(eadc)，而我國食管癌患者中約九成為食管鱗狀細胞癌。早期食管鱗癌的治愈率超過90%，然而由于缺乏早期典型癥狀以及生物標(biāo)志物的確實，大多數(shù)診斷出食管鱗癌的患者都在t3-t4期，這導(dǎo)致患者的5年生存率僅為21%左右。目前，上消化道內(nèi)鏡檢查結(jié)合組織病理學(xué)是食管鱗癌診斷的金標(biāo)準(zhǔn)。對于難以發(fā)現(xiàn)的病變主要依靠色素內(nèi)鏡以及電子染色內(nèi)鏡發(fā)現(xiàn)，然后靶向活檢，通過組織病理學(xué)進行診斷。
2、組織病理學(xué)檢查是從患者的機體器官或組織中提取病變標(biāo)本，通過制成病理切片，在顯微鏡下觀察其病理變化以及形態(tài)學(xué)改變，最終確定疾病類型以及嚴重程度。病理切片通常采用不同的染料物質(zhì)染以各種顏色，以顯現(xiàn)不同的病變信息，幫助醫(yī)生進行疾病診斷。例如，對主動脈瘤中膜變性進行診斷時，醫(yī)生常使用蘇木精-伊紅染色(hematoxylin-eosin，h&e)、阿米巴滋養(yǎng)體染色(alcian?blue?and?periodic?acid-schiff，ab-pas)、馬松三色(masson?trichrome)染色,平滑肌肌動蛋白(actin?,smooth?muscle，sma)染色和膠原纖維(van?gieson，vg)染色等五種染色相結(jié)合的方式進行觀察和診斷。然而，在臨床診斷中，使用多種染色的病理圖像不僅增加了醫(yī)生的工作量，其過
3、隨著計算機運算速度的不斷提升和算法設(shè)計的日臻完善，人工智能尤其是深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)輔助診斷和臨床決策中的應(yīng)用日趨成熟。基于深度學(xué)習(xí)的計算機輔助分析系統(tǒng)，能夠有效地處理大規(guī)模高精度的病理圖像，幫助臨床醫(yī)師提高工作效率和診斷準(zhǔn)確率。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫系統(tǒng)及勾畫方法。該方法采用深度學(xué)習(xí)技術(shù)，構(gòu)建多種染色病理圖像的組織自動勾畫網(wǎng)絡(luò)模型，實現(xiàn)多種染色病理圖像不同組織的自動勾畫方法。所述方法為臨床醫(yī)生提供輔助信息，提升人工判讀的效率和準(zhǔn)確率。
2、本專利技術(shù)的目的在于提供用于食管鱗癌病理圖像的組織勾畫的方法，基于食管鱗癌不同患者在h&e圖像上病理的特征，利用深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對食管鱗癌病理圖像的自動勾畫。自動勾畫的結(jié)果可以有效地利用大樣本量的病理圖像數(shù)據(jù)，實現(xiàn)降低樣本數(shù)據(jù)之間的非主觀影響以及人為勾畫的主觀臆斷，提供直觀的可視化結(jié)果，為病理醫(yī)師的診斷以及制片質(zhì)量控制提供有效的輔助。最終實現(xiàn)減少病理醫(yī)師負擔(dān)并為后續(xù)的量化空間組織特征及臨床輔助決策提供了基礎(chǔ)。
3、本專利技術(shù)通過下述技術(shù)方案實現(xiàn)：一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫方法，包括如下步驟：
4、獲取病理圖像，獲取手工勾畫結(jié)果：針對待分類的h&e圖像進行數(shù)據(jù)采集和圖像標(biāo)注；
5、對采集的病理圖像和標(biāo)注結(jié)果進行預(yù)處理，包括染色標(biāo)準(zhǔn)化，切割和顏色歸一化；
6、通過預(yù)處理后的標(biāo)注結(jié)果獲取訓(xùn)練圖像集合和獨立的驗證圖像集合，利用遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)構(gòu)建病理圖像的7種組織自動勾畫模型，對基于深度學(xué)習(xí)的病理圖像組織自動勾畫網(wǎng)絡(luò)模型進行訓(xùn)練和驗證；
7、將預(yù)處理后的待診斷病理圖像輸入到目標(biāo)深度學(xué)習(xí)模型中，獲得每塊切割區(qū)域的自動組織勾畫分類結(jié)果，并對組織自動勾畫分類結(jié)果賦予不同顏色進行空間重構(gòu)，得到圖像的組織勾畫結(jié)果。
8、進一步的，所述針對待分類的圖像進行數(shù)據(jù)采集和圖像標(biāo)注的具體方法為：從信息系統(tǒng)中篩選出病灶位置的病理切片，用掃描儀器實現(xiàn)對病理切片的數(shù)字化，并對病理圖像上的共7種不同組織類型進行手工注釋以及圖像勾畫標(biāo)注，其中7種不同組織類型為：結(jié)締組織con、鱗狀上皮epi、腺體gla、淋巴細胞lym、平滑肌mus、癌癥相關(guān)的基質(zhì)str和腫瘤tum；
9、手工注釋的組織區(qū)域在20倍放大率下被分割成了256×256像素（px）的非重疊圖像斑塊，從40張h&e玻片中創(chuàng)建了包含48,376個組織切片的訓(xùn)練集，從20張h&e玻片中創(chuàng)建了3996個組織切片的測試集；其中：腺體/鱗狀上皮面積>50%或腫瘤區(qū)域<10%的視為質(zhì)量差過濾掉。
10、進一步的，對采集的病理圖像和標(biāo)注結(jié)果進行預(yù)處理的方法為：使用高水平的放大率，將大的整張圖像轉(zhuǎn)換為相同格式的若干小圖像斑塊；
11、構(gòu)建病理圖像數(shù)據(jù)集：對采集的病理圖像和相應(yīng)的標(biāo)注進行位置配準(zhǔn)，使其在相同的坐標(biāo)系下具有一致的空間關(guān)系；
12、對標(biāo)注配準(zhǔn)后的圖像的多種染色病理圖像執(zhí)行切割細分：切割細分使用openslide將隊列中的所有圖片在20倍的放大率下拼成不重疊的256×256像素（px）的圖像斑塊，然后進行顏色標(biāo)準(zhǔn)化處理；剔除空白面比例>50%的斑塊；
13、基于macenko方法的顏色歸一化：將rgb圖像轉(zhuǎn)換為特定顏色空間；計算顏色空間中每個通道的百分位數(shù)，確定鮮艷區(qū)域的閾值；根據(jù)閾值對圖像進行修正，將顏色范圍映射到標(biāo)準(zhǔn)范圍內(nèi)；
14、對切割細分并顏色歸一化后的多種染色病理圖像執(zhí)行數(shù)據(jù)增強操作：數(shù)據(jù)增強操作包括：隨機變換包括10°以內(nèi)的隨機旋轉(zhuǎn)以及水平和垂直翻轉(zhuǎn)。
15、所述通過預(yù)處理后的標(biāo)注結(jié)果獲取訓(xùn)練圖像集合和獨立的驗證圖像集合，所述訓(xùn)練集和測試集不同時包含來自同一患者的圖像塊；
16、對基于深度學(xué)習(xí)的病理圖像自動勾畫網(wǎng)絡(luò)模型進行訓(xùn)練和驗證，采用了深度卷積神經(jīng)網(wǎng)絡(luò)resnet50模型，使用具有標(biāo)簽的病理圖像數(shù)據(jù)集對resnet50模型進行監(jiān)督學(xué)習(xí)，將病理圖像輸入到模型中，模型根據(jù)學(xué)習(xí)到的權(quán)重和特征表示，自動進行組織自動勾畫；訓(xùn)練過程使用反向傳播算法和優(yōu)化器進行參數(shù)更新；
17、使用獨立驗證圖像集合對網(wǎng)絡(luò)模型訓(xùn)練效果進行驗證：用獨立的測試數(shù)據(jù)集對訓(xùn)練好的模型進行評估，將測試圖像輸入到模型中，計算模型的分類準(zhǔn)確性、召回率、精確度，評估其組織自動勾畫的性能和準(zhǔn)確性。
18、所述將預(yù)處理后的待診斷病理圖像輸入到目標(biāo)深度學(xué)習(xí)模型中，獲得每塊切割區(qū)域的自動勾畫結(jié)果，具體包括：使用訓(xùn)練完成的病理圖像自動勾畫網(wǎng)絡(luò)模型對經(jīng)過預(yù)處理后病理圖像切割小塊的組織自動分類，多個病理圖像組織成批次進行處理；目標(biāo)深度學(xué)習(xí)模型將輸出自動組織分類的結(jié)果；
19、自動勾畫完成后，將每個圖像補丁的位置信息與模型輸出的自動組織分類結(jié)果進行一一對應(yīng)；將所有圖像補丁重新組合成一個整體的圖像，從而得到組織勾畫的結(jié)果，使用不同的顏色來突出顯示各種組織類型；
20、其中：每個圖像補丁代表著原始病理圖像中的一個小區(qū)域，經(jīng)過自動勾畫網(wǎng)絡(luò)模型的處理本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫方法，其特征在于：包括如下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述針對待分類的圖像進行數(shù)據(jù)采集和圖像標(biāo)注的具體方法為：從信息系統(tǒng)中篩選出病灶位置的病理切片，用掃描儀器實現(xiàn)對病理切片的數(shù)字化，并對病理圖像上的共7種不同組織類型進行手工注釋以及圖像勾畫標(biāo)注，其中7種不同組織類型為：結(jié)締組織CON、鱗狀上皮EPI、腺體GLA、淋巴細胞LYM、平滑肌MUS、癌癥相關(guān)的基質(zhì)STR和腫瘤TUM；
3.根據(jù)權(quán)利要求1所述的方法，其特征在于：對采集的病理圖像和標(biāo)注結(jié)果進行預(yù)處理的方法為：使用Openslide將隊列中的所有圖片在20倍的放大率下拼成不重疊的256×256像素（px）的圖像斑塊，然后進行顏色標(biāo)準(zhǔn)化處理；剔除空白面比例>50%的斑塊；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述通過預(yù)處理后的標(biāo)注結(jié)果獲取訓(xùn)練圖像集合和獨立的驗證圖像集合，所述訓(xùn)練集和測試集不同時包含來自同一患者的圖像塊；
5.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述將預(yù)處理后的待診斷病理圖像
6.利用權(quán)利要求1-5所述任意方法獲得的用于食管鱗癌病理圖像訓(xùn)練的圖像組織自動勾畫系統(tǒng)。
7.根據(jù)權(quán)利要求6所述的用于食管鱗癌病理圖像訓(xùn)練的圖像組織自動勾畫系統(tǒng)，其特征在于：該系統(tǒng)包括：
...【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫方法，其特征在于：包括如下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述針對待分類的圖像進行數(shù)據(jù)采集和圖像標(biāo)注的具體方法為：從信息系統(tǒng)中篩選出病灶位置的病理切片，用掃描儀器實現(xiàn)對病理切片的數(shù)字化，并對病理圖像上的共7種不同組織類型進行手工注釋以及圖像勾畫標(biāo)注，其中7種不同組織類型為：結(jié)締組織con、鱗狀上皮epi、腺體gla、淋巴細胞lym、平滑肌mus、癌癥相關(guān)的基質(zhì)str和腫瘤tum；
3.根據(jù)權(quán)利要求1所述的方法，其特征在于：對采集的病理圖像和標(biāo)注結(jié)果進行預(yù)處理的方法為：使用openslide將隊列中的所有圖片在20倍的放大率下拼成不重疊的256×256像素（px）的圖像斑塊，然后進行顏色標(biāo)準(zhǔn)化處理；剔除空白面比例...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王鑫，崔永萍，齊林，崔鶴洋，曹逸，成曉龍，
申請(專利權(quán))人：山西醫(yī)科大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。