【技術實現步驟摘要】
本專利技術屬于計算機輔助診斷和圖像數據處理領域，具體涉及一種對胰腺超聲內鏡圖像進行病灶檢測的方法及裝置。
技術介紹
1、胰腺癌惡性程度較高，進展迅速，對放療、化療等治療手段不敏感。它的發病隱匿，早期癥狀不典型，因此發病率、致死率在世界范圍內呈明顯的升高態勢。超聲內鏡(endoscopic?ultrasound，eus)作為近距離檢查胰腺的方法，是目前發現胰腺實性占位病灶最有效的檢查。與普通內鏡不同，超聲聲像圖是以不同灰度為表現的，醫生很難識別對聚類分析超聲圖像非常有用的二階以上的紋理信息，這對醫生是一個巨大的挑戰。
2、醫學影像中包含豐富的病患信息，也有許多無關的信息。為了給醫生提供更加直觀和明確的輔助診斷信息，將醫學影像中病灶的類別以及病灶的區域進行識別檢測非常重要。對胰腺病變的分類可以揭示胰腺病變的狀態，對胰腺病變的分割可以提供胰腺病變區域大小、形狀等細節特征分析。二者信息結合可以更好的輔助臨床醫生對病變進行診斷。
3、多任務學習(multitask?learning，mtl)是一種機器學習方法，旨在利用任務訓練過程中所包含的相關性信息提高模型泛化能力，目前常用的方法是通過共享表征進行訓練任務，該方法通過在訓練過程中學習不同任務間關聯知識，進而提高模型泛化能力。但是大多多任務框架都是基于多模型，沒有考慮多任務共享網絡的優勢，并且此類方法復雜的網絡結構導致實時性差，無法滿足臨床診斷需求，這也導致了許多模型無法在臨床落地應用。
4、交互式機器學習是一種將人機交互思想與技術與機器學習相結合的方法
5、醫學影像成像技術已經成為臨床診斷的重要輔助方法，被越來越多地用于臨床工作，醫生對于自動化或半自動化數據分析的需求越來越大。超聲內鏡影像中包含豐富的病患信息，但同時也有許多無關的信息，這給醫生的診斷工作帶來了更多的負荷，深度學習自提出以來在圖像處理領域展現了巨大的優勢。目前廣泛使用的模型，如resunet和resnet，通常是面向單任務的。對胰腺病變的分類可以揭示胰腺病變的狀態，對胰腺病變的分割可以對其大小和形態的全面分析，這對于有效的診斷和治療計劃都至關重要。雖然目前有一些基于多任務方法的框架能夠解決這一問題，但是大多多任務框架都是基于多模型，沒有考慮多任務共享網絡的優勢，并且此類方法復雜的網絡結構導致實時性差，無法滿足臨床診斷需求，這也導致了許多模型無法在臨床落地應用。
6、此外，目前的輔助診斷模型大多是在特定數據集上訓練的，模型的普適性受到限制，一旦在臨床環境中部署，這些模型的增強和優化就會受到限制。并且在這些模型的持續應用中，臨床醫生專業知識的整合不足還會進一步有影響模型的應用。
技術實現思路
1、本專利技術的目的提出一種對胰腺超聲內鏡圖像進行病灶檢測的方法及系統，能夠利用算法模型參數共享的優勢在更短的時間內同時對超聲內鏡圖像進行分類和分割，準確識別胰腺超聲內鏡圖像中顯示的病灶。
2、本專利技術實現上述目的采用的技術方案是：
3、一種對胰腺超聲內鏡圖像進行病灶檢測的方法，包括以下步驟：
4、1)構建帶有病灶區域及類型真實標簽的胰腺超聲內鏡圖像數據集并作為訓練數據集；
5、2)構建病灶檢測模型，該模型包括殘差神經網絡resnet、特征金字塔網絡fpn、金字塔池化模塊ppm、融合模塊fuse、分類頭模塊和分割頭模型；其中，
6、resnet網絡用于提取胰腺超聲內鏡圖像的多尺度特征；
7、fpn網絡用于對多尺度特征進行編碼，生成多尺度的編碼特征；
8、ppm模塊用于對多尺度的編碼特征進行處理，生成一個包含多尺度信息的特征圖；
9、fuse模塊用于將ppm模塊生成的特征圖與fpn網絡生成的多尺度的編碼特征進行融合，生成融合特征圖；
10、分類頭模塊用于根據ppm模塊生成的特征圖進行疾病分類；
11、分割頭模塊用于根據融合特征圖對胰腺超聲內鏡圖像中的病灶區域進行分割；
12、3)利用訓練數據集對病灶檢測模型進行訓練，構建由分類損失函數和分割損失函數組成的多任務損失函數，以多任務損失最小為目標函數來優化模型參數；
13、4)利用訓練好的病灶檢測模型處理胰腺超聲內鏡圖像，生成疾病分類結果和圖像中病灶區域分割結果。
14、進一步地，ppm模塊的處理步驟包括：
15、對輸入的多尺度特征進行并行池化處理，生成多尺度深度特征；
16、對每個池化層生成的深度特征進行卷積處理，生成多個抽象特征；
17、將每個卷積生成的抽象特征插值到與輸入的多尺度特征相同的尺寸；
18、將插值后的多個特征與輸入的多尺度特征在深度方向上進行拼接，生成一個包含多尺度信息的特征圖。
19、進一步地，使用雙線性方法將ppm模塊生成的特征圖插值為與fpn網絡生成的多尺度的編碼特征相同大小的特征，并將差值生成的特征與編碼特征連接一起生成新的特征圖，將該新的特征圖輸入到fuse模塊中與fpn網絡生成的多尺度的編碼特征進行融合。
20、進一步地，分類損失函數和分割損失函數均采用bce損失函數
21、
22、其中，yi是訓練數據集中第i個樣本的真實標簽，pi是分類頭模塊預測的分類概率值或分割頭模塊預測的分割概率值，n是樣本總數，log底數不限。
23、進一步地，訓練好的病灶檢測模型在臨床環境使用時，通過對生成的疾病分類結果和圖像病灶區域分割結果進行修改，作為微調數據重新輸入到模型中進行微調訓練，優化分類頭模塊和分割頭模塊的參數。
24、一種對胰腺超聲內鏡圖像進行病灶檢測的裝置，包括：經過訓練的病灶檢測模型，該模型包括殘差神經網絡resnet、特征金字塔網絡fpn、金字塔池化模塊ppm、融合模塊fuse、分類頭模塊和分割頭模型；其中，resnet網絡用于提取胰腺超聲內鏡圖像的多尺度特征；fpn網絡用于對多尺度特征進行編碼，生成多尺度的編碼特征；ppm模塊用于對多尺度的編碼特征進行處理，生成一個包含多尺度信息的特征圖；fuse模塊用于將ppm模塊生成的特征圖與fpn網絡生成的多尺度的編碼特征進行融合，生成融合特征圖；分類頭模塊用于根據ppm模塊生成的特征圖進行疾病分類；分割頭模塊用于根據融合特征圖對胰腺超聲內鏡圖像中的病灶區域進行分割。
25、進一步地，ppm模塊包括：
26、多個并行的池化層：用于處理輸入的多尺度特征，生成多尺度深度特征；
27、卷積層：每個池化層后接一個卷積層，用于對深度特征進行處理，提取抽象特征；
28、插值層：用于將本文檔來自技高網...
【技術保護點】
1.一種對胰腺超聲內鏡圖像進行病灶檢測的方法，其特征在于，包括以下步驟：
2.如權利要求1所述的方法，其特征在于，PPM模塊的處理步驟包括：
3.如權利要求1所述的方法，其特征在于，使用雙線性方法將PPM模塊生成的特征圖插值為與FPN網絡生成的多尺度的編碼特征相同大小的特征，并將差值生成的特征與編碼特征連接一起生成新的特征圖，將該新的特征圖輸入到Fuse模塊中與FPN網絡生成的多尺度的編碼特征進行融合。
4.如權利要求1所述的方法，其特征在于，分類損失函數和分割損失函數均采用BCE損失函數
5.如權利要求1所述的方法，其特征在于，訓練好的病灶檢測模型在臨床環境使用時，通過對生成的疾病分類結果和圖像病灶區域分割結果進行修改，作為微調數據重新輸入到模型中進行微調訓練，優化分類頭模塊和分割頭模塊的參數。
6.一種對胰腺超聲內鏡圖像進行病灶檢測的裝置，實現權利要求1-5任一項所述的方法，其特征在于，包括：經過訓練的病灶檢測模型，該模型包括殘差神經網絡ResNet、特征金字塔網絡FPN、金字塔池化模塊PPM、融合模塊Fuse、分類
7.如權利要求6所述的系統，其特征在于，PPM模塊包括：
8.如權利要求6所述的系統，其特征在于，Fuse模塊包括多個卷積塊，每個卷積塊用于處理不同尺度的特征。
9.如權利要求6所述的系統，其特征在于，分類頭模塊包括一個卷積層、一個自適應全局平均池化層和一個用于疾病分類的卷積層。
10.如權利要求6所述的系統，其特征在于，分割頭模塊包括一個用于分割圖像中病灶區域的卷積層。
...【技術特征摘要】
1.一種對胰腺超聲內鏡圖像進行病灶檢測的方法，其特征在于，包括以下步驟：
2.如權利要求1所述的方法，其特征在于，ppm模塊的處理步驟包括：
3.如權利要求1所述的方法，其特征在于，使用雙線性方法將ppm模塊生成的特征圖插值為與fpn網絡生成的多尺度的編碼特征相同大小的特征，并將差值生成的特征與編碼特征連接一起生成新的特征圖，將該新的特征圖輸入到fuse模塊中與fpn網絡生成的多尺度的編碼特征進行融合。
4.如權利要求1所述的方法，其特征在于，分類損失函數和分割損失函數均采用bce損失函數
5.如權利要求1所述的方法，其特征在于，訓練好的病灶檢測模型在臨床環境使用時，通過對生成的疾病分類結果和圖像病灶區域分割結果進行修改，作為微調數據重新輸入到模型中進行微調訓練，優化分類頭模塊和分割頭模塊的參數。
6.一種對胰腺超聲內鏡圖像進行病灶檢測的裝置，實現權利要求1-5任一項所述的方法，其特征在于，包括：經過訓練的病灶檢測模型，該模型包括殘差神經網絡resnet...
【專利技術屬性】
技術研發人員：張晟瑜，施文，吳晰，孫偉，李信金，蔣青偉，郭濤，馮云路，伍東升，王強，田豐，楊愛明，
申請(專利權)人：中國醫學科學院北京協和醫院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。