【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于醫(yī)學(xué)圖像分割，尤其涉及一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法。
技術(shù)介紹
1、醫(yī)學(xué)圖像分割的目的是提取醫(yī)學(xué)圖像中感興趣的區(qū)域，用于計算機輔助診斷。此外，也可幫助醫(yī)療保健專業(yè)人員進行損傷可視化、疾病監(jiān)測和治療計劃。
2、卷積神經(jīng)網(wǎng)絡(luò)(cnn)，具有強大的表征提取能力，在醫(yī)學(xué)圖像分析方面取得了巨大的成功。其中，u型網(wǎng)絡(luò)(unet)應(yīng)用最為廣泛，它由一個對稱的編碼器-解碼器網(wǎng)絡(luò)組成，不同尺度的高分辨率特征用跳躍連接聚合來增強細(xì)節(jié)保留。它的衍生網(wǎng)絡(luò)模型(如unet++、attention?unet、res-unet)，相繼獲得了各種分割任務(wù)的最先進性能，但基于cnn的方法由于固有的歸納偏置導(dǎo)致其全局建模能力不佳。特別是對于在紋理、形狀和大小等涉及到全局視野方面分割性能不佳。
3、transformer，一種全新的架構(gòu)，僅需要注意力機制來建模全局依賴關(guān)系，而不需要任何卷積操作，在自然語言處理(nlp)領(lǐng)域取得了巨大成功。研究人員試圖將transformer引入計算機視覺(cv)領(lǐng)域，結(jié)果表明，在大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練的條件下，transformer在計算機視覺cv方面比cnn提供了更好的性能，已經(jīng)成為一種替代架構(gòu)。其中，vision?transformer(vit)將圖像分割成一系列令牌以適應(yīng)輸入要求，并通過堆疊transformer塊對它們的全局依賴關(guān)系進行建模。vit在圖像分類任務(wù)上實現(xiàn)了令人印象深刻的性能，但需要大的數(shù)據(jù)集進行預(yù)訓(xùn)練。vit在圖像分類方面的結(jié)果效果突出，但由于其低分辨率特征
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題，本專利技術(shù)提出了一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，該包括：將待分割的醫(yī)學(xué)圖像輸入預(yù)訓(xùn)練的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)，輸出醫(yī)學(xué)圖像分割結(jié)果；
2、所述醫(yī)學(xué)圖像分割網(wǎng)絡(luò)采用雙聚合混合u型網(wǎng)絡(luò)，其分別包括兩個并行的編碼器和單個解碼器，兩個并行的編碼器分別為卷積神經(jīng)網(wǎng)絡(luò)cnn和transformer；
3、通過卷積神經(jīng)網(wǎng)絡(luò)cnn和transformer分別同時提取醫(yī)學(xué)圖像的局部特征和全局特征；
4、通過協(xié)同特征聚合模塊cfa和非協(xié)同特征聚合模塊ncfa對所提取的局部特征和全局特征進行多尺度特征融合；
5、將經(jīng)過多尺度特征融合的特征輸入解碼器，輸出醫(yī)學(xué)圖像分割結(jié)果。
6、所述醫(yī)學(xué)圖像分割網(wǎng)絡(luò)的訓(xùn)練過程包括：
7、s1：采集醫(yī)學(xué)圖像集，對其標(biāo)注和預(yù)處理后保存至醫(yī)學(xué)圖像數(shù)據(jù)庫；
8、s2：從醫(yī)學(xué)圖像數(shù)據(jù)庫中篩選圖像，經(jīng)數(shù)據(jù)增強后得到訓(xùn)練集和測試集；
9、s3：從訓(xùn)練集中選擇醫(yī)學(xué)圖像及其分割圖像，分別輸入醫(yī)學(xué)圖像分割網(wǎng)絡(luò)，分別通過cnn和transformer分別經(jīng)過4次下采樣后提取醫(yī)學(xué)圖像的全局特征和局部特征；
10、s4：通過協(xié)同聚合模塊cfa和非協(xié)同聚合模塊ncfa對提取的全局特征和局部特征進行特征融合；
11、s5：將經(jīng)特征融合后的特征輸入解碼器，分別得到醫(yī)學(xué)圖像及其分割圖像的預(yù)測分割結(jié)果；
12、s6：計算所述醫(yī)學(xué)圖像及其分割圖像的預(yù)測分割結(jié)果之間的損失，通過該損失反向傳播優(yōu)化所述醫(yī)學(xué)圖像分割網(wǎng)絡(luò)。
13、本專利技術(shù)的有益效果：
14、首先，本專利技術(shù)采用雙編碼器-單解碼器的u型網(wǎng)絡(luò)架進行醫(yī)學(xué)圖像分割，其中，雙編碼器包括cnn和transformer；該架構(gòu)可以將cnn的邊緣局部語義信息與transformer的全局上下文交互相結(jié)合，從而增強了互補特征的集成，獲得更好的分割性能。在醫(yī)學(xué)圖像分割中，這種方法在處理不規(guī)則和具有挑戰(zhàn)性的邊界時表現(xiàn)更加優(yōu)越。
15、其次，本專利技術(shù)提出一種異構(gòu)分層下采樣特征協(xié)同融合和非協(xié)同融合方法，即將cnn和transformer所采集分層特征以基于多注意力機制的協(xié)同和非協(xié)同方式融合共同處理，它有效地融合了粗粒度和細(xì)粒度的特征表示，明顯提高了醫(yī)學(xué)圖像分割的準(zhǔn)確性。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述醫(yī)學(xué)圖像分割網(wǎng)絡(luò)的訓(xùn)練過程包括：
3.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)CNN包括一個root層和三個body層，root層包括7×7的卷積核conv、組歸一化層GN和Relu激活函數(shù)層；body層包括N個瓶頸塊bottleneck；每個瓶頸塊包括3層級聯(lián)的深度可分離卷積核DWConv、組歸一化層GN和Relu激活函數(shù)。
4.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述協(xié)作特征聚合模塊CFA包括N層級聯(lián)的層歸一化層LN和多頭通道注意力MCA，再分別連接層歸一化層LN和多層感知機MLP。
5.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述非協(xié)作特征聚合模塊NCFA包括拼接層contact、N層級聯(lián)的層歸一化層LN、多頭
6.根據(jù)權(quán)利要求2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述醫(yī)學(xué)圖像集具體為包括病灶的X射線圖像、CT圖像、MRI圖像和超聲波圖像。
7.根據(jù)權(quán)利要求2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，對采集的醫(yī)學(xué)圖像進行人工標(biāo)注，其具體為：
8.根據(jù)權(quán)利要求2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，對采集的醫(yī)學(xué)圖像進行預(yù)處理，其具體為：
9.根據(jù)權(quán)利要求2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，從醫(yī)學(xué)圖像數(shù)據(jù)庫中篩選圖像，對其進行數(shù)據(jù)增強，其具體為：去除醫(yī)學(xué)圖像中相似、重復(fù)和背景單一的類別，并對該醫(yī)學(xué)圖像做水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)45度、對比度增強或添加噪聲。
...【技術(shù)特征摘要】
1.一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述醫(yī)學(xué)圖像分割網(wǎng)絡(luò)的訓(xùn)練過程包括：
3.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)cnn包括一個root層和三個body層，root層包括7×7的卷積核conv、組歸一化層gn和relu激活函數(shù)層；body層包括n個瓶頸塊bottleneck；每個瓶頸塊包括3層級聯(lián)的深度可分離卷積核dwconv、組歸一化層gn和relu激活函數(shù)。
4.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，所述協(xié)作特征聚合模塊cfa包括n層級聯(lián)的層歸一化層ln和多頭通道注意力mca，再分別連接層歸一化層ln和多層感知機mlp。
5.根據(jù)權(quán)利要求1或2所述的一種基于雙聚合混合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動分割方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉俊，羅鄧，
申請(專利權(quán))人：重慶郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。