【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像配準(zhǔn)，更具體的，涉及一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型及方法。
技術(shù)介紹
1、醫(yī)學(xué)圖像配準(zhǔn)是各種醫(yī)學(xué)圖像分析應(yīng)用的重要部分，圖像配準(zhǔn)輸入通常包括浮動(dòng)圖像和固定圖像一對圖像，利用變換模型將不同的圖像集合整合到具有相同信息的單個(gè)坐標(biāo)系統(tǒng)下，為醫(yī)生提供更加全面和準(zhǔn)確的病人解剖結(jié)構(gòu)和病變信息，輔助精確的病灶定位、術(shù)前評估和手術(shù)導(dǎo)航。由于不同模態(tài)的醫(yī)學(xué)圖像包含有關(guān)解剖結(jié)構(gòu)和病變組織的互補(bǔ)信息。因此在臨床實(shí)踐中，醫(yī)生需要將不同模態(tài)的圖像配準(zhǔn)融合，借助多模態(tài)圖像豐富的信息來制定精確的診療決策。
2、現(xiàn)有的醫(yī)學(xué)圖像配準(zhǔn)方法可以分為線性配準(zhǔn)（包括剛體配準(zhǔn)、仿射配準(zhǔn)等）和非線性配準(zhǔn)（可變形配準(zhǔn)）。剛體和仿射變換通過學(xué)習(xí)變換的2d/3d矩陣來實(shí)現(xiàn)變形。而非線性變換則需要通過3d矩陣（對于2d可變形配準(zhǔn)）或4d矩陣（對于3d配準(zhǔn)）來表示，也稱為變形場或位移矢量場（dvf）。近年來由于神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的圖像配準(zhǔn)方法逐漸流行，主要包括端到端學(xué)習(xí)、特征匹配、自編碼器、對抗生成網(wǎng)絡(luò)（gan）、卷積長短期記憶網(wǎng)絡(luò)（convlstm）和注意力機(jī)制等方法，主要通過卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型提取圖像特征，并利用設(shè)計(jì)的損失函數(shù)如互信息或均方誤差來衡量配準(zhǔn)質(zhì)量，通過優(yōu)化算法如梯度下降調(diào)整變換模型參數(shù)，實(shí)現(xiàn)源圖像與目標(biāo)圖像之間的精確對齊。這一過程涉及數(shù)據(jù)預(yù)處理、模型訓(xùn)練、配準(zhǔn)應(yīng)用以及配準(zhǔn)精度的評估，旨在提高醫(yī)學(xué)圖像分析的準(zhǔn)確性和效率，為臨床診斷和治療提供支持。
3、然而現(xiàn)有技術(shù)存在不適用于復(fù)雜場景的問題，因此如何專
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)為了解決現(xiàn)有技術(shù)不適用于復(fù)雜場景的問題，提供了一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型及方法，其具有不依賴cpu，適合實(shí)時(shí)應(yīng)用的特點(diǎn)。
2、為實(shí)現(xiàn)上述本專利技術(shù)目的，采用的技術(shù)方案如下：
3、一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，包括細(xì)粒度特征提取模塊、配準(zhǔn)網(wǎng)絡(luò)、實(shí)時(shí)指導(dǎo)優(yōu)化模塊；所述的細(xì)粒度特征提取模塊為多層編碼器-解碼器結(jié)構(gòu)，在每層編碼器中，引入了擠壓和激勵(lì)網(wǎng)絡(luò)網(wǎng)絡(luò)se-net；所述的實(shí)時(shí)指導(dǎo)優(yōu)化模塊包括1個(gè)空間轉(zhuǎn)換網(wǎng)絡(luò)。
4、優(yōu)選的，所述的配準(zhǔn)網(wǎng)絡(luò)基于基于變換的圖像配準(zhǔn)模型transmorph；具體的，采用了刪除了一層滑動(dòng)窗口變換器模塊swin?transformer?block的transmorph。
5、進(jìn)一步的，具體的，所述的細(xì)粒度特征提取模塊具體包括3層編碼器-解碼器結(jié)構(gòu)。
6、更進(jìn)一步的，所述的細(xì)粒度特征提取模塊中，第1層編碼器包括第1擠壓和激勵(lì)卷積塊、第1最大池化層；第2層編碼器包括第2擠壓和激勵(lì)卷積塊、第2最大池化層；第3層編碼器包括第3擠壓和激勵(lì)卷積塊；第1層解碼器包括第1反卷積塊；第2層解碼器包括第2反卷積塊；第3層解碼器包括1個(gè)卷積塊。
7、更進(jìn)一步的，第1擠壓和激勵(lì)卷積塊、第1最大池化層、第2擠壓和激勵(lì)卷積塊、第2最大池化層、第3擠壓和激勵(lì)卷積塊、第1反卷積塊、第2反卷積塊、1個(gè)卷積塊依次連接；第1擠壓和激勵(lì)塊和卷積塊、第2擠壓和激勵(lì)塊和第2反卷積塊之間跳躍連接。
8、更進(jìn)一步的，所述的空間轉(zhuǎn)換網(wǎng)絡(luò)包括依次連接的用于根據(jù)輸入圖像生成變換參數(shù)的定位網(wǎng)絡(luò)、用于根據(jù)生成的參數(shù)對輸入圖像應(yīng)用相應(yīng)的變換的變換應(yīng)用塊、用于執(zhí)行圖像的重采樣的分樣器。
9、一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)方法，基于所述的多模態(tài)圖像配準(zhǔn)模型，包括以下具體步驟：
10、獲取浮動(dòng)圖像和固定圖像；
11、分割浮動(dòng)圖像和固定圖像，獲得浮動(dòng)分割圖像和固定分割圖像；
12、將浮動(dòng)圖像、固定圖像、浮動(dòng)分割圖像、固定分割圖像輸入多模態(tài)圖像配準(zhǔn)模型中；
13、通過細(xì)粒度特征提取模塊提取浮動(dòng)圖像和固定圖像的特征；
14、將提取的特征輸入配準(zhǔn)網(wǎng)絡(luò)中進(jìn)行配準(zhǔn)，得到預(yù)測形變場；
15、將預(yù)測形變場作為偽標(biāo)簽；將、固定圖像、浮動(dòng)分割圖輸入空間轉(zhuǎn)換網(wǎng)絡(luò)中，得到翹曲圖像；
16、將預(yù)測形變場作用在浮動(dòng)圖像的分割圖上進(jìn)行空間網(wǎng)絡(luò)變換得到對應(yīng)的翹曲分割圖；
17、基于翹曲分割圖計(jì)算總優(yōu)化函數(shù)并進(jìn)行迭代訓(xùn)練，得到最終的翹曲圖像。
18、優(yōu)選的，進(jìn)行迭代訓(xùn)練時(shí)，采用adam優(yōu)化器進(jìn)行迭代優(yōu)化，得到優(yōu)化后的形變場。
19、進(jìn)一步的，迭代訓(xùn)練，具體步驟為：
20、計(jì)算固定分割圖和翹曲分割圖之間的相似性指標(biāo)，并且使用mse來測量預(yù)測形變場和優(yōu)化形變場的差異來確保體素與像素間的對齊，得到損失函數(shù)：
21、
22、其中，是的總體素?cái)?shù),代表中的體素,代表and的dice?損失，計(jì)算形變場的雅克比行列式中小于0元素的個(gè)數(shù)和比例，越高代表形變場越粗糙，折疊失真越嚴(yán)重，反之越平滑，；代表體積空間中的體素；令,?并且在和方向上采用相同的估計(jì)方法；，；
23、計(jì)算，并基于通過反向傳播算法計(jì)算損失相對于形變場的梯度；
24、根據(jù)梯度信息，通過adam優(yōu)化器更新配準(zhǔn)網(wǎng)絡(luò)從而更新，進(jìn)行下一輪迭代訓(xùn)練，直到完成迭代指標(biāo)。
25、更進(jìn)一步的，進(jìn)行迭代訓(xùn)練時(shí)，還考慮最小化的能量函數(shù)，計(jì)算損失函數(shù)：
26、
27、并基于和通過反向傳播算法計(jì)算損失相對于形變場的梯度。
28、本專利技術(shù)的有益效果如下：
29、本專利技術(shù)公開了一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，利用細(xì)粒度特征提取模塊來提取多尺度多通道特征，并專注于模態(tài)本身的獨(dú)特特征，同時(shí)引入了一個(gè)實(shí)時(shí)指導(dǎo)優(yōu)化模塊，以優(yōu)化輸出并減少不自然的變形。本專利技術(shù)解決了現(xiàn)有技術(shù)不適用于復(fù)雜場景的問題，且具有不依賴cpu，適合實(shí)時(shí)應(yīng)用的特點(diǎn)。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：包括細(xì)粒度特征提取模塊、配準(zhǔn)網(wǎng)絡(luò)、實(shí)時(shí)指導(dǎo)優(yōu)化模塊；所述的細(xì)粒度特征提取模塊為多層編碼器-解碼器結(jié)構(gòu)，在每層編碼器中，引入了擠壓和激勵(lì)網(wǎng)絡(luò)網(wǎng)絡(luò)SE-Net；所述的實(shí)時(shí)指導(dǎo)優(yōu)化模塊包括1個(gè)空間轉(zhuǎn)換網(wǎng)絡(luò)。
2.?根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：所述的配準(zhǔn)網(wǎng)絡(luò)基于基于變換的圖像配準(zhǔn)模型TransMorph；具體的，采用了刪除了一層滑動(dòng)窗口變換器模塊swin?transformer?block的TransMorph。
3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：具體的，所述的細(xì)粒度特征提取模塊具體包括3層編碼器-解碼器結(jié)構(gòu)。
4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：所述的細(xì)粒度特征提取模塊中，第1層編碼器包括第1擠壓和激勵(lì)卷積塊、第1最大池化層；第2層編碼器包括第2擠壓和激勵(lì)卷積塊、第2最大池化層；第3層編碼器包括第3擠壓和激勵(lì)卷積塊；第1層解碼器包括第1反卷積塊；第2層解碼器包括第2反卷積塊；第3層解碼器包括
5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：第1擠壓和激勵(lì)卷積塊、第1最大池化層、第2擠壓和激勵(lì)卷積塊、第2最大池化層、第3擠壓和激勵(lì)卷積塊、第1反卷積塊、第2反卷積塊、1個(gè)卷積塊依次連接；第1擠壓和激勵(lì)塊和卷積塊、第2擠壓和激勵(lì)塊和第2反卷積塊之間跳躍連接。
6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：所述的空間轉(zhuǎn)換網(wǎng)絡(luò)包括依次連接的用于根據(jù)輸入圖像生成變換參數(shù)的定位網(wǎng)絡(luò)、用于根據(jù)生成的參數(shù)對輸入圖像應(yīng)用相應(yīng)的變換的變換應(yīng)用塊、用于執(zhí)行圖像的重采樣的分樣器。
7.一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)方法，其特征在于：基于如權(quán)利要求1~6任一項(xiàng)所述的多模態(tài)圖像配準(zhǔn)模型，包括以下具體步驟：
8.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)方法，其特征在于：進(jìn)行迭代訓(xùn)練時(shí)，采用Adam優(yōu)化器進(jìn)行迭代優(yōu)化，得到優(yōu)化后的形變場。
9.根據(jù)權(quán)利要求8所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)方法，其特征在于：迭代訓(xùn)練，具體步驟為：
10.根據(jù)權(quán)利要求9所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)方法，其特征在于：進(jìn)行迭代訓(xùn)練時(shí)，還考慮最小化的能量函數(shù)?，計(jì)算損失函數(shù)：
...【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：包括細(xì)粒度特征提取模塊、配準(zhǔn)網(wǎng)絡(luò)、實(shí)時(shí)指導(dǎo)優(yōu)化模塊；所述的細(xì)粒度特征提取模塊為多層編碼器-解碼器結(jié)構(gòu)，在每層編碼器中，引入了擠壓和激勵(lì)網(wǎng)絡(luò)網(wǎng)絡(luò)se-net；所述的實(shí)時(shí)指導(dǎo)優(yōu)化模塊包括1個(gè)空間轉(zhuǎn)換網(wǎng)絡(luò)。
2.?根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：所述的配準(zhǔn)網(wǎng)絡(luò)基于基于變換的圖像配準(zhǔn)模型transmorph；具體的，采用了刪除了一層滑動(dòng)窗口變換器模塊swin?transformer?block的transmorph。
3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：具體的，所述的細(xì)粒度特征提取模塊具體包括3層編碼器-解碼器結(jié)構(gòu)。
4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的多模態(tài)圖像配準(zhǔn)模型，其特征在于：所述的細(xì)粒度特征提取模塊中，第1層編碼器包括第1擠壓和激勵(lì)卷積塊、第1最大池化層；第2層編碼器包括第2擠壓和激勵(lì)卷積塊、第2最大池化層；第3層編碼器包括第3擠壓和激勵(lì)卷積塊；第1層解碼器包括第1反卷積塊；第2層解碼器包括第2反卷積塊；第3層解碼器包括1個(gè)卷積塊。
5.根據(jù)權(quán)利要求4所述的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：梁賢，
申請(專利權(quán))人：廣東工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。