本發明專利技術公開了一種基于多尺度注意力和積累學習的多任務配準與分割方法，實現了配準與分割任務間的相互促進與增強。本發明專利技術通過雙流共享編碼器實現任務間的高效特征編碼、多尺度注意力模塊引導模型關注于具有挑戰性的區域，并且通過積累學習策略進一步提升配準和分割的精確度，高效地實現了醫學圖像的多任務配準與分割，獲得了優于當前主流方法的配準和分割精度。本發明專利技術對于醫學圖像輔助的疾病診斷、病灶監測以及手術導航具有重要的臨床應用意義和參考價值。
【技術實現步驟摘要】
本專利技術涉及醫學圖像處理的，尤其是指一種基于多尺度注意力和積累學習的多任務配準與分割方法。
技術介紹
1、肺癌是對人類生命威脅最為嚴重的疾病之一，肺癌的初期臨床表現為孤立的球狀結節，即肺結節。在輔助醫師進行肺結節的高效診斷中，準確的配準和分割方法起到了至關重要的作用。
2、醫學圖像配準和分割是醫學圖像處理領域最為關鍵的兩項技術，它們在臨床上都有廣泛應用。其中，醫學圖像配準技術通過建模一個形變場以扭曲浮動圖像與參考圖像對齊，是疾病診斷、放射治療和手術導航中采用的一項關鍵技術。醫學圖像分割技術用于分割特定器官或病灶，廣泛應用于術中輔助定位和病灶生長監測。
3、盡管目前醫學圖像配準和分割方法取得了令人矚目的發展，但它們仍然面臨著一些挑戰。例如，配準通常建模為無監督的形式，其本質上是一個不適定問題；并且在缺乏先驗信息的情況下，配準的可行性將大打折扣。特定器官或病灶的分割需要分割標簽的監督，而分割標簽的獲取需要一定的時間、精力和專業知識；這是一個成本高昂的過程，尤其是對于3d醫學圖像來說。
4、配準和分割還具有高度的相關性和互補性：配準生成的形變場可以為分割任務提供形變增廣，分割獲得的解剖先驗信息可以為配準提供輔助監督。此外，兩任務通常都被建模為相同的結構，都包含了一個編碼器和解碼器。因此，將多任務學習應用到配準與分割上能夠實現這兩項任務間的相互促進與增強。然而，配準通常需要拼接輸入圖像進行特征編碼，而分割則不需要。配準和分割的不同編碼形式導致這兩項任務之間無法建立高效的多任務特征共享機制。
<
br/>技術實現思路
1、本專利技術的目的在于克服現有技術的缺點與不足，提出了一種基于多尺度注意力和積累學習的多任務配準與分割方法，實現了配準與分割任務間的相互促進與增強，獲得了優于最先進多任務配準與分割方法的性能，對于醫學圖像輔助的疾病診斷、病灶監測以及手術導航具有重要的臨床應用意義和參考價值。
2、為實現上述目的，本專利技術所提供的技術方案為：基于多尺度注意力和積累學習的多任務配準與分割方法，包括以下步驟：
3、1)將參考圖像和浮動圖像輸入雙流共享編碼器進行特征提取，分別獲得參考圖像和浮動圖像的編碼特征圖；
4、2)將參考圖像和浮動圖像的編碼特征圖輸入多尺度注意力模塊，提取多尺度解剖注意力；
5、3)將多尺度解剖注意力共享給配準解碼器和分割解碼器，由配準解碼器輸出從浮動圖像到參考圖像的形變場，由分割解碼器輸出參考圖像和浮動圖像的分割結果；
6、4)配準過程由參考圖像和形變圖像的相似性損失形變場的正則化損失共同監督，分割過程由參考圖像和浮動圖像的分割結果與對應分割標簽的分割損失進行監督；其中，采用一致性損失保證配準與分割在解剖結構上的一致性。
7、進一步，在步驟1)中，所述雙流共享編碼器是以swin?transformer為骨干網絡進行構建；將上述雙流共享編碼器定義為dsse(,)，則由其提取的參考圖像和浮動圖像的編碼特征圖表示為：
8、f1,f2,…,f10＝dsse(f,m)
9、式中，f1,f2,…,f5表示從參考圖像提取的不同分辨率水平的編碼特征圖，f6,f7,…,f10表示從浮動圖像提取的不同分辨率水平的編碼特征圖；f為參考圖像，m為浮動圖像。
10、進一步，在步驟2)中，將多尺度注意力模塊定義為msam(,)，則由其提取的多尺度解剖注意力表示為：
11、
12、式中，為用于分割解碼的多尺度解剖注意力圖，為用于配準解碼的多尺度解剖注意力圖；表示來自低一級分辨率水平的分割解碼特征圖，fi表示來自當前分辨率水平的編碼特征圖。
13、進一步，在步驟3)中，所述配準解碼器和分割解碼器均應用了積累學習策略，并且是以卷積為骨干網絡進行構建；上述應用積累學習策略的配準解碼器的解碼過程表示如下：
14、
15、式中，conv(·)代表卷積操作，rh(·)為配準頭，ups(·)代表上采樣操作；ri為當前分辨率水平的配準解碼特征圖，為來自低一級分辨率水平的配準解碼特征圖；φi和分別為上采樣前后的當前分辨率水平的形變場，為來自低一級分辨率水平的形變場；為浮動圖像的多尺度解剖注意力圖，代表形變操作；
16、上述應用積累學習策略的分割解碼器的解碼過程表示如下：
17、
18、式中，sh(·)為分割頭，si為當前分辨率水平的分割解碼特征圖，為來自低一級分辨率水平的分割解碼特征圖；和分別為上采樣前后的當前分辨率水平的形變場，為來自低一級分辨率水平的形變場。
19、進一步，在步驟4)中，所述參考圖像和形變圖像的相似性損失具體表示為：
20、
21、式中，mse(,)為均方誤差算子；為形變圖像，是由浮動圖像m經過形變場φ形變后生成的；ω為參考圖像和浮動圖像所在三維空間，p為ω中的像素，p∈ω；
22、所述形變場的正則化損失具體表示為：
23、
24、式中，為梯度算子，||·||2為l2范數算子，形變場φ被定義為恒等變換i與位移場u的和，即φ＝i+u；因此，通過計算位移場u中像素位移梯度的l2范數以實現對形變場φ的正則化；
25、所述分割損失具體表示為：
26、
27、式中，fl和ml分別為參考圖像和浮動圖像的分割標簽，fs和ms分別為參考圖像和浮動圖像的分割結果；代表dice相似性損失函數，代表二元交叉熵損失函數；
28、所述一致性損失具體表示為：
29、
30、式中，為形變后的浮動圖像分割結果，是由浮動圖像分割結果ms經過形變場φ形變后生成的。
31、本專利技術與現有技術相比，具有如下優點與有益效果：
32、1、本專利技術采用多任務的形式實現配準和分割的聯合學習，充分地利用了配準與分割任務之間的相關性和互補性，實現這兩項任務間的相互促進與增強。
33、2、本專利技術實現了配準與分割任務間的高效特征共享，通過所提出的雙流共享編碼器，打破了配準與分割不同編碼形式的障礙，采用統一的特征編碼形式實現了兩任務間的高效特征共享。
34、3、本專利技術在具有挑戰性的配準和分割區域表現優異，通過所提出的多尺度注意力模塊提取多尺度解剖注意力，并共享給配準解碼器和分割解碼器，引導模型關注于具有挑戰性的配準和分割區域，獲得更高的配準和分割精確度。
35、4、本專利技術將積累學習策略應用到配準和分割解碼器上，通過實現由粗到精的配準來優化配準過程，并通過融合多尺度的分割圖來優化分割過程，進一步提高了配準和分割的精確度。
本文檔來自技高網...
【技術保護點】
1.基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟1)中，所述雙流共享編碼器是以Swin?Transformer為骨干網絡進行構建；將上述雙流共享編碼器定義為DSSE(,)，則由其提取的參考圖像和浮動圖像的編碼特征圖表示為：
3.根據權利要求2所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟2)中，將多尺度注意力模塊定義為MSAM(,)，則由其提取的多尺度解剖注意力表示為：
4.根據權利要求3所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟3)中，所述配準解碼器和分割解碼器均應用了積累學習策略，并且是以卷積為骨干網絡進行構建；上述應用積累學習策略的配準解碼器的解碼過程表示如下：
5.根據權利要求4所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟4)中，所述參考圖像和形變圖像的相似性損失具體表示為：
【技術特征摘要】
1.基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟1)中，所述雙流共享編碼器是以swin?transformer為骨干網絡進行構建；將上述雙流共享編碼器定義為dsse(,)，則由其提取的參考圖像和浮動圖像的編碼特征圖表示為：
3.根據權利要求2所述的基于多尺度注意力和積累學習的多任務配準與分割方法，其特征在于，在步驟2)中，將多...
【專利技術屬性】
技術研發人員：李彬，馮世享，田聯房，
申請(專利權)人：華南理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。