【技術實現步驟摘要】
本專利技術屬于計算機視覺領域，特別是涉及一種基于sam的可提示多臟器影像分割方法。
技術介紹
1、醫學圖像分割旨在利用計算機輔助技術將醫學圖像中的結構或組織準確地劃分為不同的區域或標簽。這使臨床醫生能夠更精確地診斷病變、定位器官或計劃手術。醫學圖像分割對醫學圖像分析、計算機輔助診斷和個性化醫療具有重要意義。
2、2023年，meta?ai發表了一篇名為segment?anything的論文，其中提出的“分割一切”模型(segment?anything?model，sam)引起了巨大轟動。sam是一個圖像分割領域的基礎模型，它具有“可提示、零樣本泛化、下游應用友好”等特點。然而研究表明，sam并不適用于醫學圖像領域，研究人員將這一問題歸因于“領域差距”。盡管sam在訓練階段使用了大量自然圖像數據和圖像掩碼，但醫學領域的ct、mri等圖像并不屬于自然圖像的范疇。
3、視覺轉換器使用嵌入向量來表示每個圖像塊在整個圖像中的相對位置，從而讓模型學習這些信息，這能夠保證模型在處理圖像時善于捕捉全局信息，但對于醫學圖像分割來說，分割區域的邊界精度也是分割效果的一大衡量要素，因此基于視覺轉換器的網絡往往并不能很好的完成醫學圖像分割的任務。此外，視覺轉換器的訓練對硬件要求高，且訓練時間久，大大增加了模型的訓練成本。
技術實現思路
1、為了解決
技術介紹
中存在的問題，提高醫學圖像分割結果的準確性同時降低模型的訓練成本，本專利技術提供一種基于sam的可提示多臟器影像分割方法，包括：
2、所述基于卷積神經網絡的淺層特征提取器用于對待分割的醫學圖像進行預處理得到淺層圖像塊；
3、所述基于視覺轉換器的淺層特征提取器用于對待分割的醫學圖像進行預處理得到淺層嵌入向量；
4、所述雙分支多階段特征編碼器用于將淺層圖像塊和淺層嵌入向量進行特征融合得到混合特征；
5、所述特征解碼器用于根據目標區域的提示向量和混合特征進行解碼得到分割的目標區域圖。
6、優選地，所述基于卷積神經網絡的淺層特征提取器使用4個卷積核大小為2，步長為2的卷積層對待分割的醫學圖像進行預處理，除最后一層卷積外，每層卷積會將輸入特征圖的通道維度拉伸至4倍，最后一層卷積會將輸入特征圖的通道維度拉伸至預設的維度得到淺層圖像塊。
7、優選地，所述基于視覺轉換器的淺層特征提取器將待分割的醫學圖像分割成固定尺寸的圖像塊，然后將每個圖像塊展平成一個一維的圖像塊向量；通過一個線性層將展平后的圖像塊向量映射到一個高維空間中得到淺層嵌入向量rh×w×c，其中，h表示高，w表示寬，c表示通道。
8、優選地，所述雙分支多階段特征編碼器包括：n個級聯的單階段雙分支特征提取器；每個單階段雙分支特征提取器包括：基于卷積神經網絡的特征提取支路、基于視覺轉換器的特征提取支路和自適應特征融合器；
9、在基于卷積神經網絡的特征提取支路中輸入淺層圖像塊被輸入細節提取卷積層中依次經過大小為1×1、3×3、1×1的卷積層，充分提取輸入淺層圖像塊中的局部特征及邊界信息，隨后經過重分配卷積模塊，重分配卷積模塊包括一個3×3的卷積層和一個反卷積層，將輸入特征圖重新映射到大小為16×16的空間中得到第一中間圖像特征；將第一中間圖像特征和輸入的輸入淺層圖像塊進行特征相加得到第二中間圖像特征；
10、在基于視覺轉換器的特征提取支路中輸入淺層嵌入向量會經過視覺轉換器的自注意力層進行線性投影處理，得到特征的q、k、v向量；然后執行視覺轉換器的自注意力運算，提取圖像的全局信息，得到注意力特征向量；再將注意力特征向量輸入微調模塊，分別從通道維度和空間維度進行特征提取得到混合微調嵌入特征，將混合微調嵌入特征和輸入的輸入淺層嵌入向量進行特征相加得到第一中間嵌入特征；將第一中間嵌入特征輸入多層感知機，逐層學習向量的不同抽象層次得到第二中間嵌入特征；將第一中間嵌入特征和第二中間嵌入特征進行特征相加得到第三中間嵌入特征；
11、在自適應特征融合器中將第二中間圖像特征和第三中間嵌入特征進行特征融融合得到下一個單階段雙分支特征提取器的輸入淺層圖像塊和輸入淺層嵌入向量：
12、
13、其中，表示第i個單階段雙分支特征提取器的輸入淺層圖像塊，表示第i個單階段雙分支特征提取器的輸入淺層嵌入向量；當i＝1時，和表示輸入雙分支多階段特征編碼器的淺層圖像塊和淺層嵌入向量；
14、將最后一個單階段雙分支特征提取器輸出的淺層圖像塊和淺層嵌入向量進行特征相加得到混合特征。
15、優選地，所述分別從通道維度和空間維度進行特征提取得到第一中間嵌入特征包括：將注意力特征向量經過平均池化層，然后對通道維度進行權重提取，具體過程如下：
16、xchannel＝xin⊙wchannel
17、wchannel＝sigmoid(linear(ap(xin)))
18、其中xchannel表示經過通道維度處理的特征圖，xin表示注意力特征向量，wchannel表示通道維度的權重。ap表示平均池化層，linear表示線性層；通過獲取每個通道的權重信息，模型會判別出哪個通道的信息更加重要；
19、將經過通道維度處理的特征圖進行空間維度的特征提取，首先經過一個4×4的卷積壓縮空間維度，隨后經過一個反卷積，將空間維度進行恢復得到第一中間圖像特征。
20、優選地，所述特征解碼器采用sam的解碼部分。
21、優選地，所述目標區域的提示向量包括：目標區域的邊界框信息或目標區域內的多個像素點信息。
22、優選地，在訓練醫學圖像分割模型時，對于每個訓練樣本，模型會進行5次迭代訓練，在每次迭代訓練后，模型會在預測掩碼和實際標簽之間的誤差區域中隨機選擇3個像素點信息，拼接到目標區域的提示向量中，作為下一輪訓練的目標區域的提示向量。
23、優選地，在訓練醫學圖像分割模型時所采用的損失函數如下：
24、
25、其中，λf、λd和λi表示損失函數的權重，lf表示focal?loss，ld表示dice?loss，li表示iou?loss；代表模型預測的掩碼，y代表實際標簽。
26、本專利技術至少具有以下有益效果
27、本專利技術針對現有的基于視覺轉換器網絡分割效果不佳且訓練成本大的情況，通過分別提取影像的全局信息和局部特征，并自適應融合特征的方法提高了網絡在醫學臟器影像下的分割精度；通過凍結模型部分參數同時引入微調模塊的方法降低了模型的訓練成本。
本文檔來自技高網...【技術保護點】
1.一種基于SAM的可提示多臟器影像分割方法，其特征在于，包括：將待分割的醫學圖像輸入訓練好的醫學圖像分割模型，得到分割的目標區域圖；其中，所述醫學圖像分割模型包括：基于卷積神經網絡的淺層特征提取器、基于視覺轉換器的淺層特征提取器、雙分支多階段特征編碼器和特征解碼器；
2.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，所述基于卷積神經網絡的淺層特征提取器使用4個卷積核大小為2，步長為2的卷積層對待分割的醫學圖像進行預處理，除最后一層卷積外，每層卷積會將輸入特征圖的通道維度拉伸至4倍，最后一層卷積會將輸入特征圖的通道維度拉伸至預設的維度得到淺層圖像塊。
3.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，所述基于視覺轉換器的淺層特征提取器將待分割的醫學圖像分割成固定尺寸的圖像塊，然后將每個圖像塊展平成一個一維的圖像塊向量；通過一個線性層將展平后的圖像塊向量映射到一個高維空間中得到淺層嵌入向量RH×W×C，其中，H表示高，W表示寬，C表示通道。
4.根據權利要求1所述的一種基于SAM的可提示多臟
5.根據權利要求4所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，所述分別從通道維度和空間維度進行特征提取得到第一中間嵌入特征包括：將注意力特征向量經過平均池化層，然后對通道維度進行權重提取，具體過程如下：
6.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，所述特征解碼器采用SAM的解碼部分。
7.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，所述目標區域的提示向量包括：目標區域的邊界框信息或目標區域內的多個像素點信息。
8.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，在訓練醫學圖像分割模型時，對于每個訓練樣本，模型會進行5次迭代訓練，在每次迭代訓練后，模型會在預測掩碼和實際標簽之間的誤差區域中隨機選擇3個像素點信息，拼接到目標區域的提示向量中，作為下一輪訓練的目標區域的提示向量。
9.根據權利要求1所述的一種基于SAM的可提示多臟器影像分割方法，其特征在于，在訓練醫學圖像分割模型時所采用的損失函數如下：
...【技術特征摘要】
1.一種基于sam的可提示多臟器影像分割方法，其特征在于，包括：將待分割的醫學圖像輸入訓練好的醫學圖像分割模型，得到分割的目標區域圖；其中，所述醫學圖像分割模型包括：基于卷積神經網絡的淺層特征提取器、基于視覺轉換器的淺層特征提取器、雙分支多階段特征編碼器和特征解碼器；
2.根據權利要求1所述的一種基于sam的可提示多臟器影像分割方法，其特征在于，所述基于卷積神經網絡的淺層特征提取器使用4個卷積核大小為2，步長為2的卷積層對待分割的醫學圖像進行預處理，除最后一層卷積外，每層卷積會將輸入特征圖的通道維度拉伸至4倍，最后一層卷積會將輸入特征圖的通道維度拉伸至預設的維度得到淺層圖像塊。
3.根據權利要求1所述的一種基于sam的可提示多臟器影像分割方法，其特征在于，所述基于視覺轉換器的淺層特征提取器將待分割的醫學圖像分割成固定尺寸的圖像塊，然后將每個圖像塊展平成一個一維的圖像塊向量；通過一個線性層將展平后的圖像塊向量映射到一個高維空間中得到淺層嵌入向量rh×w×c，其中，h表示高，w表示寬，c表示通道。
4.根據權利要求1所述的一種基于sam的可提示多臟器影像分割方法，其特征在于，所述雙分支多階段特征編碼器包括：n個級聯的單階段雙分支特征提取器；...
【專利技術屬性】
技術研發人員：方陽，肖惠鐘，秦紅星，饒雪鋒，王昱杰，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。