【技術實現步驟摘要】
本說明書實施例涉及醫學圖像識別，尤其是一種乳腺超聲圖像分割模型構建方法、分割方法和裝置。
技術介紹
1、在現代醫學診療中，醫學圖像分割作為輔助診斷的重要技術，能夠有效支持臨床醫生對病變區域的識別和定位，為制定精準治療方案提供關鍵的依據。乳腺癌作為全球女性發病率最高的惡性腫瘤，早期篩查和精準分割對于有效控制和治療乳腺癌具有至關重要的意義。乳腺超聲圖像因其無創、安全的特點，已成為乳腺癌篩查的主要影像方式之一。然而，由于乳腺超聲圖像的對比度低、邊界模糊、形狀復雜且存在大量噪聲，使得傳統的分割方法在精度化方面面臨著較大挑戰。
2、目前，基于深度學習的分割方法，如u-net及其變體在醫學圖像分割中得到了廣泛應用。然而，u-net等傳統模型往往依賴于大量手動標注的高質量數據才能具有較好的分割性能，且難以充分捕捉乳腺超聲圖像的復雜病變特征。此外，這類方法的泛化性較差，常需針對不同的病變類型或數據集進行重新訓練，導致實際應用中的部署和更新成本較高。又例如，近期出現的視覺大模型（sam）在通用分割任務中展現出較強的遷移能力，但該模型通常主要針對自然圖像或多模態醫學圖像的分割任務，若直接應用于乳腺超聲圖像分割，將難以處理其獨特的低對比度與邊界不清晰問題。
3、為解決上述問題，本說明書實施例旨在提出一種乳腺超聲圖像分割模型構建方法、分割方法和裝置。
技術實現思路
1、針對現有技術的上述問題，本說明書實施例的目的在于，提供一種乳腺超聲圖像分割模型構建方法、分割方法和裝置，以解決現有
2、為了解決上述技術問題，本說明書實施例的具體技術方案如下：
3、第一方面，本說明書實施例提供一種乳腺超聲圖像分割模型構建方法，所述乳腺超聲圖像分割模型包括vit編碼器、提示編碼器和掩膜解碼器；
4、將乳腺超聲圖像輸入至所述vit編碼器中以得到圖像特征；
5、將與所述乳腺超聲圖像相對應的提示編碼輸入至所述提示編碼器中以得到提示特征；
6、利用lora模塊對所述掩膜解碼器的多層感知器和轉置卷積層的權重參數進行微調，以及對所述掩膜解碼器的轉換器塊和特征-圖像注意力塊的投影層進行微調，以根據所述圖像特征和所述提示特征輸出對所述乳腺超聲圖像的分割結果；
7、迭代上述步驟，構建得到乳腺超聲圖像分割模型。
8、具體地，利用lora模塊對所述掩膜解碼器的多層感知器和轉置卷積層的權重參數進行微調，進一步包括：
9、根據所述vit編碼器輸出的圖像特征和所述提示編碼器輸出的提示特征，得到整體特征；
10、將所述整體特征輸入至第一lora塊中，得到第一微調輸出；
11、將所述整體特征和所述第一微調輸出輸入至所述轉換器塊中，得到轉換輸出；
12、將所述轉換輸出分別輸入至所述轉置卷積層和第二lora塊中，分別得到轉置卷積輸出和第二微調輸出；
13、將所述第二微調輸出和所述轉換輸出輸入至所述特征-圖像注意力塊中，得到注意力輸出；
14、將經所述多層感知器處理后的所述注意力輸出和所述轉置卷積輸出進行點乘，得到所述分割結果。
15、進一步地，利用lora模塊對所述掩膜解碼器的轉換器塊和特征-圖像注意力塊的投影層進行微調，包括：
16、凍結所述投影層的權重；
17、使得第一lora塊和第二lora塊作用于所述轉換器塊和所述特征-圖像注意力塊的查詢和值的投影層，得到權重更新量；
18、根據所述權重更新量，對所述投影層的權重進行微調。
19、具體地，迭代上述步驟，構建得到乳腺超聲圖像分割模型，包括：
20、獲取訓練數據集，所述訓練數據集包括乳腺超聲圖像和與之對應的標簽，其中，所述乳腺超聲圖像包括良性腫瘤超聲圖像和惡性腫瘤超聲圖像；
21、將所述訓練數據集輸入至初始的乳腺超聲圖像分割模型的vit編碼器中和將訓練數據對應的提示編碼輸入至初始的乳腺超聲圖像分割模型的提示編碼器中，得到初始的乳腺超聲圖像分割模型的掩膜解碼器輸出的預測分割結果；
22、根據所述預測分割結果和所述標簽計算損失函數；
23、利用所述損失函數對所述初始的乳腺超聲圖像分割模型進行迭代訓練，直至達到預設的迭代訓練次數，得到訓練完成的超聲圖像分割模型。
24、進一步地，利用所述損失函數對所述初始的乳腺超聲圖像分割模型進行迭代訓練，包括：
25、固定所述vit編碼器和所述提示編碼器的參數，更新所述掩膜解碼器的參數。
26、優選地，在將所述訓練數據集輸入至初始的乳腺超聲圖像分割模型的vit編碼器中和將訓練數據對應的提示編碼輸入至初始的乳腺超聲圖像分割模型的提示編碼器中之前，所述方法還包括：
27、對獲取的訓練數據集中的數據進行預處理和增廣處理；
28、其中，預處理至少包括對乳腺超聲圖像進行的歸一化處理、尺寸調整處理中的一種或多種，所述增廣處理至少包括對所述乳腺超聲圖像和與之對應的標簽進行的隨機裁剪、亮度調整和對比度變換中的一種或多種的組合。
29、具體地，所述損失函數為：
30、l=(1-α)ldice+αlbce；
31、其中，l為損失函數，α為權重系數，ldice為dice損失函數，lbce為二元交叉熵損失；
32、；
33、；
34、其中，pi為乳腺超聲圖像中第i個像素的預測值，gi為乳腺超聲圖像中第i個像素的真實值。
35、第二方面，本說明書實施例提供一種乳腺超聲圖像分割方法，所述方法包括：
36、獲取待分割的乳腺超聲圖像和與所述待分割的乳腺超聲圖像相對應的提示編碼；
37、將所述待分割的乳腺超聲圖像和所述提示編碼輸入至如上述技術方案所述的乳腺超聲圖像分割模型構建方法所構建得到的乳腺超聲圖像分割模型中；
38、得到所述乳腺超聲圖像分割模型輸出的所述乳腺超聲圖像的分割結果。
39、第三方面，本說明書實施例提供一種乳腺超聲圖像分割模型構建裝置，乳腺超聲圖像分割模型包括vit編碼器、提示編碼器和掩膜解碼器，所述裝置包括；
40、第一輸入模塊，用于將乳腺超聲圖像輸入至所述vit編碼器中以得到圖像特征；
41、第二輸入模塊，用于將與所述乳腺超聲圖像相對應的提示編碼輸入至所述提示編碼器中以得到提示特征；
42、微調和輸出模塊，用于利用lora模塊對所述掩膜解碼器的多層感知器和轉置卷積層的權重參數進行微調，以及對所述掩膜解碼器的轉換器塊和特征-圖像注意力塊的投影層進行微調，以根據所述圖像特征和所述提示特征輸出對所述乳腺超聲圖像的分割結果；
43、構建模塊，用于迭代上述步驟，構建得到乳腺超聲圖像分割模型。
44、第四方面，本說明書實施例提供一種本文檔來自技高網...
【技術保護點】
1.一種乳腺超聲圖像分割模型構建方法，其特征在于，所述乳腺超聲圖像分割模型包括Vit編碼器、提示編碼器和掩膜解碼器；
2.根據權利要求1所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用LoRA模塊對所述掩膜解碼器的多層感知器和轉置卷積層的權重參數進行微調，進一步包括：
3.根據權利要求2所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用LoRA模塊對所述掩膜解碼器的轉換器塊和特征-圖像注意力塊的投影層進行微調，進一步包括：
4.根據權利要求1所述的乳腺超聲圖像分割模型構建方法，其特征在于，迭代上述步驟，構建得到乳腺超聲圖像分割模型，進一步包括：
5.根據權利要求4所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用所述損失函數對所述初始的乳腺超聲圖像分割模型進行迭代訓練，進一步包括：
6.根據權利要求4所述的乳腺超聲圖像分割模型構建方法，其特征在于，在將所述訓練數據集輸入至初始的乳腺超聲圖像分割模型的Vit編碼器中和將訓練數據對應的提示編碼輸入至初始的乳腺超聲圖像分割模型的提示編碼器中之前，所述方法還包括：
...【技術特征摘要】
1.一種乳腺超聲圖像分割模型構建方法，其特征在于，所述乳腺超聲圖像分割模型包括vit編碼器、提示編碼器和掩膜解碼器；
2.根據權利要求1所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用lora模塊對所述掩膜解碼器的多層感知器和轉置卷積層的權重參數進行微調，進一步包括：
3.根據權利要求2所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用lora模塊對所述掩膜解碼器的轉換器塊和特征-圖像注意力塊的投影層進行微調，進一步包括：
4.根據權利要求1所述的乳腺超聲圖像分割模型構建方法，其特征在于，迭代上述步驟，構建得到乳腺超聲圖像分割模型，進一步包括：
5.根據權利要求4所述的乳腺超聲圖像分割模型構建方法，其特征在于，利用所述損失函數對所述初始的乳腺超聲圖像分割模型進行迭代訓練，進一步包括：
6.根據權利要求4所述的乳腺超聲圖像分割模型構建方法，其特征在于，在將所述訓練數據集輸入至初始的乳腺超聲圖像分割模型的vit編碼器中和將訓練數據對應的提示編碼輸入至初始的乳腺超聲圖像分割...
【專利技術屬性】
技術研發人員：吳紅艷，劉先逵，
申請(專利權)人：中國科學院深圳先進技術研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。