System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術屬于醫學圖像分割,具體涉及一種基于少示例領域感知的選擇性自適應醫學圖像分割方法。
技術介紹
1、醫學圖像分割對于診斷和治療計劃至關重要,可利用mri、ct和超聲圖像來識別和描繪人體解剖結構。深度學習(dl)和卷積神經網絡(cnns)的出現,特別是u-net架構,使模型能夠從大型注釋數據集中學習,從而提高了準確性,大大推進了圖像自動分割技術的發展與應用。
2、圖像分割細分領域的一個顯著創新是segment?anything(sam)模型,它采用了一種類似于生成預訓練轉換器(gpt)等大型語言模型的基于提示的方法。sam使用視覺轉換器(vit)主干進行編碼,使用掩碼解碼器生成分割掩碼,以最少的任務特定訓練在不同的數據集上表現出顯著的泛化能力。然而,由于注釋數據集的稀缺性和固有的領域差異,如顏色、紋理和解剖結構的變化,包括sam在內的dl模型在醫學圖像分割中面臨挑戰。這些挑戰強調了半監督、無監督學習和遷移學習策略的必要性,以有效利用相關領域的未標記數據和知識。
3、最近的進展集中在集成特定領域的知識,并使用注意力機制和生成對抗性網絡(gans)等技術來增強模型的可推廣性,并生成真實的合成訓練數據。盡管sam在自然圖像分割方面取得了成功,但它在醫學領域的類似模型仍然是一個挑戰,推動了正在進行的研究,以克服數據稀缺性,增強模型的適應性,并確保醫學圖像分割中的臨床相關性和可解釋性。
技術實現思路
1、本專利技術為了增強模型的適應性,提供了一種基于少示例領域感知
2、本專利技術為實現上述目的,通過以下技術方案實現:
3、第一方面,本專利技術提供一種基于少示例領域感知的選擇性自適應醫學圖像分割方法,包括以下步驟:
4、s1.獲取醫學圖像分割數據集,所述數據集包括訓練集和測試集;
5、s2.構建基于少示例領域感知的選擇性自適應醫學圖像分割模型,所述醫學圖像分割模型包括transformer編碼器和掩碼解碼器,所述transformer編碼器包括高頻適配器、多尺度特征提取適配器以及特征選擇器;
6、s3.利用所述醫學圖像分割數據集的訓練集對基于少示例領域感知的選擇性自適應醫學圖像分割模型進行訓練,得到訓練好的模型;
7、s4.將測試集中的待檢測圖像輸入訓練好的模型中進行推理測試,得到醫學圖像分割結果。
8、進一步地,步驟s1具體包括:
9、所述數據集為不同醫學成像公開數據集,包括腦腫瘤分割brats數據集、肝腫瘤分割lits數據集和rgb彩色圖像數據集kvasir?seg;
10、所述腦腫瘤分割brats數據集為受試者在3d磁共振成像mri模式下的mri掃描;
11、所述肝腫瘤分割lits數據集為肝臟和肝臟腫瘤分割任務的ct掃描;
12、所述rgb彩色圖像數據集kvasir?seg為腸胃道息肉圖像及其相應的分割掩模。
13、進一步地,步驟s2中,訓練集中醫學圖像經過高頻適配器提取和表示圖像高頻特征,同時經過多尺度特征提取適配器提取不同尺度融合的圖像多層次特征,具體為:
14、所述高頻適配器為基于二維快速傅立葉變換fft;所述訓練集中醫學圖像經過高頻適配器,得到高頻特征;
15、所述多尺度特征提取適配器包括一個自適應池化金字塔層和樣條插值函數,所述自適應池化金字塔層包括全局平均池化、平均池化、平均池化、平均池化四個自適應平均池化層,所述四個自適應平均池化層的輸出尺寸分別為1×1、2×2、4x4和8×8;所述訓練集中醫學圖像經過resnet50網絡得到醫學圖像特征圖,所述醫學圖像特征圖經過patch?embedding處理轉換為embedding特征,所述embedding特征經過多尺度特征提取適配器,得到多尺度特征。
16、進一步地,步驟s2所述特征選擇器具體為:
17、所述高頻特征和多尺度特征通過邏輯蒂斯logits函數轉換為高頻特征對應的原始分數和多尺度特征對應的原始分數,并采用gumbel噪聲為和添加噪聲,得到添加噪聲的分數和,然后將添加噪聲的分數和輸入到softmax函數中,得到高頻特征對應的決策分數和多尺度特征對應的決策分數,公式表示如下:
18、,
19、,
20、其中,,表示添加噪聲的分數,表示添加的噪聲,表示可學習的調控參數;將高頻特征對應的決策分數和多尺度特征對應的決策分數分別作為高頻特征和多尺度特征的權重,對高頻特征和多尺度特征進行加權組合,得到加權醫學圖像特征,將加權醫學圖像特征與當前transformer編碼器的輸出結果進行融合,得到融合的醫學圖像特征,將所述融合的醫學圖像特征作為下一個transformer編碼器的輸入,進而得到最終的融合醫學圖像特征。
21、進一步地,所述基于二維快速傅立葉變換fft的高頻適配器具體為:
22、所述測試集中醫學圖像經過二維快速傅立葉變換,將測試集中醫學圖像中的圖像信息從空間域轉換到頻率域,得到頻譜分量,公式表示如下:
23、,
24、其中,表示測試集中醫學圖像中位置為的像素值,表示在頻域位置處的頻譜強度,表示傅里葉變換的核函數,表示虛數單位,和分別表示頻域橫、縱坐標,和分別表示圖像在水平和垂直方向的大小;
25、通過設定閾值,得到頻譜分量中的高頻分量,中的、滿足公式:;
26、通過二維快速傅立葉逆變換將測試集中醫學圖像中的高頻圖像信息從頻率域轉換到空間域,得到高頻特征,公式表示如下:
27、,
28、其中,表示傅里葉逆變換的核函數。
29、進一步地,步驟s2所述掩碼解碼器具體為:
30、所述掩碼解碼器采用sam分割模型解碼器架構,包括兩層transformer解碼器,所述transformer解碼器包括自注意力模塊、mlp模塊、層歸一化模塊以及轉置卷積層模塊;
31、所述最終的融合醫學圖像特征經過掩碼解碼器得到醫學圖像分割結果。
32、進一步地,步驟s2所述掩碼解碼器具體為:
33、所述掩碼解碼器采用sam分割模型解碼器架構,包括兩層transformer解碼器,所述transformer解碼器包括自注意力模塊、mlp模塊、層歸一化模塊以及轉置卷積層模塊;
34、所述最終的融合醫學圖像特征經過掩碼解碼器得到醫學圖像分割結果。
35、進一步地,步驟s3所述醫學圖像分割數據集的訓練集對基于少示例領域感知的選擇性自適應醫學圖像分割模型進行訓練,具體為:
36、在訓練過程中,采用目標函數為dice損失與交叉熵損失的雙重損失函數對模型進行訓練,公式表示如下:
37、,
38、其中,表示dice損失,表示交叉熵損失,表示dice損失的權重系數,表示交叉熵損失的權重系數,+=1;然后采用adam優化算本文檔來自技高網...
【技術保護點】
1.一種基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,所述步驟S1具體包括:
3.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟S2中,訓練集中醫學圖像經過高頻適配器提取和表示圖像高頻特征,同時經過多尺度特征提取適配器提取不同尺度融合的圖像多層次特征,具體為:
4.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟S2所述特征選擇器,具體為:
5.根據權利要求3所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,所述基于二維快速傅立葉變換FFT的高頻適配器具體為:
6.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟S2所述掩碼解碼器,具體為:
7.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟S3所述醫學圖像分割數據集的訓練
8.一種基于少示例領域感知的選擇性自適應醫學圖像分割裝置,其特征在于,包括:
9.一種電子設備,其特征在于,包括:處理器、存儲器和總線,所述存儲器存儲有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述存儲器之間通過總線通信,所述機器可讀指令被所述處理器執行時執行如權利要求1至7中任一項所述的基于少示例領域感知的選擇性自適應醫學圖像分割識別方法。
10.一種計算機可讀存儲介質,其特征在于,該計算機可讀存儲介質上存儲有計算機程序,該計算機程序被處理器運行時執行如權利要求1至7中任一項所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法。
...【技術特征摘要】
1.一種基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,所述步驟s1具體包括:
3.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟s2中,訓練集中醫學圖像經過高頻適配器提取和表示圖像高頻特征,同時經過多尺度特征提取適配器提取不同尺度融合的圖像多層次特征,具體為:
4.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟s2所述特征選擇器,具體為:
5.根據權利要求3所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,所述基于二維快速傅立葉變換fft的高頻適配器具體為:
6.根據權利要求1所述的基于少示例領域感知的選擇性自適應醫學圖像分割方法,其特征在于,步驟...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。