System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及一種醫學圖像自動分割方法,特別是一種基于通道混合和自注意力機制的u型網絡的醫學圖像自動分割方法。
技術介紹
1、卷積神經網絡(cnn)已被證明在醫學圖像分割中非常有效,這得益于它們在全面建模通道信息和理解局部空間關系方面的強大能力。然而,受限于感受野大小,傳統的卷積在捕獲長距離相關性和全局上下文方面存在局限性。近年來,transformers憑借其在建模長距離依賴關系和隱式空間關系的能力在醫學圖像分割中顯示出良好的前景。而在transformer模型中,備受關注的就是其自注意力設計,特別是局部窗口自注意力,通過其高效的計算和出色的空間信息捕獲能力,正逐漸成為計算機視覺中的關鍵組成部分。然而盡管transformer取得了重大進展,但目前研究主要集中在自注意力的空間維度上,而缺乏對于通道維度的關注。其中正在被廣泛使用的局部窗口自注意力機制在通道維度上共享權重,這限制了它的通道建模的能力。此外,當前的多頭自注意力機制通常采用切分通道維度的方式實現,然而由于通道信息之間缺乏交互,通道特征沒有得到充分利用。有研究發現一些注意力頭傾向于學習相似的線性投影,從而導致注意力圖冗余。因此,如何有效地緩解自注意力在通道特征建模中的限制,仍需進一步探索。近幾年主要出現了如下幾種方法:
2、(1)基于注意力頭順序拆分的方法:通過對每個注意力頭執行串行計算,并將上一個頭的計算結果輸入到下一個頭的計算中。這種串行級聯的方式可以增加不同注意力頭部之間的信息交互,從而減少通道冗余,提高計算效率。
3、(2)基于注意力頭分
4、以上的兩個做法都有著其局限性,導致模型在醫學圖像分割任務上的表現有限。串行級聯的方法雖然通過順序交互促進了信息交換,但這種方法破壞了多頭注意力計算的并行性,降低了計算效率。另一方面,雖然在最后使用特征聚合模塊有助于融合多個頭部的特征信息。但是考慮到現行的transformer模型中,多頭注意力層的使用通常是一系列的連續過程。在這個過程的中仍然缺乏多個頭部之間的信息交互。因此,有必要設計一種適當的結構,能夠良好的利用多頭注意力層并行計算的優勢,同時促進多個頭部之間的信息交流,本專利技術旨在提出一種新方法以克服此困難并帶來更好推理結果。
技術實現思路
1、本專利技術的目的在于提供一種基于通道混合和自注意力機制的u型網絡的醫學圖像自動分割方法。實現本專利技術目的的技術解決方案為:對采樣后的圖像塊特征通過基于通道分組和通道擾動的自注意力層思想構建的模型進行特征提取,包括以下步驟:
2、步驟1、基于已有醫學圖像數據集,對數據進行預處理。
3、步驟2、將處理完數據劃分為訓練集,驗證集和測試集。
4、步驟3、基于訓練集訓練設計好的分割網絡模型:
5、步驟3.1、使用多級的編碼器網絡進行圖形特征的提取。
6、步驟3.2、在每個編碼器中首先通過前置的補丁嵌入模塊進行位置信息的提取,中間的基于通道混合和通道洗牌的自注意力層提取全局空間信息和局部通道信息后,后置的卷積層提取局部空間信息并整合全局通道特征信息。
7、步驟3.3、使用和編碼器對稱的解碼器結構進行特征的恢復,同時使用高效融合模塊傳遞編碼器層級中的細節信息。
8、步驟3.4、基于損失函數計算損失后使用梯度下降算法收斂模型。
9、步驟4、重復步驟3訓練分割網絡模型。
10、步驟5、使用訓練后的分割網絡對測試數據進行測試。
11、與現有技術相比,本專利技術的顯著優點在于:
12、(1)為了解決多頭注意力通道冗余,提出了基于通道分組和通道擾動的策略,該策略可以充分的利用多頭注意力之間的并行計算的優勢,并無需額外參數的引入即可實現多個頭部之間的信息交流。
13、(2)結合不同維度卷積的全局通道融合模塊。該模塊由不同維度的卷積構成,每一個編碼器階段的最后使用,不僅可以更加全面的融合來自不同頭部的特征信息,還能進一步提取模型的局部空間信息。這樣的組合有利于結合卷積網絡和transformer網絡各自的優勢。
14、(3)補充了一個交叉空間和通道注意力的高效特征融合模塊,以進一步加強解碼器中特征信息的恢復。
15、下面結合附圖對本專利技術作進一步詳細描述。
本文檔來自技高網...【技術保護點】
1.一種基于通道混合和自注意力機制的醫學圖像自動分割方法,其特征包括以下步驟:
2.根據權利要求1所述的基于通道混合和自注意力機制的醫學圖像自動分割方法,其特征在于:步驟3中所述訓練的網絡模型,其具體方法為:
3.根據權利要求1所述的基于通道混合和自注意力機制的醫學圖像自動分割方法,其特征在于:步驟3.2中所述的分割網絡中每個編碼器中的特征提取模塊,其具體方法為:
【技術特征摘要】
1.一種基于通道混合和自注意力機制的醫學圖像自動分割方法,其特征包括以下步驟:
2.根據權利要求1所述的基于通道混合和自注意力機制的醫學圖像自動分割方法,其特征在于:步驟3中所述訓練的...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。