【技術實現步驟摘要】
本專利技術涉及圖像處理，特別是涉及一種基于多注意力機制的視網膜血管分割方法、系統。
技術介紹
1、在視網膜血管分割中，由于深度學習的出現，解決了手工特征設計困難且難以泛化的問題，克服了傳統專利技術適用領域窄、通用性差的問題。特別是具有代表性的unet出現，減少了血管細節的丟失，因其在小規模數據集上表現良好，有力推動了深度學習在圖像分割中的應用。
2、雖然unet的編解碼器結構，通過卷積和下采樣操作獲得了高級特征表示，并將不同層級信息進行了融合，但其在注意到局部信息的同時，卻造成了視網膜血管全局結構信息的丟失，導致血管分割不連續。為了在關注局部信息的同時，保留全局結構信息，圖卷積網絡通過選擇視網膜圖像中的輪廓點來構造圖，融合結構信息來保留全局結構信息，依次提升分割性能。但在gcn網絡中，節點對其鄰域所分配的權重完全相同，無法處理不同節點之間的異質性關系，限制了對長距離依賴關系的捕捉，從而導致血管細節的丟失以及分割不連續等問題的出現。因此有必要設計一種能夠解決長距離依賴關系，捕捉局部信息與全局信息的血管分割模型。
技術實現思路
1、為解決現有技術存在的上述問題，本專利技術提供了一種基于多注意力機制的視網膜血管分割方法、系統。
2、為實現上述目的，本專利技術專利提供如下技術方案：
3、一種基于多注意力機制的視網膜血管分割方法，包括：
4、獲取待分割的視網膜血管圖像；
5、獲取血管分割模型；所述血管分割模型由視網膜血管數據集訓練編
6、將所述視網膜血管圖像輸入至所述血管分割模型中得到血管分割結果。
7、優選地，獲取血管分割模型之前，還包括：
8、獲取待分割的視網膜血管圖像，將視網膜血管數據集進行數據增強；并將所述視網膜血管數據集劃分為訓練集和測試集；
9、優選地，獲取血管分割模型，還包括：
10、casp注意力模塊，用于獲取具有通道間依賴關系的通道空間注意力信息；
11、ngat模塊，用于獲取能夠靈活分配注意力的圖注意力信息；
12、gaca綜合注意力模塊，用于獲取多角度的注意力信息；
13、gac-unet網絡，用于獲取全面豐富的局部與全局結構信息以及不同層級不同類型的融合特征信息。
14、優選的，casp注意力模塊：首先，將輸入特征x(16×48×48)進行維度變換展開成一個序列(16×2304)。然后，使用reshape操作在通道維度(c)上進行劃分，劃分后每頭的通道數為(c/n)，每組分別得到包含q(query)、k(key)、v(value)三個矩陣的張量(qkv)。
15、分別取出q、k、v三個矩陣后，通過將q矩陣轉置與k矩陣進行點積(dot?product)。然后，將g矩陣與轉置后的值(v)相乘，得到自注意力向量(a)，將每組得到的a通過加權求和的方式得到b。最后，通過維度變換還原回原始特征圖維度，得到特征圖(c)。
16、優選的，空間注意力模塊：首先將經過通道注意力加權的特征圖再進行最大池化與平均池化。然后，進行拼接融合(concatenate)與sigmoid激活操作，并進行通道數減半的卷積操作。接著，與特征圖(c)進行元素級乘法(hadamard?product)。最后，經過mlp，得到輸出特征。
17、優選的，ngat模塊：首先進行鄰接矩陣的構造。然后，利用自注意力機制得到的注意力權重矩陣、零矩陣以及鄰接矩陣進行三元運算(ternary?operator)，得到圖注意力權重矩陣(graph?attention)。
18、優選的，gaca綜合注意力模塊：首先，輸入圖像經過3*3卷積與casp注意力模塊，利用mlp對注意力輸出進行非線性變換和增強，經過歸一化(norm)操作。然后，利用ngat模塊對其進行進一步處理。最后，通過加法操作(add)將ngat與casp注意力模塊的特征信息進行聚合，再經過非線性變換、歸一化與正則化操作(dropout)。之后通過通道數(c)不變的卷積，得到輸出特征圖。
19、優選的，gac-unet網絡：首先，在編碼器中堆疊多個gaca綜合注意力模塊。然后，在跳躍連接中嵌入aru注意力殘差單元。最后，在解碼器中，充分融合跳躍連接以及gaca綜合注意力信息，經過上采樣還原回原始特征圖。
20、基于所述分割圖的損失函數進行迭代優化得到初始的所述血管分割模型；
21、采用所述測試集對所述初始的血管分割模型進行泛化測試；
22、當泛化測試的結果和定量化指標均滿足設定要求時，將這一初始的血管分割模型確定所述血管分割模型；
23、優選的，所述損失函數為：
24、其中訓練數據中類別預測的概率分布為p(xi)，目標分布為q(xi)。
25、根據本專利技術提供的具體實施例，本專利技術公開了以下技術效果：
26、本專利技術提供的一種基于多注意力機制的視網膜血管分割方法，通過采用由視網膜血管數據集訓練編碼器和解碼器得到血管分割模型，能夠精確得到輸入的視網膜血管圖像的分割結果。并且由于gac-unet網絡中gaca的多次堆疊，實現了圖注意力信息的累積，使得當前節點與鄰接節點之間不斷進行信息交互，從而實現信息從局部到全局的擴充。
27、對應于上述提供的一種基于多注意力機制的視網膜血管分割方法，本專利技術還提供了以下實施結構：
28、一種基于多注意力機制的視網膜血管分割系統，包括：
29、圖像獲取模塊，用于獲取待分割的視網膜圖像；
30、模型獲取模塊，用于獲取血管分割模型；所述血管分割模型由視網膜血管數據集訓練編碼器和解碼器得到；
31、血管分割模塊，用于將所述視網膜圖像輸入至所述血管分割模型中得到血管分割結果。
32、與現有技術相比，本專利技術主要有以下幾個方面的優勢，第一注意力機制上的優勢。vssc-net、rvsegnet、res2unet等模型均缺乏注意力信息，因此導致低對比度血管的出現，從而影響ac、se、f1等指標。resdo-unet雖然使用了se注意力機制但是卻缺乏空間注意力信息，且se注意力機制是通過全局平均池化來獲取每個通道的全局信息，然后通過全連接層生成通道權重，以加權特征圖通道，進而建立通道間關系，捕捉全局通道重要性。
33、本專利技術所提注意力殘差單元(aru)與之相比，一方面將通道空間注意力機制(casp)與殘差連接相結合，在把握通道空間信息的基礎上，充分利用重要的低層視覺特征，增強網絡深層中的特征多樣性。
34、另一方面，通過在通道維度上使用多頭自注意力機制，使得不同通道間充分建立聯系，能夠更加細致地從多個角度捕捉到通道間的依賴關系。其次，本專利技術所提ngat模塊的注意力機制，能夠有效實現對注意力的合理分配，減少對噪聲信息的關注。
35、第二信息獲取方式的優勢：resdo-unet本文檔來自技高網...
【技術保護點】
1.一種基于多注意力機制的視網膜血管分割方法，其特征在于，包括：
2.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述血管分割模型，主要包括：
3.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述CASP注意力模塊：第一步，構建通道注意力模塊。首先，將輸入特征x(16×48×48)進行維度變換展開成一個序列(16×2304)。然后，使用reshape操作在通道維度(C)上進行劃分，劃分后每頭的通道數為(C/N)，每組分別得到包含Q(Query)、K(Key)、V(Value)三個矩陣的張量(QKV)。分別取出Q、K、V三個矩陣后，將Q矩陣轉置與K矩陣進行點積(Dot?product)。然后，將G矩陣與轉置后的值(V)相乘，得到自注意力向量(A)，將每組得到的A通過加權求和的方式得到B。最后，通過維度變換還原回原始特征圖維度，得到特征圖(C)；
4.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述NGAT模塊：首先進行鄰接矩陣的構造。然后，利用自注意力機制得到的注意力權
5.據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述GACA綜合注意力模塊：首先，輸入圖像經過3*3卷積與CASP注意力模塊，利用MLP對注意力輸出進行非線性變換和增強，經過歸一化(Norm)操作。然后，利用NGAT模塊對其進行進一步處理。最后，通過加法操作(Add)將NGAT與CASP注意力模塊的特征信息進行聚合，再經過非線性變換、歸一化與正則化操作(dropout)。之后通過通道數(C)不變的卷積，得到輸出特征圖。
6.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述GAC-UNet網絡主要包括：由編碼器、解碼器結構的U型結構作為主體，并在編碼器中嵌入了多個GACA綜合注意力模塊，跳躍連接部分加入注意力殘差單元ARU。
7.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述損失函數為：
8.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述獲取待分割的視網膜血管圖像，主要包括：將視網膜血管數據集進行數據增強；并將所述視網膜血管數據集劃分為訓練集和測試集。
9.一種基于多注意力機制的視網膜血管分割系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于多注意力機制的視網膜血管分割方法，其特征在于，包括：
2.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述血管分割模型，主要包括：
3.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述casp注意力模塊：第一步，構建通道注意力模塊。首先，將輸入特征x(16×48×48)進行維度變換展開成一個序列(16×2304)。然后，使用reshape操作在通道維度(c)上進行劃分，劃分后每頭的通道數為(c/n)，每組分別得到包含q(query)、k(key)、v(value)三個矩陣的張量(qkv)。分別取出q、k、v三個矩陣后，將q矩陣轉置與k矩陣進行點積(dot?product)。然后，將g矩陣與轉置后的值(v)相乘，得到自注意力向量(a)，將每組得到的a通過加權求和的方式得到b。最后，通過維度變換還原回原始特征圖維度，得到特征圖(c)；
4.根據權利要求1所述的基于多注意力機制的視網膜血管分割方法，其特征在于，所述ngat模塊：首先進行鄰接矩陣的構造。然后，利用自注意力機制得到的注意力權重矩陣、零矩陣以及鄰接矩陣進行三元運算(ternary?operator)，得到圖注意力權重矩陣(graphatte...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。