【技術實現步驟摘要】
本專利技術涉及眼科學與圖像處理，尤其是涉及一種基于mask2former模型的oct中視網膜自動分層方法。
技術介紹
1、oct圖像被眼科醫生廣泛用于檢測眼底疾病，例如對其中的兩類常見的致盲性疾病amd和dme的分析，都需要先對圖像中的視網膜區域進行分層處理，然后通過計算各層之間的厚度，以及厚度的變化情況來分析眼底的病變進展。常用的分層手段是采用人工標注的方法，即使用專門的標注工具，在每一張oct圖像上進行層次劃分。顯然，面對數以千萬計的oct圖像，這種方式既耗時又費力，還容易出錯。
2、在現有技術中，例如由中國科學院蘇州生物醫學工程技術研究所提出的“視網膜oct圖像自動分層方法”、深圳大學提出的“一種視網膜oct圖像分層模型訓練方法、裝置、計算機設備及存儲介質”，它們采用的方法都類似，都是先加載訓練數據、再選取深度學習算法生成視網膜分層模型、最后向模型輸入未分層的oct圖像即可輸出分層結果。這類方法存在的缺陷如下：(1)、使用了vggnet、unet等較老的算法，盡管它們也可以實現圖像分割的目標，但是在下采樣過程中由于特征圖像尺寸的縮小，容易丟失細節，影響模型的準確率；(2)、該類技術在訓練時使用的數據集只關注一種類型的oct，缺乏泛化特性。
技術實現思路
1、本專利技術所要解決的技術問題是提供一種能夠避免細節丟失、提高分層準確率，并且具備泛化特性的基于mask2former模型的oct中視網膜自動分層方法。
2、本專利技術所采用的技術方案是，一種基于ma
3、s1、構建原始oct圖像數據集，所述的原始oct圖像數據集包括若干張關于amd病癥的圖像、若干張關于dme病癥的圖像以及若干張無病癥圖像；
4、s2、對所述的原始oct圖像數據集進行預處理，得到預處理后的原始oct圖像數據集；
5、s3、對原始oct圖像數據集中的每張原始oct圖像進行人工分層標注，得到對應的人工分層標注圖像，并組成人工分層標注圖像數據集；其中，所述的對原始oct圖像進行人工分層標注的具體過程為：將所述的原始oct圖像中的視網膜區域從上到下分成五個分層，所述的五個分層在豎直方向上將空間劃分為六個區域，使用不同像素值的像素點依次對六個區域進行填充，得到人工分層標注圖像；
6、s4、構建mask2former網絡模型；所述的mask2former網絡模型包括骨干結構、頸部結構以及解碼器頭；所述的骨干結構采用swin-transformer特征提取模型，所述的頸部結構采用聯合金字塔上采樣，所述的解碼器頭包括像素解碼器以及transformer解碼器，所述的transformer解碼器包括n組解碼塊組，每組解碼塊組包括三個解碼塊，分別是第一解碼塊、第二解碼塊以及第三解碼塊；
7、s5、將所述的預處理后的原始oct圖像數據集以及人工分層標注圖像數據集輸入到所述的mask2former網絡模型中進行訓練，得到訓練后的mask2former網絡模型；其中，具體的訓練過程為：
8、s5.1、預處理后的原始oct圖像數據集中的oct圖像輸入到所述的mask2former網絡模型后，骨干結構對oct圖像進行處理，并先后生成四組特征圖，每組所述的特征圖的大小為前一組特征圖的一半，且通道數翻倍；所述骨干結構提取出后三組特征圖傳入所述頸部結構中進行融合，由所述的頸部結構生成一組合成特征圖，其大小等于骨干結構生成的第一組特征圖；
9、s5.2、將所述的一組合成特征圖以及骨干結構生成的最后兩組特征圖輸入所述像素解碼器中，由像素解碼器對每一組特征圖進行處理生成對應的多尺度特征，分別是第一多尺度特征、第二多尺度特征以及第三多尺度特征，將所有的多尺度特征與骨干結構生成的第一組特征圖進行融合，生成mask特征；同時，將所述第一多尺度特征、第二多尺度特征、第三多尺度特征以及所述mask特征輸入到transformer解碼器中，由所述transformer解碼器中的n組解碼塊組進行訓練，完成n輪次訓練；在每一輪訓練中，由所述transformer解碼器輸出像素填充圖以及mask′特征，并采用損失函數計算所述像素填充圖與步驟s3得到的對應的人工分層標注圖像之間的損失，得到訓練后的mask2former網絡模型；
10、s6、將待分層的oct圖像輸入到訓練后的mask2former網絡模型中，由訓練后的mask2former網絡模型輸出對應的像素填充圖；
11、s7、將步驟s6得到的像素填充圖轉換為視網膜區域的分層圖像。
12、本專利技術的有益效果是：本專利技術采用了mask2former框架和swin-transformer結構，并結合jpu結構，能夠保留更多的上層特征，避免細節丟失，提高了分層準確率，具有更好的視網膜分層效果；并且本專利技術使用的數據集關注了amd病癥、dme病癥以及正常視網膜三種類型的oct，具有更好的泛化特性；本專利技術在模型訓練前，對輸入的原始oct圖像進行了預處理，使之能夠更好地提取特征。
13、作為優選，在步驟s2中，對所述的原始oct圖像數據集進行預處理的具體過程為：將原始oct圖像數據集中的所有原始oct圖像的尺寸和格式都進行統一；然后對每張原始oct圖像的每個像素點進行標準化，具體表示為：其中，mean表示該張原始oct圖像上所有像素點的平均值，std表示該張原始oct圖像上所有像素點的標準差，p表示該張原始oct圖像上的一個像素點的像素值。
14、作為優選，在步驟s5.2中，將所述第一多尺度特征、第二多尺度特征以及第三多尺度特征輸入到transformer解碼器中，由所述transformer解碼器中的n組解碼塊組進行訓練的具體過程包括下列步驟：
15、s5.21、在每一輪次訓練中，將所述第一多尺度特征、第二多尺度特征以及第三多尺度特征輸入到transformer解碼器的當前一組解碼塊組中，由當前一組解碼塊組中的第一解碼塊、第二解碼塊以及第三解碼塊進行計算得到查詢向量；
16、s5.22、將查詢向量、第一多尺度特征以及由上一組解碼塊組輸出的mask！特征作為當前一組解碼塊組的第一解碼塊的輸入，在第一解碼塊中經過交叉注意力、自注意力以及前饋網絡層后輸出第一結果；
17、s5.23、將所述第一結果和第二多尺度特征作為當前一組解碼塊組的第二解碼塊的輸入，在第二解碼塊中經過交叉注意力、自注意力以及前饋網絡層后輸出第二結果；
18、s5.24、將所述第二結果和第三多尺度特征作為當前一組解碼塊組的第三解碼塊的輸入，在第三解碼塊中經過交叉注意力、自注意力以及前饋網絡層后輸出第三結果；
19、s5.25、將所述第三結果以及由像素解碼器生成的mask特征進行乘法運算，生成像素填充圖以及mask′特征；
20、s5.26、將步驟s5.25得到的mask′特征作為下一組解碼塊組的第一解本文檔來自技高網...
【技術保護點】
1.一種基于Mask2Former模型的OCT中視網膜自動分層方法，其特征在于：該方法包括下列步驟：
2.根據權利要求1所述的一種基于Mask2Former模型的OCT中視網膜自動分層方法，其特征在于：在步驟S2中，對所述的原始OCT圖像數據集進行預處理的具體過程為：將原始OCT圖像數據集中的所有原始OCT圖像的尺寸和格式都進行統一；然后對每張原始OCT圖像的每個像素點進行標準化，具體表示為：其中，mean表示該張原始OCT圖像上所有像素點的平均值，std表示該張原始OCT圖像上所有像素點的標準差，P表示該張原始OCT圖像上的一個像素點的像素值。
3.根據權利要求1或2所述的一種基于Mask2Former模型的OCT中視網膜自動分層方法，其特征在于：在步驟S5.2中，將所述第一多尺度特征、第二多尺度特征以及第三多尺度特征輸入到Transformer解碼器中，由所述Transformer解碼器中的N組解碼塊組進行訓練的具體過程包括下列步驟：
4.根據權利要求3所述的一種基于Mask2Former模型的OCT中視網膜自動分層方法，其特征在于：在步驟
5.根據權利要求4所述的一種基于Mask2Former模型的OCT中視網膜自動分層方法，其特征在于：在步驟S7中，所述的步驟S6得到的像素填充圖轉換為視網膜區域的分層圖像的具體過程包括下列步驟：
...【技術特征摘要】
1.一種基于mask2former模型的oct中視網膜自動分層方法，其特征在于：該方法包括下列步驟：
2.根據權利要求1所述的一種基于mask2former模型的oct中視網膜自動分層方法，其特征在于：在步驟s2中，對所述的原始oct圖像數據集進行預處理的具體過程為：將原始oct圖像數據集中的所有原始oct圖像的尺寸和格式都進行統一；然后對每張原始oct圖像的每個像素點進行標準化，具體表示為：其中，mean表示該張原始oct圖像上所有像素點的平均值，std表示該張原始oct圖像上所有像素點的標準差，p表示該張原始oct圖像上的一個像素點的像素值。
3.根據權利要求1或2所述的一種基于mask2former模型的oc...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。