【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于計(jì)算機(jī)視覺和模式識別領(lǐng)域，具體涉及一種基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法。
技術(shù)介紹
1、自動手術(shù)階段識別是計(jì)算機(jī)輔助干預(yù)領(lǐng)域的一項(xiàng)重要任務(wù)，致力于從記錄的手術(shù)視頻中客觀地識別手術(shù)階段。該技術(shù)可以在手術(shù)中幫助醫(yī)生監(jiān)測手術(shù)，在發(fā)生危險(xiǎn)問題前發(fā)出警報(bào)，在手術(shù)后也可以用于記錄手術(shù)報(bào)告、外科醫(yī)生技能評估和培訓(xùn)，這對于提高外科醫(yī)生的效率和患者的安全性是至關(guān)重要的。
2、現(xiàn)實(shí)情況中，由于不同手術(shù)階段的任務(wù)目標(biāo)不同導(dǎo)致階段時(shí)長差異較大。例如超聲波白內(nèi)障手術(shù)第五階段手術(shù)任務(wù)為使用超聲波能量將渾濁的晶體打碎成小顆粒，并通過切口取出，這一手術(shù)階段是超聲波白內(nèi)障手術(shù)的重點(diǎn)，因此手術(shù)時(shí)長占比最長，而第一階段則因?yàn)槭中g(shù)目標(biāo)較為簡單占整體手術(shù)時(shí)長較少，這種情況就導(dǎo)致了手術(shù)階段識別數(shù)據(jù)集中天然存在數(shù)據(jù)不均衡分布情況。
3、手術(shù)階段數(shù)據(jù)不均衡分布的情況會導(dǎo)致出現(xiàn)以下兩個(gè)問題：1、圖像特征提取模塊難以提取到少樣本階段圖像差異性特征，因此少樣本階段中會出現(xiàn)更多的易錯(cuò)分圖像。2、時(shí)序特征提取模塊會受易錯(cuò)分圖像特征干擾從而影響時(shí)序特征擬合，影響整體階段識別結(jié)果。
4、申請?zhí)枮椤?02410441127.0”的文件中公開了“基于全局手術(shù)階段定位的手術(shù)階段識別方法和裝置”，首先獲取待識別的手術(shù)視頻，對所述手術(shù)視頻進(jìn)行特征提取，得到視頻特征；基于視頻特征，對所述手術(shù)視頻在視頻時(shí)間軸上進(jìn)行區(qū)域檢測，得到所述手術(shù)視頻中所包含的各個(gè)手術(shù)階段及其手術(shù)視頻片段。其存在的問題是：未考慮手術(shù)中因?yàn)槊總€(gè)手術(shù)階段目標(biāo)不
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供了一種基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法以克服現(xiàn)有技術(shù)中存在的針對手術(shù)階段識別中手術(shù)時(shí)長過短的階段識別難度大的問題。
2、為了達(dá)到上述目的，本專利技術(shù)的技術(shù)方案是：基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，所述方法包括以下步驟：
3、步驟一、數(shù)據(jù)準(zhǔn)備：準(zhǔn)備數(shù)據(jù)集和convnext在imagenet-22k大型數(shù)據(jù)集上的模型預(yù)訓(xùn)練權(quán)重；
4、步驟二、數(shù)據(jù)預(yù)處理：所述數(shù)據(jù)集中的進(jìn)行下采樣，分辨率調(diào)整一致；
5、步驟三、使用數(shù)據(jù)訓(xùn)練圖像特征提取模塊，得到blconvnext模型權(quán)重，具體為：
6、3.1圖像特征特征模塊的構(gòu)建:圖像特征提取模塊以convnext模型為骨干網(wǎng)絡(luò)，使用zeroloss代替convnext模型中的交叉熵?fù)p失，并在convnext模型平均池化層后添加批次樣本學(xué)習(xí)模塊；
7、3.2使用數(shù)據(jù)訓(xùn)練圖像特征提取模塊：在訓(xùn)練時(shí)使用convnext在imagenet-22k大型數(shù)據(jù)集上的模型預(yù)訓(xùn)練權(quán)重，并在cho?lec80和cataract-101數(shù)據(jù)集并對模型參數(shù)進(jìn)行fine-tun?ing微調(diào)，blconvnext訓(xùn)練一共有30輪次，最終保留識別準(zhǔn)確率最高輪次的blconvnext模型權(quán)重；
8、步驟四、使用數(shù)據(jù)訓(xùn)練時(shí)序特征模塊,得到多層次自適應(yīng)時(shí)間卷積模塊權(quán)重；
9、步驟五、載入模型訓(xùn)練權(quán)重，完整運(yùn)行手術(shù)階段識別模型，得到最終預(yù)測結(jié)果：
10、所述完整手術(shù)階段識別網(wǎng)絡(luò)模型由圖像特征提取模塊和時(shí)序特征提取模塊組成。
11、進(jìn)一步的，上述步驟四的具體步驟為：
12、4.1時(shí)序特征模塊的構(gòu)建：時(shí)序特征提取模塊的結(jié)構(gòu)是在兩個(gè)不同步長前的因果卷積中添加自注意力模塊，并在兩個(gè)因果卷積之后將兩個(gè)因果卷積提取到的時(shí)序特征進(jìn)行相同維度疊加的add操作，最后再通過正常的因果卷積對預(yù)測結(jié)果進(jìn)行微調(diào)，得到最終的手術(shù)階段識別結(jié)果；
13、4.2時(shí)序特征模塊訓(xùn)練：將訓(xùn)練好的blconvnext權(quán)重進(jìn)行固定，移除最后一層全連接層，在目標(biāo)數(shù)據(jù)集中進(jìn)行訓(xùn)練并獲得圖像特征。得到了圖像特征后再通過多層次自適應(yīng)時(shí)間卷積得到最終的手術(shù)階段識別結(jié)果，多層次自適應(yīng)卷積模塊一共訓(xùn)練30輪次，保留識別準(zhǔn)確率最高輪次的多層次自適應(yīng)時(shí)間卷積模塊權(quán)重；
14、進(jìn)一步的，上述步驟五的具體步驟是：載入保存的blconvnext模塊和多層次自適應(yīng)時(shí)間卷積模塊權(quán)重，將訓(xùn)練好的完整手術(shù)階段識別網(wǎng)絡(luò)模型用于cho?lec80數(shù)據(jù)集或cataract-101數(shù)據(jù)集中，得到最終預(yù)測結(jié)果，即數(shù)據(jù)集手術(shù)階段識別結(jié)果。
15、進(jìn)一步的，上述所述3.1中，使用zeroloss代替convnext模型中的交叉熵?fù)p失的過程是：首先添加hard?number作為交叉熵?fù)p失函數(shù)的類別平衡權(quán)重，
16、然后添加平衡參數(shù)α，hard?number公式如(1)所示：
17、
18、其中pt為該圖像所處階段的整體識別準(zhǔn)確率，而pc為該圖像的階段識別結(jié)果準(zhǔn)確率；
19、最后添加隨機(jī)優(yōu)化損失β，完整的zeroloss公式如(2)所示，其中l(wèi)oss為正常交叉熵?fù)p失：
20、
21、進(jìn)一步的，上述步驟3.1中，批次樣本學(xué)習(xí)模塊由兩個(gè)batch?lear?ing層和一個(gè)增強(qiáng)殘差結(jié)構(gòu)組成，batch?lear?ing層包括多頭自注意力(msa)和mlp塊，每個(gè)層之后都使用了layernorm(ln)；同時(shí)將兩個(gè)batch?lear?ing層處理前后的特征進(jìn)行疊加。
22、與現(xiàn)有技術(shù)相比較，本專利技術(shù)有以下優(yōu)點(diǎn)：
23、1、本專利技術(shù)方法提出了一個(gè)批次樣本學(xué)習(xí)模塊，該模塊中通過添加多頭自注意力模塊和殘差結(jié)構(gòu)，因此可以在同批次圖像間通過高維圖像特征相互學(xué)習(xí)來增強(qiáng)模型對少樣本類別的識別能力；
24、2、本專利技術(shù)方法設(shè)計(jì)了一個(gè)新的損失函數(shù)即：zeroloss，來讓模型更加偏向?qū)W習(xí)難分類和樣本量少的階段圖像，從而提高少樣本階段整體識別結(jié)果準(zhǔn)確率和難分類圖像階段識別結(jié)果準(zhǔn)確率。
25、3、本專利技術(shù)提出了一個(gè)新的時(shí)序特征提取模塊，在提取時(shí)序特征時(shí)通過避免擬合易錯(cuò)分的圖像特征來擬合高質(zhì)量時(shí)序特征，使得整體方法泛化性好，在不同類型手術(shù)中都可以高效準(zhǔn)確的識別當(dāng)前手術(shù)畫面所在階段；
26、4、本專利技術(shù)方法針對手術(shù)階段識別問題中不同階段數(shù)據(jù)不均衡問題，在不改變數(shù)據(jù)采樣方式的前提下，從少樣本類別圖像識別能力增強(qiáng)、類別代價(jià)敏感學(xué)習(xí)和自適應(yīng)時(shí)序特征擬合方法三個(gè)方面進(jìn)行優(yōu)化，通過提升少樣本手術(shù)階段識別效果從而有效提高整體手術(shù)識別精度。其中通過改進(jìn)模型結(jié)構(gòu)并設(shè)計(jì)新的平衡損失函數(shù)，提高了模型對樣本量較少階段的識別效果，從而優(yōu)化整體手術(shù)階段識別結(jié)果。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.基于ConvNeXt的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于ConvNeXt的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述步驟四的具體步驟為：
3.根據(jù)權(quán)利要求2所述的基于ConvNeXt的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述步驟五的具體步驟是：載入保存的BLConvNext模塊和多層次自適應(yīng)時(shí)間卷積模塊權(quán)重，將訓(xùn)練好的完整手術(shù)階段識別網(wǎng)絡(luò)模型用于Cholec80數(shù)據(jù)集或Cataract-101數(shù)據(jù)集中，得到最終預(yù)測結(jié)果，即數(shù)據(jù)集手術(shù)階段識別結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于ConvNeXt的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述所述3.1中，使用ZeroLoss代替ConvNext模型中的交叉熵?fù)p失的過程是：
5.根據(jù)權(quán)利要求4所述的基于ConvNeXt的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述步驟3.1中，批次樣本學(xué)習(xí)模塊由兩個(gè)Batch?Learing層和一個(gè)增強(qiáng)殘差結(jié)構(gòu)組成，Batch?Learin
...【技術(shù)特征摘要】
1.基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述步驟四的具體步驟為：
3.根據(jù)權(quán)利要求2所述的基于convnext的多階段自適應(yīng)類別平衡手術(shù)階段識別方法，其特征在于：所述步驟五的具體步驟是：載入保存的blconvnext模塊和多層次自適應(yīng)時(shí)間卷積模塊權(quán)重，將訓(xùn)練好的完整手術(shù)階段識別網(wǎng)絡(luò)模型用于cholec80數(shù)據(jù)集或cataract-101數(shù)據(jù)集中，得到最終預(yù)測結(jié)果，即數(shù)據(jù)集手術(shù)階段識別結(jié)果。...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：潘曉英，張子正，王昊，劉文昊，潘圓熙，
申請(專利權(quán))人：西安郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。