【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于計(jì)算機(jī)視覺，特別是涉及一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法。
技術(shù)介紹
1、在手術(shù)室(or)中，手術(shù)流程分析是一項(xiàng)不可或缺的任務(wù)。手術(shù)階段識(shí)別可以在偏差和異常情況下以早期警告的方法為醫(yī)師提供重要的輸入。另外一個(gè)作用是，自動(dòng)提取手術(shù)協(xié)議，這對(duì)存檔、教育和術(shù)后患者檢測(cè)具有重要的意義。但是，由于不同手術(shù)活動(dòng)直接差異較小、手術(shù)記錄中存在偽影、攝像機(jī)活動(dòng)以及血和煙霧等因素的影響，讓手術(shù)階段識(shí)別任務(wù)變得非常困難。。基于機(jī)器學(xué)習(xí)的計(jì)算機(jī)輔助(cai)系統(tǒng)已經(jīng)被開發(fā)用于手術(shù)流程分析，這些方法不僅使用了or信號(hào)，還利用在腹腔鏡手術(shù)過程中捕獲的術(shù)中視頻。近些年來深度學(xué)習(xí)已經(jīng)被用來提取從經(jīng)修剪的手術(shù)視頻中提取時(shí)間和空間信息，來自動(dòng)識(shí)別手術(shù)階段信息，例如tcn(temporal?convolutional?networks)，lstm，transformer等網(wǎng)絡(luò)模型。由于深度學(xué)習(xí)的快速發(fā)展以及手術(shù)視頻獲取容易，這些方法目前已經(jīng)成為了手術(shù)階段識(shí)別任務(wù)的主流。他們先利用resnet網(wǎng)絡(luò)提取圖片的空間特征以減少計(jì)算量，然后通過輸入到序列模型中，獲取時(shí)序特征。
2、但是，盡管這些方法讓手術(shù)階段識(shí)別有了很大的進(jìn)步，他們?nèi)匀淮嬖谝恍┤毕荨；趓cdl(residual?causal?dilated?temporal?convolution?layer)方法是利用多層空洞卷積獲取較大的感受野，提高卷積的長序列建模能力。基于lstm的方法，是利用lstm模型具有比rnn更強(qiáng)的長序列建模能力，存儲(chǔ)以往的特征，獲取更長的序列信息。受到tran
3、為了解決以上問題，提出一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)以上技術(shù)問題，本專利技術(shù)提供一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法。
2、本專利技術(shù)解決其技術(shù)問題采用的技術(shù)方案是：
3、一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法，所述方法包括以下步驟：
4、s100：收集外科腹腔鏡手術(shù)視頻，并按照預(yù)設(shè)頻率切割，獲取多張連續(xù)的照片，將切割后的照片輸入至訓(xùn)練好的resnet網(wǎng)絡(luò)中，提取有用的空間特征，得到數(shù)據(jù)集；
5、s200：構(gòu)建tfrcdlformer網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用雙分支結(jié)構(gòu)，包括多級(jí)別頻域特征模塊、多尺度時(shí)域特征模塊和多級(jí)別頻域特征增強(qiáng)模塊，其中，分支一為多級(jí)別頻域特征模塊，分支二為多尺度時(shí)域特征模塊；
6、s300：多級(jí)別頻域特征模塊用于接收數(shù)據(jù)集中的圖片，進(jìn)行多層空洞卷積rcdl處理，再進(jìn)行離散小波變換得到包含高頻和低頻的多級(jí)別頻率信息，分別對(duì)高頻和低頻信息進(jìn)行預(yù)設(shè)的對(duì)應(yīng)處理后進(jìn)行離散小波逆變換得到多級(jí)別頻域特征；
7、s400：多尺度時(shí)域特征模塊用于接收數(shù)據(jù)集中的圖片，進(jìn)行rcdl處理，再進(jìn)行平均池化、上采樣處理，得到不同尺度的特征信息，對(duì)每一種尺度的特征信息采用rcdl和transformer的方法進(jìn)行綜合處理，得到多尺度時(shí)域特征；
8、s500：多級(jí)別頻域特征增強(qiáng)模塊用于將多級(jí)別頻域特征和多尺度時(shí)域特征通過全連接進(jìn)行特征融合，再按照s300中的方法進(jìn)行頻域特征增強(qiáng)，通過全連接層后輸出得到手術(shù)階段識(shí)別預(yù)測(cè)結(jié)果；
9、s600：基于預(yù)設(shè)的損失函數(shù)對(duì)tfrcdlformer網(wǎng)絡(luò)進(jìn)行訓(xùn)練，達(dá)到預(yù)設(shè)的訓(xùn)練終止時(shí)，得到訓(xùn)練好的tfrcdlformer網(wǎng)絡(luò)，完成實(shí)時(shí)手術(shù)階段識(shí)別。
10、優(yōu)選地，s300包括：
11、s310：利用多層rcdl獲取數(shù)據(jù)集中的圖片的頻率信息；
12、s320：對(duì)頻率信息進(jìn)行三次離散小波變換，基于高通濾波器和低通濾波器得到低頻特征和高頻特征；
13、s330：低頻特征采用rcdl進(jìn)行處理，然后采用transformer的注意力機(jī)制進(jìn)行處理，高頻特征采用多層rcdl進(jìn)行處理；
14、s340：將處理后的多級(jí)別頻率特征進(jìn)行小波逆變換。
15、優(yōu)選地，s310具體為：
16、zl＝relu(w1,l*fl-1+b1,l)
17、fl＝fl-1+w2,l*zl+b2,l
18、其中，fl代表第l層頻率特征，*表示卷積計(jì)算，w1,l是1d空洞卷積核，w2,l是1x1卷積的權(quán)重，b1,l,b2,l是偏執(zhí)向量；
19、s320中離散小波變換具體為：
20、
21、其中g(shù)[n]是低通濾波器系數(shù)，h[n]是高通濾波器系數(shù)，a(n)為分解后的近似系數(shù)，d(n)為分解后的細(xì)節(jié)系數(shù)，為輸入的頻率信息，n表示離散輸入信號(hào)的長度，k橫坐標(biāo)位置。
22、優(yōu)選地，s330中低頻特征采用rcdl進(jìn)行處理，然后采用transformer的注意力機(jī)制進(jìn)行處理，具體為：
23、x＝rcdls(x)
24、x＝transformer(x)+x
25、其中，rcdls和transformer分別代表多層rcdl模塊和transformer模塊；
26、s340中小波逆變換具體為：
27、
28、其中，g'[n]和h'[n]是逆變換濾波器系數(shù)，為輸出的頻域特征。
29、優(yōu)選地，s400包括：
30、s410：利用多層rcdl獲取輸入特征的時(shí)域信息，通過平均池化的方式對(duì)序列進(jìn)行下采樣，獲得四種不同尺度的特征信息；
31、s420：采用rcdl+上采樣的方法進(jìn)行特征上采樣；
32、s430：上采樣后的每一種尺度的特征都采用rcdl+transformer的方法進(jìn)行處理，即先對(duì)特征進(jìn)行多層的rcdl處理，然后采用transformer的注意力機(jī)制進(jìn)行處理，先將特征增加位置編碼，再利用本層的特征生成查詢向量q矩陣,關(guān)鍵向量k矩陣,數(shù)值向量v矩陣，進(jìn)行注意力計(jì)算；
33、s440：采用transformer的注意力機(jī)制進(jìn)行從上至下的跨尺度，將不同尺度的特征信息逐級(jí)地傳遞到最底層，即先對(duì)高層特征進(jìn)行上采樣，將輸入特征進(jìn)行位置編碼，接著利用高層的特征生成k和v，底層的特征生成q，最后進(jìn)行注意力計(jì)算，得到多尺度時(shí)域特征。
34、優(yōu)選地，s420具體為：
35、
36、其中，代表第2批次的第i層特征，i∈[0,1,2]，drcl，upsample分別代表rcdl和上采樣處理；
37、s440中注意力機(jī)制的計(jì)算公式具體為：
38、
39、其中，dk是q和k的列數(shù)，即向量維度。
40、優(yōu)選地，s500包括：
41、s510：將分支一和分支二的輸出輸入到多級(jí)別頻域增強(qiáng)模塊，多級(jí)別頻域增強(qiáng)模塊本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，S300包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，S310具體為：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，S330中低頻特征采用RCDL進(jìn)行處理，然后采用Transformer的注意力機(jī)制進(jìn)行處理，具體為：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，S400包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，S420具體為：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，S500包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，S510具體為：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，預(yù)設(shè)的損失函數(shù)包括幀損失函數(shù)、段損失函數(shù)和平滑損失函數(shù)，具體為：
【技術(shù)特征摘要】
1.一種基于時(shí)頻特征融合的手術(shù)階段識(shí)別方法，其特征在于，所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，s300包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，s310具體為：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，s330中低頻特征采用rcdl進(jìn)行處理，然后采用transformer的注意力機(jī)制進(jìn)行處理，具體為：
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王耀南，范文培，劉立成，劉敏，
申請(qǐng)(專利權(quán))人：湖南大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。