【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及圖像處理，尤其涉及一種手術(shù)事件中關(guān)鍵視頻幀的確定方法及裝置。
技術(shù)介紹
1、目前信息化手術(shù)室在手術(shù)過程中會(huì)利用全景攝像機(jī)、術(shù)野攝像機(jī)、腔鏡攝像機(jī)等各類設(shè)備拍攝大量的影像資料，以便醫(yī)生和其他醫(yī)療工作人員更好地了解手術(shù)情況并進(jìn)行后續(xù)的評(píng)估、治療和研究。快照功能實(shí)現(xiàn)了手術(shù)畫面的抓拍，為后續(xù)的分析研究提供了支持。但是，目前的快照功能需要人工手動(dòng)點(diǎn)擊拍照或語音、手勢(shì)等額外因素提示系統(tǒng)進(jìn)行拍照保存。在手術(shù)過程中，醫(yī)療團(tuán)隊(duì)無法在不干擾手術(shù)進(jìn)行的情況下自動(dòng)保存。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種手術(shù)事件中關(guān)鍵視頻幀的確定方法及裝置，用以解決醫(yī)療團(tuán)隊(duì)無法在不干擾手術(shù)進(jìn)行的情況下自動(dòng)保存圖像的問題。
2、第一方面，本申請(qǐng)實(shí)施例提供了一種手術(shù)事件中關(guān)鍵視頻幀的確定方法，包括：
3、獲取執(zhí)行目標(biāo)手術(shù)事件時(shí)采集的視頻流，所述視頻流包括多個(gè)待檢測(cè)視頻幀；對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象；根據(jù)由所述待檢測(cè)視頻幀中的對(duì)象特征獲得的特征圖，確定每個(gè)所述待檢測(cè)視頻幀對(duì)應(yīng)的所述目標(biāo)手術(shù)事件中的目標(biāo)手術(shù)階段；基于預(yù)設(shè)的手術(shù)階段與標(biāo)準(zhǔn)對(duì)象的關(guān)聯(lián)關(guān)系，確定所述目標(biāo)手術(shù)階段對(duì)應(yīng)的標(biāo)準(zhǔn)對(duì)象；在確定所述標(biāo)準(zhǔn)對(duì)象中未包括所述目標(biāo)對(duì)象時(shí)，確定所述待檢測(cè)視頻幀為執(zhí)行目標(biāo)手術(shù)事件時(shí)的關(guān)鍵視頻幀。
4、基于上述方案，通過對(duì)待檢測(cè)視頻幀進(jìn)行目標(biāo)識(shí)別，確定待檢測(cè)視頻幀包括的多個(gè)目標(biāo)對(duì)象，并確定待檢測(cè)視頻幀對(duì)應(yīng)的目標(biāo)手術(shù)階段，進(jìn)而通過預(yù)設(shè)的手術(shù)階段與標(biāo)
5、一種可能的實(shí)現(xiàn)方式中，所述對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖；將所述目標(biāo)增強(qiáng)特征圖輸入目標(biāo)檢測(cè)模型，以確定所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象。
6、在一種可能的實(shí)現(xiàn)方式中，所述對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖，包括：對(duì)所述待檢測(cè)視頻幀進(jìn)行特征提取，得到所述待檢測(cè)視頻幀的特征圖；對(duì)所述每個(gè)視頻幀的特征圖分別進(jìn)行背景增強(qiáng)和目標(biāo)增強(qiáng)處理，得到背景特征圖和目標(biāo)特征圖；將所述背景特征圖和所述目標(biāo)特征圖進(jìn)行加權(quán)融合得到目標(biāo)增強(qiáng)特征圖。
7、在一種可能的實(shí)現(xiàn)方式中，所述將所述目標(biāo)增強(qiáng)特征圖輸入目標(biāo)檢測(cè)模型，以確定所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：將所述目標(biāo)增強(qiáng)特征圖經(jīng)過所述目標(biāo)檢測(cè)模型中的卷積層進(jìn)行特征提取，得到目標(biāo)特征圖；將所述目標(biāo)特征圖輸入所述目標(biāo)檢測(cè)模型中的區(qū)域建議模塊，以確定包含目標(biāo)對(duì)象的候選區(qū)域；將所述目標(biāo)特征圖中與所述候選區(qū)域?qū)?yīng)位置的區(qū)域特征輸入所述目標(biāo)檢測(cè)模型中的分類器，以確定所述候選區(qū)域包括的目標(biāo)對(duì)象的類別。
8、在一種可能的實(shí)現(xiàn)方式中，所述將所述目標(biāo)特征圖輸入所述目標(biāo)檢測(cè)模型中的區(qū)域建議模塊，以確定包括目標(biāo)對(duì)象的候選區(qū)域，包括：在所述目標(biāo)特征圖中每個(gè)特征值所在的位置上設(shè)置多個(gè)錨框；根據(jù)所述多個(gè)錨框中每個(gè)錨框在所述目標(biāo)特征圖中包括的特征值確定所述目標(biāo)特征圖中所述每個(gè)錨框所在區(qū)域的區(qū)域類別，所述區(qū)域類別包括目標(biāo)區(qū)域和背景區(qū)域；當(dāng)確定所述目標(biāo)特征圖中所述錨框所在區(qū)域?yàn)槟繕?biāo)區(qū)域時(shí)，將所述目標(biāo)特征圖中所述錨框所在區(qū)域作為包含目標(biāo)對(duì)象的候選區(qū)域。
9、第二方面，本申請(qǐng)實(shí)施例提供了一種手術(shù)事件中關(guān)鍵視頻幀的確定裝置，包括：獲取模塊，用于獲取執(zhí)行目標(biāo)手術(shù)事件時(shí)采集的視頻流，所述視頻流包括多個(gè)待檢測(cè)視頻幀；檢測(cè)模塊，用于對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象；確定模塊，用于根據(jù)由所述待檢測(cè)視頻幀中的對(duì)象特征獲得的特征圖，確定每個(gè)所述待檢測(cè)視頻幀對(duì)應(yīng)的所述目標(biāo)手術(shù)事件中的目標(biāo)手術(shù)階段；基于預(yù)設(shè)的手術(shù)階段與標(biāo)準(zhǔn)對(duì)象的關(guān)聯(lián)關(guān)系，確定所述目標(biāo)手術(shù)階段對(duì)應(yīng)的標(biāo)準(zhǔn)對(duì)象；在確定所述標(biāo)準(zhǔn)對(duì)象中未包括所述目標(biāo)對(duì)象時(shí)，確定所述待檢測(cè)視頻幀為執(zhí)行目標(biāo)手術(shù)事件時(shí)的關(guān)鍵視頻幀。
10、一種可能的實(shí)現(xiàn)方式中，所述檢測(cè)模塊，在對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象時(shí)，具體用于：對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖；將所述目標(biāo)增強(qiáng)特征圖輸入目標(biāo)檢測(cè)模型，以確定所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象。
11、一種可能的實(shí)現(xiàn)方式中，所述檢測(cè)模塊，在對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖時(shí)，具體用于：對(duì)所述待檢測(cè)視頻幀進(jìn)行特征提取，得到所述待檢測(cè)視頻幀的特征圖；對(duì)所述每個(gè)視頻幀的特征圖分別進(jìn)行背景增強(qiáng)和目標(biāo)增強(qiáng)處理，得到背景特征圖和目標(biāo)特征圖；將所述背景特征圖和所述目標(biāo)特征圖進(jìn)行加權(quán)融合得到目標(biāo)增強(qiáng)特征圖。
12、第三方面，本申請(qǐng)實(shí)施例提供了一種執(zhí)行設(shè)備，包括：
13、存儲(chǔ)器，用于存儲(chǔ)程序指令；
14、處理器，用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的程序指令，按照獲得的程序指令執(zhí)行第一方面以及第一方面不同實(shí)現(xiàn)方式所述的方法。
15、第四方面，本申請(qǐng)是實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括計(jì)算機(jī)指令，所述計(jì)算機(jī)程序指令當(dāng)被計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行第一方面以及第一方面不同實(shí)現(xiàn)方式所述的方法。
16、另外，第二方面至第四方面中任一種實(shí)現(xiàn)方式所帶來的技術(shù)效果可參見第一方面以及第一方面不同實(shí)現(xiàn)方式所帶來的技術(shù)效果，此處不再贅述。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種手術(shù)事件中關(guān)鍵視頻幀的確定方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖，包括：
4.如權(quán)利要求2或3所述的方法，其特征在于，所述將所述目標(biāo)增強(qiáng)特征圖輸入目標(biāo)檢測(cè)模型，以確定所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：
5.如權(quán)利要求4所述的方法，其特征在于，所述將所述目標(biāo)特征圖輸入所述目標(biāo)檢測(cè)模型中的區(qū)域建議模塊，以確定包括目標(biāo)對(duì)象的候選區(qū)域，包括：
6.一種手術(shù)事件中關(guān)鍵視頻幀的確定裝置，其特征在于，包括：
7.如權(quán)利要求6所述的裝置，其特征在于，所述檢測(cè)模塊，在對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象時(shí)，具體用于：
8.如權(quán)利要求7所述的裝置，其特征在于，所述檢測(cè)模塊，在對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖時(shí)，具體用于：
9
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括計(jì)算機(jī)指令，所述計(jì)算機(jī)程序指令當(dāng)被計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-5任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種手術(shù)事件中關(guān)鍵視頻幀的確定方法，其特征在于，包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)每個(gè)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)檢測(cè)，確定每個(gè)所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述待檢測(cè)視頻幀進(jìn)行目標(biāo)增強(qiáng)處理，得到目標(biāo)增強(qiáng)特征圖，包括：
4.如權(quán)利要求2或3所述的方法，其特征在于，所述將所述目標(biāo)增強(qiáng)特征圖輸入目標(biāo)檢測(cè)模型，以確定所述待檢測(cè)視頻幀包括的目標(biāo)對(duì)象，包括：
5.如權(quán)利要求4所述的方法，其特征在于，所述將所述目標(biāo)特征圖輸入所述目標(biāo)檢測(cè)模型中的區(qū)域建議模塊，以確定包括目標(biāo)對(duì)象的候選區(qū)域，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：譚雅棋，胡宇琪，張金龍，
申請(qǐng)(專利權(quán))人：青島海信醫(yī)療設(shè)備股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。