【技術實現步驟摘要】
本專利技術涉及手術導航，尤其是涉及一種用于手術導航的器械跟蹤方法。
技術介紹
1、外科手術是一種高度復雜的醫療過程，外科醫生需要在手術期間精確操作各種器械來處理病患的問題。手術的成功往往依賴與外科手術醫生的技能和經驗。手術過程中，醫生通常使用顯微鏡、內窺鏡或其他成像設備來觀察手術區域。然而，手術器械的位置和狀態通常不會明確可見，這增加了手術的難度。手術器械的位置和運動可能會遮擋其他器械或手術區域，使其難以識別。這無疑會增加手術的復雜性和風險性。手術器械姿態檢測是機器人輔助外科手術中不可或缺的一項技術，可以讓醫生獲取更全面的視覺信息，能協助醫生更好地完成手術，進一步提高手術安全性。
2、目標檢測的任務是找出圖像中所有感興趣的目標，確定其類別和位置，是計算機視覺領域的核心問題之一。在深度學習出現之前，傳統目標檢測算法都是以人工設計特征為主。與傳統的基于特征的目標檢測方法相比，基于深度學習的目標檢測方法可以同時學習圖像的低級特征和高級特征，在科學研究和實際工業生產中有著重要應用。深度學習是一類能夠通過監督、半監督或無監督的訓練方法自動學習訓練數據中隱藏的數據內部結構的一類多層神經網絡算法，能夠將輸入圖像中的像素數據轉化為更高階、更抽象的層級特征。
3、基于深度學習的目標檢測算法主要分為兩類，一類為兩階段檢測算法，另一類是單階段檢測算法。兩階段檢測算法通過顯式的區域建議將檢測問題轉換為對生成的建議區域內局部圖片的分類問題，檢測的精度較高，但是檢測的速度的較慢無法滿足實時性要求；單階段檢測算法可以直接從輸入圖像中識
技術實現思路
1、本專利技術的目的是提供一種用于手術導航的器械跟蹤方法，可提高手術器械檢測的實時性、精確性和魯棒性，降低手術風險。
2、為實現上述目的，本專利技術提供了一種用于手術導航的器械跟蹤方法，包括以下步驟：
3、s1、數據采集及預處理，通過采用python爬取網頁中手術器械的圖像、從相關的手術器械圖書中拍攝圖像來采集手術器械圖像數據，將其存儲為統一的本地文件，以結構化的方式存儲，并對數據進行預處理；
4、s2、數據標注及數據增強，使用圖像標注工具labelimg對預處理后得到的數據集進行數據標注；采用圖像處理軟件或者圖像處理庫對圖像數據集進行數據增強；
5、s3、檢測模型構建，構建的模型包括輸入端、主干網絡、頸部網絡和預測網絡四部分；
6、s4、檢測模型訓練；
7、s5、手術器械檢測；
8、s6、手術器械跟蹤；
9、s7、手術路徑規劃。
10、優選的，步驟s1中，預處理包括去除噪聲、去除異常數據、去除重復數據，提高數據質量和可靠性。
11、優選的，步驟s2中，在數據標注時，通過下面方法判斷圖像是否符合標注的標準，若手術器械在圖像中有不少于一半的部位顯示，則將該手術器械所顯示的全部部位通過最小矩形框框出，并標注該手術器械的種類；若手術器械在圖像中有不足一半的部位顯示，則不標注，標注的內容將保存在和圖像對應名稱的txt文檔中，文檔中包含手術器械的類別名稱、標框的中心點坐標、標框的長寬，對標框的中心點坐標和長寬的值進行歸一化，得到圖像數據集。
12、優選的，步驟s3中，將步驟s2得到的圖像數據集作為輸入端的輸入圖像，在輸入端中選取4張圖片，隨機拼接，使模型在小范圍內識別目標，具體步驟如下：
13、s301、隨機選取圖片拼接基準點坐標，隨機選取四張圖片；
14、s302、四張圖片根據基準點，分別經過尺寸調整和比例縮放后，放置在模型指定尺寸的大圖的左上，右上，左下，右下位置；
15、s303、根據每張圖片的尺寸變換方式，將映射關系對應到圖片標簽上；
16、s304、依據指定的橫縱坐標，對大圖進行拼接，并處理超過邊界的檢測框坐標。
17、優選的，步驟s3中，主干網絡(backbone)部分采用了focus切片、空間金字塔池化(spatial?pyramid?pooling，spp)和跨階段局部網絡(cross?stage?partial，csp)這3個主要功能單元，并將注意力機制squeeze-and-excitation(se)融合到spp模塊之中，其中，注意力機制se包括壓縮操作、激發操作以及特征重標定。
18、focus切片將輸入數據被分割成四個部分，每個部分的分辨率變為輸入時的一半。跨階段局部網絡(csp)是一組跨階段的殘差單元，將輸入分為兩個分支，分別進行卷積，再將兩個分支進行連接(concat)，設計了兩種csp結構，包括csp1_x和csp2_x。csp1_x是主干網絡使用的，有一個殘差單元(residual?unit)，減少模型的參數量和計算量，更好地處理邊緣信息和高頻特征。在頸部網絡中采用csp2_x結構，csp2_x與csp1_x不同的是將殘差單元替換成多個卷積模塊，加強網絡特征提取的能力；
19、spp模塊的主要功能是融合局部和全局特征，采用1×1，5×5，9×9和13×13的最大池化方式，將經過不同尺度池化操作后的特征圖進行拼接，再把來自不同尺度的信息融合到一起；
20、壓縮操作對spp模塊得到的c×h×w(其中c表示通道數、h表示高度、w表示寬度)的特征進行全局平均池化，得到c×1×1大小的特征圖；激發操作使用一個全連接神經網絡，對壓縮操作之后的c×1×1大小的特征圖做非線性變換；特征重標定將激發操作得到的結果作為權重，再乘到輸入特征上。
21、優選的，頸部網絡(neck)主要實現淺層次圖形特征和深層次語義特征的融合，其中用加權雙向特征金字塔網絡替換路徑聚合網絡。
22、優選的，預測網絡(head)對應detect模塊網絡，detect模塊網絡結構由三個1*1卷積構成，對應三個檢測特征層。
23、優選的，步驟s4中模型訓練包括訓練參數、評價指標，修改模型的參數文件然后進行訓練。
24、優選的，步驟s5中，根據步驟s4的訓練結果對攝像頭實時獲取到的手術器械圖像進行檢測，輸出每個被檢測目標的坐標(邊界框)和置信度(表示檢測的置信程度)，根據置信度閾值篩選掉不可靠的檢測結果。
25、步驟s6中，采用deepsort算法進行手術器械跟蹤，deepsort算法的跟蹤是通過結合空間位置信息和外觀特征來完成的，對于每一個檢測目標，deepsort會提取其外觀特征并將其與之前幀中的目標進行關聯，在deepsort算法中使用卡爾曼濾波預測和更新目標狀態，使用匈牙利算法處理和匹配每幀中的檢測結果，確保跟蹤的連貫性；
26、采用deepsort算法跟蹤輸出每幀圖像中所有跟蹤目標的邊界框、標識符和類別信息，在圖像中繪制每個目標的邊界框，并在框上標注目標的本文檔來自技高網...
【技術保護點】
1.一種用于手術導航的器械跟蹤方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟S1中，預處理包括去除噪聲、去除異常數據、去除重復數據，提高數據質量和可靠性。
3.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟S2中，在數據標注時，通過下面方法判斷圖像是否符合標注的標準，若手術器械在圖像中有不少于一半的部位顯示，則將該手術器械所顯示的全部部位通過最小矩形框框出，并標注該手術器械的種類；若手術器械在圖像中有不足一半的部位顯示，則不標注。
4.根據權利要求3所述的一種用于手術導航的器械跟蹤方法，其特征在于，標注的內容保存在和圖像對應名稱的txt文檔中，文檔中包含手術器械的類別名稱、標框的中心點坐標、標框的長寬，對標框的中心點坐標和長寬的值進行歸一化，得到圖像數據集。
5.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟S3中，將步驟S2得到的圖像數據集作為輸入端的輸入圖像，在輸入端中選取四張圖片，隨機拼接，使模型在小范圍內識別目標，具體步驟
6.根據權利要求5所述的一種用于手術導航的器械跟蹤方法，其特征在于，主干網絡部分采用了Focus切片、空間金字塔池化SPP和跨階段局部網絡CSP這3個主要功能單元，并將注意力機制SE融合到SPP模塊之中，注意力機制SE包括壓縮操作、激發操作以及特征重標定；
7.根據權利要求5所述的一種用于手術導航的器械跟蹤方法，其特征在于，頸部網絡主要實現淺層次圖形特征和深層次語義特征的融合，其中用加權雙向特征金字塔網絡替換路徑聚合網絡。
8.根據權利要求5所述的一種用于手術導航的器械跟蹤方法，其特征在于，預測網絡對應Detect模塊網絡，Detect模塊網絡的結構由三個1*1卷積構成，對應三個檢測特征層。
9.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟S4中模型訓練包括訓練參數、評價指標，修改模型的參數文件然后進行訓練。
10.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟S5中根據步驟S4的訓練結果對攝像頭實時獲取到的手術器械圖像進行檢測，輸出每個被檢測目標的邊界框坐標和置信度，根據置信度閾值篩選掉不可靠的檢測結果；
...【技術特征摘要】
1.一種用于手術導航的器械跟蹤方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟s1中，預處理包括去除噪聲、去除異常數據、去除重復數據，提高數據質量和可靠性。
3.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟s2中，在數據標注時，通過下面方法判斷圖像是否符合標注的標準，若手術器械在圖像中有不少于一半的部位顯示，則將該手術器械所顯示的全部部位通過最小矩形框框出，并標注該手術器械的種類；若手術器械在圖像中有不足一半的部位顯示，則不標注。
4.根據權利要求3所述的一種用于手術導航的器械跟蹤方法，其特征在于，標注的內容保存在和圖像對應名稱的txt文檔中，文檔中包含手術器械的類別名稱、標框的中心點坐標、標框的長寬，對標框的中心點坐標和長寬的值進行歸一化，得到圖像數據集。
5.根據權利要求1所述的一種用于手術導航的器械跟蹤方法，其特征在于，步驟s3中，將步驟s2得到的圖像數據集作為輸入端的輸入圖像，在輸入端中選取四張圖片，隨機拼接，使模型在小范圍內識別目標，具體步驟如下：
...
【專利技術屬性】
技術研發人員：吳慶濤，黃明月，葛又銘，王琳，申哲，張明川，李濤，李美雯，韓貝貝，朱軍龍，劉江輝，陳昊陽，寧召惠，
申請(專利權)人：河南科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。