【技術實現步驟摘要】
本專利技術涉及生物醫藥，尤其涉及一種醫療器械位姿估計模型的訓練方法、位姿估計方法及裝置。
技術介紹
1、手術機器人、智能輔助手術是當今智慧醫療領域的重要發展方向。如何實現魯棒、準確且盡可能少的依賴輔助設備的微創手術工具器械位姿估計是手術機器人、智能輔助手術的重要關鍵基礎技術。
2、相關技術實現位姿估計的常用方法主要分為兩類，第一類通常需要在一般的手術本身所需的單目內窺鏡以外添加其他輔助工具，進行手術器械定位，如在手術器械的尾端，固定棋盤格等標志物，通過采集標志物的圖像，并對標志物的位姿估計，結合手眼標定技術對手術器械位姿間接估計；第二類廣泛使用的方法是通過增加額外的彩色或者深度攝像頭，經過雙目匹配或者彩色與深度攝像頭匹配，然后通過對極幾何關系獲得手術器械上的特征的三維信息，從而估計手術器械位姿；但這兩類位姿估計方法投入的設備成本較高，且容易對醫療器械使用場景增加額外負擔，在復雜場景下還會影響手術器械的活動范圍，造成醫療器械位姿估計結果不準確。
技術實現思路
1、本專利技術提供一種醫療器械位姿估計模型的訓練方法、位姿估計方法及裝置，用以解決現有技術的位姿估計方法投入的設備成本較高，且容易對醫療器械使用場景增加額外負擔，有些場景下甚至影響手術器械的活動范圍，造成醫療器械位姿估計結果不準確的缺陷，提高了醫療器械位姿估計的魯棒性和準確性。
2、本專利技術提供一種醫療器械位姿估計模型的訓練方法，包括：
3、從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取
4、分別提取出每個樣本圖像對應的輪廓掩碼圖，并根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集；
5、根據所述目標訓練集和融合特征訓練位姿估計網絡，并結合梯度回傳機制更新所述位姿估計網絡的模型參數，得到醫療器械位姿估計模型；所述融合特征基于所述目標訓練集中的全局信息和局部信息確定。
6、根據本專利技術提供的一種醫療器械位姿估計模型的訓練方法，所述從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取多個樣本圖像包括：
7、通過環繞拍攝醫療器械的多視角圖像獲取所述醫療器械的輪廓數據；
8、根據由輪廓恢復形狀的方法對所述輪廓數據進行三維重建，得到三維模型，并通過虛擬引擎ue對所述三維模型對應的虛擬醫療器械進行多點采樣和渲染，得到所述多個樣本圖像。
9、根據本專利技術提供的一種醫療器械位姿估計模型的訓練方法，所述根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集包括：
10、根據最遠點采樣法從所述虛擬醫療器械對應的三維模型中獲取多個隱式特征點；
11、通過剛體變換矩陣對所述多個隱式特征點進行透視投影映射，得到所述多個隱式特征點在所述輪廓掩碼圖上的二維坐標，根據所述二維坐標、所述輪廓掩碼圖和所述剛體變換矩陣生成所述目標訓練集。
12、根據本專利技術提供的一種醫療器械位姿估計模型的訓練方法，所述位姿估計網絡包括基于自注意力機制的特征融合網絡、可微分坐標估計網絡和梯度可回傳的可微分網絡；
13、所述根據所述目標訓練集和融合特征訓練位姿估計網絡，并結合梯度回傳機制更新所述位姿估計網絡的模型參數，得到醫療器械位姿估計模型包括：
14、基于所述基于自注意力機制的特征融合網絡對所述目標訓練集進行特征提取，得到特征點熱圖；所述特征點熱圖包括所述樣本圖像中的不同區域之間的局部信息和全局信息；
15、基于所述可微分坐標估計網絡將所述特征點熱圖與隱式特征點的二維坐標進行可微映射，得到隱式特征點坐標信息；
16、基于所述梯度可回傳的可微分網絡計算所述隱式特征點坐標信息在當前估計下的重投影誤差與位姿參數之間的誤差傳遞梯度，并根據所述誤差傳遞梯度更新所述位姿估計網絡的網絡參數，在所述位姿估計網絡收斂的情況下，得到所述醫療器械位姿估計模型。
17、根據本專利技術提供的一種醫療器械位姿估計模型的訓練方法，所述基于所述梯度可回傳的可微分網絡計算所述隱式特征點坐標信息在當前估計下的重投影誤差與位姿參數之間的誤差傳遞梯度包括：
18、通過下式計算所述誤差傳遞梯度：
19、
20、其中，x*為所述隱式特征點的坐標信息，i為隱式特征點的索引，y為所述位姿估計網絡估計的醫療器械位姿估計信息，zi為所述隱式特征點的三維空間坐標，k為相機參數，π(zi|y,k)為隱式特征點在當前位姿下的重投影坐標；為第i個隱式特征點的坐標信息；f為frobenius范數。
21、本專利技術還提供一種位姿估計方法，包括：
22、獲取待處理醫療器械圖像；
23、基于醫療器械位姿估計模型對所述待處理醫療器械圖像進行位姿估計，得到醫療器械位姿估計結果；其中，所述醫療器械位姿估計模型基于如所述醫療器械位姿估計模型的訓練方法訓練得到。
24、本專利技術還提供一種醫療器械位姿估計模型的訓練裝置，包括：
25、第一圖像獲取模塊，用于從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取多個樣本圖像，不同的樣本圖像包括所述虛擬醫療器械的不同位姿信息；不同的采樣點對應不同的剛體變換矩陣；
26、圖像處理模塊，用于分別提取出每個樣本圖像對應的輪廓掩碼圖，并根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集；
27、訓練模塊，用于根據所述目標訓練集和融合特征訓練位姿估計網絡，并結合梯度回傳機制更新所述位姿估計網絡的模型參數，得到醫療器械位姿估計模型；所述融合特征基于所述目標訓練集中的全局信息和局部信息確定。
28、本專利技術還提供一種位姿估計裝置，包括：
29、第二圖像獲取模塊，用于獲取待處理醫療器械圖像；
30、位姿估計模塊，用于基于醫療器械位姿估計模型對所述待處理醫療器械圖像進行位姿估計，得到醫療器械位姿估計結果；其中，所述醫療器械位姿估計模型基于如所述醫療器械位姿估計模型的訓練方法訓練得到。
31、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述方法。
32、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述方法。
33、本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述方法。
34、本專利技術提供的醫療器械位姿估計模型的訓練方法、位姿估計方法及裝置，通過從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取多個樣本圖像，再分別提取出每個樣本圖像對應的輪廓掩碼圖，并根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集，最后根據目標訓練集和融合特征訓練位姿估計網絡，并結合梯度回傳機制更新位姿估計網絡的模型參數，得到醫療器械位姿估本文檔來自技高網...
【技術保護點】
1.一種醫療器械位姿估計模型的訓練方法，其特征在于，包括：
2.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取多個樣本圖像包括：
3.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集包括：
4.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述位姿估計網絡包括基于自注意力機制的特征融合網絡、可微分坐標估計網絡和梯度可回傳的可微分網絡；
5.根據權利要求4所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述基于所述梯度可回傳的可微分網絡計算所述隱式特征點坐標信息在當前估計下的重投影誤差與位姿參數之間的誤差傳遞梯度包括：
6.一種位姿估計方法，其特征在于，包括：
7.一種醫療器械位姿估計模型的訓練裝置，其特征在于，包括：
8.一種位姿估計裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述方法。
...【技術特征摘要】
1.一種醫療器械位姿估計模型的訓練方法，其特征在于，包括：
2.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述從虛擬醫療器械的姿態采樣空間中的多個采樣點分別獲取多個樣本圖像包括：
3.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述根據輪廓掩碼圖與對應的剛體變換矩陣生成目標訓練集包括：
4.根據權利要求1所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述位姿估計網絡包括基于自注意力機制的特征融合網絡、可微分坐標估計網絡和梯度可回傳的可微分網絡；
5.根據權利要求4所述的醫療器械位姿估計模型的訓練方法，其特征在于，所述基...
【專利技術屬性】
技術研發人員：王波，胡占義，楊雪冰，張文生，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。