【技術實現步驟摘要】
本專利技術涉及醫學圖像三維重建領域，具體涉及基于雙目內窺鏡的腹腔重建及病灶定位方法、系統及設備。
技術介紹
1、微創手術憑借創傷小，病菌感染率低，并發癥少，患者疼痛輕，恢復快等優勢，近十幾年開始在臨床上得到了廣泛應用，推動了醫學里程碑式的進步。但與傳統開腹手術相比，其存在視野有限、內窺鏡定位不精確、缺乏周圍環境信息等問題。微創手術通常使用的傳統單目腹腔鏡只能捕捉二維場景，導致對手術器械推進距離和體腔深度的估計不足，無法直觀立體地展現腹腔環境中病灶、血管及周圍器官組織的關系，極大地提升了手術難度和復雜性，更依賴醫生經驗。
2、隨著雙目視覺理論的成熟及計算機技術的發展，使用雙目內窺鏡計算體腔環境深度信息，對病灶區域進行立體定位，將采集到的體腔信息通過計算機進行實時且密集的三維重構，使用即時定位與地圖重建(simultaneous?localization?and?mapping，slam)技術建立腹腔器官組織模型并跟蹤腹腔鏡軌跡，更準確、真實地反映腹腔組織結構及病灶空間關系，為醫生提供視覺深度信息，實現內窺鏡定位導航，大大提高腹腔鏡微創手術的科學性及成功率。且內窺鏡無法觀察到器官表面下的信息，使用slam快速且密集地重建腹腔環境后，可與術前診斷的ct或mri影像進行融合配準，術中展現患者的解剖結構。同時可以結合ar技術，在三維場景中疊加額外的信息，如目標病灶的注釋，器官的輪廓距離，腫瘤的測量等，也能實現當前內窺鏡視野的擴展。隨著機器人技術的發展，手術過程的自主化是必然趨勢，腹腔組織的快速且密集的三維重建和病灶定位，推動了
技術實現思路
1、針對現有技術的以上缺陷或改進需求，本專利技術提供了基于雙目內窺鏡的腹腔重建及病灶定位方法。
2、為實現上述目的，按照本專利技術的一個方面，提供了基于雙目內窺鏡的腹腔重建及病灶定位方法，包括以下步驟：
3、s1：基于雙目約束和數據循環改進手眼標定雙目內窺鏡內參，獲取雙目內窺鏡采集到的左右目圖像并根據獲得的內參進行校正；
4、s2：將步驟s1中校正過的左右目圖像輸入訓練好的基于視差注意力機制的深度估計網絡，輸出視差圖，使用雙目內窺鏡采集腹腔體模或與重建組織相近的環境的視頻數據集，并按幀處理成圖片；
5、s3：將步驟s2得到圖片按照由粗到細的金字塔優化方法進行最小化光度誤差，非線性迭代優化計算連續兩幀之間內窺鏡位姿的變換矩陣；
6、s4：通過步驟s3得到的變換矩陣獲得內窺鏡運動軌跡，將內窺鏡運動軌跡進行光束平差優化，疊加深度圖并去除離群點，實現腹腔組織的三維重建；
7、s5：基于步驟s4的三維重建，識別病灶，根據視差圖提取三維信息，結合標定的手眼矩陣，視覺引導手術臂運動至病灶點實現定位。
8、作為優選，步驟s1中標定雙目內窺鏡內參方法具體為：雙目內窺鏡左右目分別使用視頻采集卡通過usb接口與計算機連接，標定板置于機械臂基座平臺上，變換機械臂末端位姿，記錄多組棋盤格圖片及對應的機械臂各關節角的角度數據；同時標定雙目內窺鏡的焦距、光心、畸變系數及左右目轉換矩陣的內參。
9、作為優選，步驟s1中校正方法具體為：構建ax＝xb手眼標定方程，加入了數據循環處理，左目相對于右目的轉換矩陣通過內參標定得出且保持恒定，加入雙目約束以優化標定的結果。
10、作為優選，步驟s2中基于視差注意力機制的深度估計網絡通過如下方法離線訓練得到，具體包括以下步驟：
11、s21：采集一組數據集作為輸入；
12、s22：將步驟s21的數據集輸入沙漏型的特征提取網絡，得到特征圖；
13、s23：將步驟s22得到的特征圖輸入級聯的視差注意力模塊，使用由粗到細的方式進行匹配代價回歸；
14、s24：步驟s23得到的回歸圖經過沙漏型的視差細化網絡；
15、s25：輸出視差圖。
16、作為優選，步驟s23的具體步驟為：使用步驟s22得到的1×1卷積分別提取左右目特征圖ileft和iright，尺寸為h×w×c，其中h是矩陣相乘的批處理，每個矩陣有w個點，每個點的特征維度是c；
17、對特征圖做幾何乘積和softmax函數運算，把沿極線的任意兩個位置的特征相似性編碼到視差注意力圖mright→left和mleft→right中，尺寸為h×w×w，同時根據點對匹配相關度除去遮擋像素得到mask；
18、使用視差注意力機制代替代價卷，降低計算量及內存占有量，且不需要設置固定的視差最大值，引入左右一致性和循環一致性獲得可靠的匹配關系，計算左右一致性，最終輸出視差圖。
19、作為優選，步驟s3的具體步驟為：基于同一空間點在不同相機位姿下的灰度值相同的假設，關注圖像像素灰度值梯度，采用由粗到細的金字塔結構防止運動速度快陷入局部極小值，通過高斯牛頓法進行非線性迭代優化，最小化光度誤差而不是重投影誤差，直接計算相機運動信息。
20、作為優選，步驟s4的具體步驟為：設運動軌跡包含m個相機位姿和n個路標點，位姿用李代數表示，則優化目標為：
21、
22、其中，zij表示第i個相機第j個特征點在原始圖像中的實際像素位置，ξi表示第i個相機的位姿，pi表示第i個特征點的世界坐標系位置。使用lm算法并使用schur消元法整理求解獲得優化數據，按照優化后的內窺鏡運動軌跡，每隔一定幀數疊加深度圖，得到腹腔組織的三維重建。
23、作為優選，步驟s5的具體步驟為：設計的雙目內窺鏡夾具上固定了一根針，根據視差圖提取三維信息獲取工具坐標系和內窺鏡坐標系之間的轉換關系，術中通過顏色空間轉換，閾值分割，輪廓提取擬合等方法提取病灶區域及中心點，獲得視差圖后結合手眼標定矩陣獲得病灶點在機器人基坐標系下的空間位置，視覺引導手術器械運動至病灶點。
24、為實現上述目的，按照本專利技術的一個方面，提供了基于雙目內窺鏡的腹腔重建及病灶定位系統，用于執行所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其包括：
25、雙目內窺鏡標定模塊，用于獲得雙目內窺鏡的焦距、光心、畸變系數及左右目轉換矩陣等內參，及雙目內窺鏡坐標系相對于機械臂末端坐標系的手眼標定矩陣；
26、圖像采集及校正模塊，用于獲取雙目內窺同步采集左目圖像序列和右目圖像序列，并使用標定得到的內參矩陣進行圖像校正；
27、深度估計網絡訓練模塊，用于采集的數據集預先訓練深度學習模型，得到模型參數；
28、視差圖獲取模塊，用于實時獲取采集的圖像的視差圖；
29、內窺鏡運動軌跡計算模塊，用于根據當前幀和下一幀中由粗到細最小化光度誤差計算兩幀之間的位姿轉換矩陣，得到內窺鏡的運動軌跡；
30、腹腔組織三維重構模塊，用于對內窺鏡的運動軌跡進行光束平差法優化，疊加視差圖計算的三維點云并去除離群點，完成腹腔組織的三維重建；...
【技術保護點】
1.基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S1中標定雙目內窺鏡內參方法具體為：雙目內窺鏡左右目分別使用視頻采集卡通過USB接口與計算機連接，標定板置于機械臂基座平臺上，變換機械臂末端位姿，記錄多組棋盤格圖片及對應的機械臂各關節角的角度數據；同時標定雙目內窺鏡的焦距、光心、畸變系數及左右目轉換矩陣的內參。
3.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S1中校正方法具體為：構建AX＝XB手眼標定方程，加入了數據循環處理，左目相對于右目的轉換矩陣通過內參標定得出且保持恒定，加入雙目約束以優化標定的結果。
4.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S2中基于視差注意力機制的深度估計網絡通過如下方法離線訓練得到，具體包括以下步驟：
5.如權利要求4所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S23的具體步驟為：使用步驟S22得到的1×1卷積分別提取左
6.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S3的具體步驟為：基于同一空間點在不同相機位姿下的灰度值相同的假設，關注圖像像素灰度值梯度，采用由粗到細的金字塔結構防止運動速度快陷入局部極小值，通過高斯牛頓法進行非線性迭代優化，最小化光度誤差而不是重投影誤差，直接計算相機運動信息。
7.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S4的具體步驟為：設運動軌跡包含m個相機位姿和n個路標點，位姿用李代數表示，則優化目標為：
8.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S5的具體步驟為：設計的雙目內窺鏡夾具上固定了一根針，根據視差圖提取三維信息獲取工具坐標系和內窺鏡坐標系之間的轉換關系，術中通過顏色空間轉換，閾值分割，輪廓提取擬合等方法提取病灶區域及中心點，獲得視差圖后結合手眼標定矩陣獲得病灶點在機器人基坐標系下的空間位置，視覺引導手術器械運動至病灶點。
9.基于雙目內窺鏡的腹腔重建及病灶定位系統，其特征在于，用于執行如權利要求1-8中任一項所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其包括：
10.一種計算機設備，包括存儲器和處理器，所述存儲器存儲計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-8中任一項所述的基于雙目內窺鏡的腹腔重建及病灶定位方法。
...【技術特征摘要】
1.基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s1中標定雙目內窺鏡內參方法具體為：雙目內窺鏡左右目分別使用視頻采集卡通過usb接口與計算機連接，標定板置于機械臂基座平臺上，變換機械臂末端位姿，記錄多組棋盤格圖片及對應的機械臂各關節角的角度數據；同時標定雙目內窺鏡的焦距、光心、畸變系數及左右目轉換矩陣的內參。
3.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s1中校正方法具體為：構建ax＝xb手眼標定方程，加入了數據循環處理，左目相對于右目的轉換矩陣通過內參標定得出且保持恒定，加入雙目約束以優化標定的結果。
4.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s2中基于視差注意力機制的深度估計網絡通過如下方法離線訓練得到，具體包括以下步驟：
5.如權利要求4所述的基于雙目內窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s23的具體步驟為：使用步驟s22得到的1×1卷積分別提取左右目特征圖ileft和iright，尺寸為h×w×c，其中h是矩陣相乘的批處理，每個矩陣有w個點，每個點的特征維度是c；
6.如權利要求1所述的基于雙目內窺鏡的腹腔重建及病灶...
【專利技術屬性】
技術研發人員：趙興煒，謝強，隋欣，陶波，張陽，丁漢，
申請(專利權)人：華中科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。