【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及醫(yī)學(xué)圖像三維重建領(lǐng)域，具體涉及基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法、系統(tǒng)及設(shè)備。
技術(shù)介紹
1、微創(chuàng)手術(shù)憑借創(chuàng)傷小，病菌感染率低，并發(fā)癥少，患者疼痛輕，恢復(fù)快等優(yōu)勢(shì)，近十幾年開(kāi)始在臨床上得到了廣泛應(yīng)用，推動(dòng)了醫(yī)學(xué)里程碑式的進(jìn)步。但與傳統(tǒng)開(kāi)腹手術(shù)相比，其存在視野有限、內(nèi)窺鏡定位不精確、缺乏周圍環(huán)境信息等問(wèn)題。微創(chuàng)手術(shù)通常使用的傳統(tǒng)單目腹腔鏡只能捕捉二維場(chǎng)景，導(dǎo)致對(duì)手術(shù)器械推進(jìn)距離和體腔深度的估計(jì)不足，無(wú)法直觀立體地展現(xiàn)腹腔環(huán)境中病灶、血管及周圍器官組織的關(guān)系，極大地提升了手術(shù)難度和復(fù)雜性，更依賴醫(yī)生經(jīng)驗(yàn)。
2、隨著雙目視覺(jué)理論的成熟及計(jì)算機(jī)技術(shù)的發(fā)展，使用雙目?jī)?nèi)窺鏡計(jì)算體腔環(huán)境深度信息，對(duì)病灶區(qū)域進(jìn)行立體定位，將采集到的體腔信息通過(guò)計(jì)算機(jī)進(jìn)行實(shí)時(shí)且密集的三維重構(gòu)，使用即時(shí)定位與地圖重建(simultaneous?localization?and?mapping，slam)技術(shù)建立腹腔器官組織模型并跟蹤腹腔鏡軌跡，更準(zhǔn)確、真實(shí)地反映腹腔組織結(jié)構(gòu)及病灶空間關(guān)系，為醫(yī)生提供視覺(jué)深度信息，實(shí)現(xiàn)內(nèi)窺鏡定位導(dǎo)航，大大提高腹腔鏡微創(chuàng)手術(shù)的科學(xué)性及成功率。且內(nèi)窺鏡無(wú)法觀察到器官表面下的信息，使用slam快速且密集地重建腹腔環(huán)境后，可與術(shù)前診斷的ct或mri影像進(jìn)行融合配準(zhǔn)，術(shù)中展現(xiàn)患者的解剖結(jié)構(gòu)。同時(shí)可以結(jié)合ar技術(shù)，在三維場(chǎng)景中疊加額外的信息，如目標(biāo)病灶的注釋，器官的輪廓距離，腫瘤的測(cè)量等，也能實(shí)現(xiàn)當(dāng)前內(nèi)窺鏡視野的擴(kuò)展。隨著機(jī)器人技術(shù)的發(fā)展，手術(shù)過(guò)程的自主化是必然趨勢(shì)，腹腔組織的快速且密集的三維重建和病灶定位，推動(dòng)了
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本專利技術(shù)提供了基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法。
2、為實(shí)現(xiàn)上述目的，按照本專利技術(shù)的一個(gè)方面，提供了基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，包括以下步驟：
3、s1：基于雙目約束和數(shù)據(jù)循環(huán)改進(jìn)手眼標(biāo)定雙目?jī)?nèi)窺鏡內(nèi)參，獲取雙目?jī)?nèi)窺鏡采集到的左右目圖像并根據(jù)獲得的內(nèi)參進(jìn)行校正；
4、s2：將步驟s1中校正過(guò)的左右目圖像輸入訓(xùn)練好的基于視差注意力機(jī)制的深度估計(jì)網(wǎng)絡(luò)，輸出視差圖，使用雙目?jī)?nèi)窺鏡采集腹腔體模或與重建組織相近的環(huán)境的視頻數(shù)據(jù)集，并按幀處理成圖片；
5、s3：將步驟s2得到圖片按照由粗到細(xì)的金字塔優(yōu)化方法進(jìn)行最小化光度誤差，非線性迭代優(yōu)化計(jì)算連續(xù)兩幀之間內(nèi)窺鏡位姿的變換矩陣；
6、s4：通過(guò)步驟s3得到的變換矩陣獲得內(nèi)窺鏡運(yùn)動(dòng)軌跡，將內(nèi)窺鏡運(yùn)動(dòng)軌跡進(jìn)行光束平差優(yōu)化，疊加深度圖并去除離群點(diǎn)，實(shí)現(xiàn)腹腔組織的三維重建；
7、s5：基于步驟s4的三維重建，識(shí)別病灶，根據(jù)視差圖提取三維信息，結(jié)合標(biāo)定的手眼矩陣，視覺(jué)引導(dǎo)手術(shù)臂運(yùn)動(dòng)至病灶點(diǎn)實(shí)現(xiàn)定位。
8、作為優(yōu)選，步驟s1中標(biāo)定雙目?jī)?nèi)窺鏡內(nèi)參方法具體為：雙目?jī)?nèi)窺鏡左右目分別使用視頻采集卡通過(guò)usb接口與計(jì)算機(jī)連接，標(biāo)定板置于機(jī)械臂基座平臺(tái)上，變換機(jī)械臂末端位姿，記錄多組棋盤格圖片及對(duì)應(yīng)的機(jī)械臂各關(guān)節(jié)角的角度數(shù)據(jù)；同時(shí)標(biāo)定雙目?jī)?nèi)窺鏡的焦距、光心、畸變系數(shù)及左右目轉(zhuǎn)換矩陣的內(nèi)參。
9、作為優(yōu)選，步驟s1中校正方法具體為：構(gòu)建ax＝xb手眼標(biāo)定方程，加入了數(shù)據(jù)循環(huán)處理，左目相對(duì)于右目的轉(zhuǎn)換矩陣通過(guò)內(nèi)參標(biāo)定得出且保持恒定，加入雙目約束以優(yōu)化標(biāo)定的結(jié)果。
10、作為優(yōu)選，步驟s2中基于視差注意力機(jī)制的深度估計(jì)網(wǎng)絡(luò)通過(guò)如下方法離線訓(xùn)練得到，具體包括以下步驟：
11、s21：采集一組數(shù)據(jù)集作為輸入；
12、s22：將步驟s21的數(shù)據(jù)集輸入沙漏型的特征提取網(wǎng)絡(luò)，得到特征圖；
13、s23：將步驟s22得到的特征圖輸入級(jí)聯(lián)的視差注意力模塊，使用由粗到細(xì)的方式進(jìn)行匹配代價(jià)回歸；
14、s24：步驟s23得到的回歸圖經(jīng)過(guò)沙漏型的視差細(xì)化網(wǎng)絡(luò)；
15、s25：輸出視差圖。
16、作為優(yōu)選，步驟s23的具體步驟為：使用步驟s22得到的1×1卷積分別提取左右目特征圖ileft和iright，尺寸為h×w×c，其中h是矩陣相乘的批處理，每個(gè)矩陣有w個(gè)點(diǎn)，每個(gè)點(diǎn)的特征維度是c；
17、對(duì)特征圖做幾何乘積和softmax函數(shù)運(yùn)算，把沿極線的任意兩個(gè)位置的特征相似性編碼到視差注意力圖mright→left和mleft→right中，尺寸為h×w×w，同時(shí)根據(jù)點(diǎn)對(duì)匹配相關(guān)度除去遮擋像素得到mask；
18、使用視差注意力機(jī)制代替代價(jià)卷，降低計(jì)算量及內(nèi)存占有量，且不需要設(shè)置固定的視差最大值，引入左右一致性和循環(huán)一致性獲得可靠的匹配關(guān)系，計(jì)算左右一致性，最終輸出視差圖。
19、作為優(yōu)選，步驟s3的具體步驟為：基于同一空間點(diǎn)在不同相機(jī)位姿下的灰度值相同的假設(shè)，關(guān)注圖像像素灰度值梯度，采用由粗到細(xì)的金字塔結(jié)構(gòu)防止運(yùn)動(dòng)速度快陷入局部極小值，通過(guò)高斯牛頓法進(jìn)行非線性迭代優(yōu)化，最小化光度誤差而不是重投影誤差，直接計(jì)算相機(jī)運(yùn)動(dòng)信息。
20、作為優(yōu)選，步驟s4的具體步驟為：設(shè)運(yùn)動(dòng)軌跡包含m個(gè)相機(jī)位姿和n個(gè)路標(biāo)點(diǎn)，位姿用李代數(shù)表示，則優(yōu)化目標(biāo)為：
21、
22、其中，zij表示第i個(gè)相機(jī)第j個(gè)特征點(diǎn)在原始圖像中的實(shí)際像素位置，ξi表示第i個(gè)相機(jī)的位姿，pi表示第i個(gè)特征點(diǎn)的世界坐標(biāo)系位置。使用lm算法并使用schur消元法整理求解獲得優(yōu)化數(shù)據(jù)，按照優(yōu)化后的內(nèi)窺鏡運(yùn)動(dòng)軌跡，每隔一定幀數(shù)疊加深度圖，得到腹腔組織的三維重建。
23、作為優(yōu)選，步驟s5的具體步驟為：設(shè)計(jì)的雙目?jī)?nèi)窺鏡夾具上固定了一根針，根據(jù)視差圖提取三維信息獲取工具坐標(biāo)系和內(nèi)窺鏡坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，術(shù)中通過(guò)顏色空間轉(zhuǎn)換，閾值分割，輪廓提取擬合等方法提取病灶區(qū)域及中心點(diǎn)，獲得視差圖后結(jié)合手眼標(biāo)定矩陣獲得病灶點(diǎn)在機(jī)器人基坐標(biāo)系下的空間位置，視覺(jué)引導(dǎo)手術(shù)器械運(yùn)動(dòng)至病灶點(diǎn)。
24、為實(shí)現(xiàn)上述目的，按照本專利技術(shù)的一個(gè)方面，提供了基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位系統(tǒng)，用于執(zhí)行所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其包括：
25、雙目?jī)?nèi)窺鏡標(biāo)定模塊，用于獲得雙目?jī)?nèi)窺鏡的焦距、光心、畸變系數(shù)及左右目轉(zhuǎn)換矩陣等內(nèi)參，及雙目?jī)?nèi)窺鏡坐標(biāo)系相對(duì)于機(jī)械臂末端坐標(biāo)系的手眼標(biāo)定矩陣；
26、圖像采集及校正模塊，用于獲取雙目?jī)?nèi)窺同步采集左目圖像序列和右目圖像序列，并使用標(biāo)定得到的內(nèi)參矩陣進(jìn)行圖像校正；
27、深度估計(jì)網(wǎng)絡(luò)訓(xùn)練模塊，用于采集的數(shù)據(jù)集預(yù)先訓(xùn)練深度學(xué)習(xí)模型，得到模型參數(shù)；
28、視差圖獲取模塊，用于實(shí)時(shí)獲取采集的圖像的視差圖；
29、內(nèi)窺鏡運(yùn)動(dòng)軌跡計(jì)算模塊，用于根據(jù)當(dāng)前幀和下一幀中由粗到細(xì)最小化光度誤差計(jì)算兩幀之間的位姿轉(zhuǎn)換矩陣，得到內(nèi)窺鏡的運(yùn)動(dòng)軌跡；
30、腹腔組織三維重構(gòu)模塊，用于對(duì)內(nèi)窺鏡的運(yùn)動(dòng)軌跡進(jìn)行光束平差法優(yōu)化，疊加視差圖計(jì)算的三維點(diǎn)云并去除離群點(diǎn)，完成腹腔組織的三維重建；...
【技術(shù)保護(hù)點(diǎn)】
1.基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S1中標(biāo)定雙目?jī)?nèi)窺鏡內(nèi)參方法具體為：雙目?jī)?nèi)窺鏡左右目分別使用視頻采集卡通過(guò)USB接口與計(jì)算機(jī)連接，標(biāo)定板置于機(jī)械臂基座平臺(tái)上，變換機(jī)械臂末端位姿，記錄多組棋盤格圖片及對(duì)應(yīng)的機(jī)械臂各關(guān)節(jié)角的角度數(shù)據(jù)；同時(shí)標(biāo)定雙目?jī)?nèi)窺鏡的焦距、光心、畸變系數(shù)及左右目轉(zhuǎn)換矩陣的內(nèi)參。
3.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S1中校正方法具體為：構(gòu)建AX＝XB手眼標(biāo)定方程，加入了數(shù)據(jù)循環(huán)處理，左目相對(duì)于右目的轉(zhuǎn)換矩陣通過(guò)內(nèi)參標(biāo)定得出且保持恒定，加入雙目約束以優(yōu)化標(biāo)定的結(jié)果。
4.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S2中基于視差注意力機(jī)制的深度估計(jì)網(wǎng)絡(luò)通過(guò)如下方法離線訓(xùn)練得到，具體包括以下步驟：
5.如權(quán)利要求4所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S23的具體步驟為：使用步驟S22得到的1×1卷積分別提取左
6.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S3的具體步驟為：基于同一空間點(diǎn)在不同相機(jī)位姿下的灰度值相同的假設(shè)，關(guān)注圖像像素灰度值梯度，采用由粗到細(xì)的金字塔結(jié)構(gòu)防止運(yùn)動(dòng)速度快陷入局部極小值，通過(guò)高斯牛頓法進(jìn)行非線性迭代優(yōu)化，最小化光度誤差而不是重投影誤差，直接計(jì)算相機(jī)運(yùn)動(dòng)信息。
7.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S4的具體步驟為：設(shè)運(yùn)動(dòng)軌跡包含m個(gè)相機(jī)位姿和n個(gè)路標(biāo)點(diǎn)，位姿用李代數(shù)表示，則優(yōu)化目標(biāo)為：
8.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟S5的具體步驟為：設(shè)計(jì)的雙目?jī)?nèi)窺鏡夾具上固定了一根針，根據(jù)視差圖提取三維信息獲取工具坐標(biāo)系和內(nèi)窺鏡坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，術(shù)中通過(guò)顏色空間轉(zhuǎn)換，閾值分割，輪廓提取擬合等方法提取病灶區(qū)域及中心點(diǎn)，獲得視差圖后結(jié)合手眼標(biāo)定矩陣獲得病灶點(diǎn)在機(jī)器人基坐標(biāo)系下的空間位置，視覺(jué)引導(dǎo)手術(shù)器械運(yùn)動(dòng)至病灶點(diǎn)。
9.基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位系統(tǒng)，其特征在于，用于執(zhí)行如權(quán)利要求1-8中任一項(xiàng)所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其包括：
10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任一項(xiàng)所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法。
...【技術(shù)特征摘要】
1.基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s1中標(biāo)定雙目?jī)?nèi)窺鏡內(nèi)參方法具體為：雙目?jī)?nèi)窺鏡左右目分別使用視頻采集卡通過(guò)usb接口與計(jì)算機(jī)連接，標(biāo)定板置于機(jī)械臂基座平臺(tái)上，變換機(jī)械臂末端位姿，記錄多組棋盤格圖片及對(duì)應(yīng)的機(jī)械臂各關(guān)節(jié)角的角度數(shù)據(jù)；同時(shí)標(biāo)定雙目?jī)?nèi)窺鏡的焦距、光心、畸變系數(shù)及左右目轉(zhuǎn)換矩陣的內(nèi)參。
3.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s1中校正方法具體為：構(gòu)建ax＝xb手眼標(biāo)定方程，加入了數(shù)據(jù)循環(huán)處理，左目相對(duì)于右目的轉(zhuǎn)換矩陣通過(guò)內(nèi)參標(biāo)定得出且保持恒定，加入雙目約束以優(yōu)化標(biāo)定的結(jié)果。
4.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s2中基于視差注意力機(jī)制的深度估計(jì)網(wǎng)絡(luò)通過(guò)如下方法離線訓(xùn)練得到，具體包括以下步驟：
5.如權(quán)利要求4所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶定位方法，其特征在于，步驟s23的具體步驟為：使用步驟s22得到的1×1卷積分別提取左右目特征圖ileft和iright，尺寸為h×w×c，其中h是矩陣相乘的批處理，每個(gè)矩陣有w個(gè)點(diǎn)，每個(gè)點(diǎn)的特征維度是c；
6.如權(quán)利要求1所述的基于雙目?jī)?nèi)窺鏡的腹腔重建及病灶...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙興煒，謝強(qiáng)，隋欣，陶波，張陽(yáng)，丁漢，
申請(qǐng)(專利權(quán))人：華中科技大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。