【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及圖像處理，尤其涉及一種關(guān)鍵特征點(diǎn)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、三維點(diǎn)云是一種用于表示三維空間中對(duì)象或場(chǎng)景的數(shù)據(jù)結(jié)構(gòu)。在數(shù)學(xué)含義中，它是一個(gè)包含多個(gè)三維坐標(biāo)點(diǎn)（x,y,z）的集合。點(diǎn)云的一種重要特性是具有深度信息，它指的是物體表面各點(diǎn)到相機(jī)的距離信息。通過深度信息，醫(yī)生可以更加直觀地感知手術(shù)區(qū)域內(nèi)的三維空間結(jié)構(gòu)，從而更精準(zhǔn)定位病灶和手術(shù)部位，減少因定位不準(zhǔn)確而導(dǎo)致的手術(shù)誤差；以及更準(zhǔn)確地判斷手術(shù)器械的進(jìn)出路徑，包括切口位置與大小，避免對(duì)周圍組織的損傷，這對(duì)于微創(chuàng)手術(shù)至關(guān)重要。
2、當(dāng)進(jìn)行手術(shù)器械的路徑規(guī)劃時(shí)，需事先手工選取起始點(diǎn)，并對(duì)起始點(diǎn)特征進(jìn)行跟蹤。但以上方式存在因點(diǎn)云稀疏而導(dǎo)致距離測(cè)量不準(zhǔn)確的問題。點(diǎn)云的稀疏性是指?jìng)鞲衅髟诓蓸舆^程中，由于多種因素導(dǎo)致獲取到的點(diǎn)云數(shù)據(jù)在三維空間中分布不均勻，且相對(duì)于整個(gè)場(chǎng)景而言，部分點(diǎn)云數(shù)據(jù)點(diǎn)的密度過低。這會(huì)使得該局部區(qū)域深度信息急劇變化，從而導(dǎo)致深度信息的不準(zhǔn)確。為獲取準(zhǔn)確距離，需要保證目標(biāo)點(diǎn)以及跟蹤的過程中避免位于稀疏點(diǎn)云中。
3、針對(duì)稀疏點(diǎn)云，大部分方法選擇擴(kuò)大采樣范圍，多傳感器結(jié)合或采用各種濾波算法提高深度信息的準(zhǔn)確性。然而，手術(shù)場(chǎng)景區(qū)別于自然場(chǎng)景存在明顯的特異性：1）內(nèi)窺鏡相機(jī)在腹腔的視野有限，采樣范圍有限。2）腹腔空間有限，無法同時(shí)容納多個(gè)傳感器。且進(jìn)入人體的設(shè)備通常具有嚴(yán)格的規(guī)定，大部分傳感器無法滿足。3）手術(shù)場(chǎng)景下，傳回的內(nèi)窺鏡圖像需盡可能還原真實(shí)場(chǎng)景。濾波操作如中值濾波可能對(duì)深度信息有益，但會(huì)忽略場(chǎng)景下的細(xì)節(jié)信息，而這類
4、因此，綜合上述問題，現(xiàn)有技術(shù)中缺少一種可以自動(dòng)判斷當(dāng)前選點(diǎn)是否位于稀疏點(diǎn)云之中，并且在跟蹤的過程中，保證目標(biāo)點(diǎn)不會(huì)掉入稀疏區(qū)域中的方法。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述現(xiàn)有技術(shù)的不足之處，本申請(qǐng)?zhí)峁┑囊环N關(guān)鍵特征點(diǎn)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，應(yīng)用于圖像處理
，具有能夠自動(dòng)判斷起始特征點(diǎn)位置、動(dòng)態(tài)避免稀疏點(diǎn)云區(qū)域、保證跟蹤精度的優(yōu)點(diǎn)。
2、第一方面，一種關(guān)鍵特征點(diǎn)跟蹤方法，所述方法包括步驟：
3、s1：獲取待處理二維圖像，并對(duì)所述待處理二維圖像進(jìn)行三維重建，得到三維重建結(jié)果；
4、s2：從所述待處理二維圖像中任意選取起始特征點(diǎn)，并判斷所述起始特征點(diǎn)是否對(duì)應(yīng)在所述三維重建結(jié)果的稀疏點(diǎn)云中；
5、s3：當(dāng)所述起始特征點(diǎn)不在所述稀疏點(diǎn)云中時(shí)，跟蹤所述起始特征點(diǎn)的變化位置，實(shí)時(shí)判斷所述起始特征點(diǎn)是否落入所述稀疏點(diǎn)云中；
6、s4：在跟蹤過程中，若所述起始特征點(diǎn)落入所述稀疏點(diǎn)云中，則獲取距離所述起始特征點(diǎn)的實(shí)時(shí)位置最近的稠密點(diǎn)云中的像素特征點(diǎn)，并用所述像素特征點(diǎn)替代所述起始特征點(diǎn)進(jìn)行后續(xù)計(jì)算。
7、本申請(qǐng)?zhí)岢龅囊环N關(guān)鍵特征點(diǎn)跟蹤方法，通過對(duì)獲取的待處理二維圖像進(jìn)行三維重建得到三維重建結(jié)果，三維重建結(jié)果能夠提供更精確的空間信息，有助于提高特征點(diǎn)跟蹤的準(zhǔn)確性和魯棒性。通過判斷起始特征點(diǎn)是否在稀疏點(diǎn)云中，確保跟蹤的起始特征點(diǎn)具有深度信息，實(shí)時(shí)跟蹤可以確保起始特征點(diǎn)的位置信息是最新的，有助于提高跟蹤的實(shí)時(shí)性和準(zhǔn)確性。同時(shí)，通過判斷起始特征點(diǎn)是否進(jìn)入稀疏點(diǎn)云，可以動(dòng)態(tài)調(diào)整跟蹤策略，用稠密點(diǎn)云替代稀疏點(diǎn)云進(jìn)行后續(xù)計(jì)算。該方法通過實(shí)時(shí)判斷起始特征點(diǎn)是否落入稀疏點(diǎn)云，并在必要時(shí)自動(dòng)替換為稠密點(diǎn)云中的特征點(diǎn)，有效解決了內(nèi)窺鏡手術(shù)場(chǎng)景中由于點(diǎn)云稀疏性導(dǎo)致的深度信息不準(zhǔn)確問題。這種動(dòng)態(tài)調(diào)整機(jī)制確保了特征點(diǎn)跟蹤的連續(xù)性和準(zhǔn)確性，為精確的手術(shù)路徑規(guī)劃提供了可靠的技術(shù)支持。
8、進(jìn)一步的，步驟s4包括：
9、s41：在跟蹤過程中，若所述起始特征點(diǎn)落入所述稀疏點(diǎn)云中，則計(jì)算以所述起始特征點(diǎn)的實(shí)時(shí)位置為中心的局部區(qū)域xyz通道方差；
10、s42：將xyz通道中方差最大的通道的像素置為0，并計(jì)算所述起始特征點(diǎn)在剩下兩個(gè)通道中，距離最近的n個(gè)點(diǎn)云特征點(diǎn)；
11、s43：對(duì)n個(gè)所述點(diǎn)云特征點(diǎn)按照距離相機(jī)的點(diǎn)云距離從小到大進(jìn)行排序，并依次計(jì)算n個(gè)所述點(diǎn)云特征點(diǎn)是否在稠密點(diǎn)云中，直到找到落在所述稠密點(diǎn)云中的第m個(gè)點(diǎn)云特征點(diǎn)，所述第m個(gè)點(diǎn)云特征點(diǎn)為所述像素特征點(diǎn)，用所述像素特征點(diǎn)替代所述起始特征點(diǎn)進(jìn)行后續(xù)計(jì)算，其中，n為剩下兩個(gè)通道中距離所述起始特征點(diǎn)最近的點(diǎn)云特征點(diǎn)總數(shù)，m是排序后的點(diǎn)云特征點(diǎn)中落在稠密點(diǎn)云中的點(diǎn)的數(shù)量，m小于等于n。
12、本申請(qǐng)?zhí)岢龅囊环N關(guān)鍵特征點(diǎn)跟蹤方法，通過計(jì)算起始特征點(diǎn)局部區(qū)域的xyz通道方差，并對(duì)方差最大的通道進(jìn)行特殊處理，從而實(shí)現(xiàn)起始特征點(diǎn)的精確定位和替換。
13、進(jìn)一步的，步驟s1包括：
14、s11：對(duì)相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)參數(shù)，并讀取內(nèi)窺鏡手術(shù)視頻幀，利用所述相機(jī)參數(shù)對(duì)所述視頻幀進(jìn)行左右目矯正，得到矯正視頻幀，所述矯正視頻幀為待處理的二維圖像；
15、s12：對(duì)所述待處理的二維圖像進(jìn)行立體匹配，得到相應(yīng)的視差圖；
16、s13：利用所述視差圖以及所述相機(jī)參數(shù)對(duì)所述待處理的二維圖像進(jìn)行三維重建，得到三維重建結(jié)果。
17、本申請(qǐng)?zhí)岢龅囊环N關(guān)鍵特征點(diǎn)跟蹤方法，相機(jī)標(biāo)定是通過獲取內(nèi)部和外部參數(shù)，確保圖像矯正的準(zhǔn)確性。視頻幀矯正能夠消除鏡頭畸變，提高圖像質(zhì)量。視差圖的生成是立體匹配的關(guān)鍵，它反映了圖像中像素點(diǎn)在不同視角下的位置差異，為三維重建提供深度信息。三維重建過程將二維圖像轉(zhuǎn)換為具有空間坐標(biāo)的點(diǎn)云數(shù)據(jù)，為后續(xù)特征點(diǎn)跟蹤奠定基礎(chǔ)。
18、進(jìn)一步的，步驟s2包括：
19、s21：計(jì)算所述三維重建結(jié)果中當(dāng)前點(diǎn)云整體的距離數(shù)組；
20、s22：根據(jù)所述距離數(shù)組，以所述起始特征點(diǎn)取半徑為r的局部區(qū)域，計(jì)算所述局部區(qū)域的平均空間距離；
21、s23：比較所述平均空間距離與預(yù)設(shè)臨界距離的大小，若所述平均空間距離大于所述預(yù)設(shè)臨界距離，則判定所述起始特征點(diǎn)對(duì)應(yīng)在所述三維重建結(jié)果中的稀疏點(diǎn)云中；若所述平均空間距離小于等于預(yù)設(shè)臨界距離，則判定所述起始點(diǎn)不在所述三維重建結(jié)果的稀疏點(diǎn)云中。
22、本申請(qǐng)?zhí)岢龅囊环N關(guān)鍵特征點(diǎn)跟蹤方法，通過對(duì)局部區(qū)域空間距離的計(jì)算和比較，實(shí)現(xiàn)了對(duì)起始特征點(diǎn)是否位于稀疏點(diǎn)云中的準(zhǔn)確判斷。具體來說，當(dāng)局部區(qū)域的平均空間距離較大時(shí)，意味著該區(qū)域點(diǎn)云分布稀疏；反之，當(dāng)平均空間距離較小時(shí)，則表明該區(qū)域點(diǎn)云分布較為密集。
23、進(jìn)一步的，步驟s2之后還包括：
24、s24：當(dāng)所述起始特征點(diǎn)在所述稀疏點(diǎn)云中時(shí)，舍棄當(dāng)前選取的所述起始特征點(diǎn)，并再次任意選取像素點(diǎn)作為所述起始特征點(diǎn)，直到所述起始特征點(diǎn)不在所述三維重建結(jié)果的稀疏點(diǎn)云中。
25、進(jìn)一步的，步驟s1中計(jì)算所述三維重建結(jié)果中當(dāng)前點(diǎn)云整體的距離數(shù)組，并進(jìn)行從小到大排序的公式為：，為當(dāng)前點(diǎn)云整體的距離數(shù)組，為三維重建結(jié)果中的當(dāng)前點(diǎn)云，為與所述起始特征點(diǎn)距離最近的點(diǎn)云，為距離數(shù)組按照從小到大排序的函數(shù)。
26、進(jìn)一步的，步驟s本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，所述方法包括步驟：
2.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S4包括：
3.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S1包括：
4.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S2包括：
5.根據(jù)權(quán)利要求4所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S2之后還包括：
6.根據(jù)權(quán)利要求4所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S21中計(jì)算所述三維重建結(jié)果中當(dāng)前點(diǎn)云整體的距離數(shù)組的公式為：，為當(dāng)前點(diǎn)云整體的距離數(shù)組，為三維重建結(jié)果中的當(dāng)前點(diǎn)云，為與所述起始特征點(diǎn)距離最近的點(diǎn)云，為距離數(shù)組按照從小到大排序的函數(shù)。
7.根據(jù)權(quán)利要求4所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟S23中，所述預(yù)設(shè)臨界距離為，其中，為當(dāng)前點(diǎn)云整體的距離數(shù)組，為預(yù)設(shè)臨界距離，為給定閾值因子，，是獲取距離數(shù)組中元素個(gè)數(shù)的函數(shù)。
8.一種關(guān)鍵特征點(diǎn)跟蹤裝置，其特征在于，所述裝置包括：
9.一種電子設(shè)備，其特征在
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)運(yùn)行如權(quán)利要求1-7任一所述方法中的步驟。
...【技術(shù)特征摘要】
1.一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，所述方法包括步驟：
2.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟s4包括：
3.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟s1包括：
4.根據(jù)權(quán)利要求1所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟s2包括：
5.根據(jù)權(quán)利要求4所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟s2之后還包括：
6.根據(jù)權(quán)利要求4所述的一種關(guān)鍵特征點(diǎn)跟蹤方法，其特征在于，步驟s21中計(jì)算所述三維重建結(jié)果中當(dāng)前點(diǎn)云整體的距離數(shù)組的公式為：，為當(dāng)前點(diǎn)云整體的距離數(shù)組，為三維重建結(jié)果中的當(dāng)前點(diǎn)云，為與所述起始特征點(diǎn)距離最近的點(diǎn)云...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王一名，譚文安，黃澤鑫，梁江榮，安昕，
申請(qǐng)(專利權(quán))人：廣東歐譜曼迪科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。