本公開描述一種組織腔體內(nèi)的膠囊內(nèi)窺鏡的本質(zhì)矩陣的計算方法，包括：在具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向?qū)M織腔體內(nèi)的重建區(qū)域采集第一圖像，并使膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著與第一方向形成有夾角的第二方向采集第二圖像；通過基于卷積運算的神經(jīng)網(wǎng)絡(luò)計算重建區(qū)域在第一圖像內(nèi)的第一像素區(qū)域與重建區(qū)域在第二圖像內(nèi)與第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流，其中，基于卷積運算的神經(jīng)網(wǎng)絡(luò)在第一像素區(qū)域提取包括多個特征點的第一特征點集，并基于第一特征點集和光流獲得在第二像素區(qū)域與第一特征點集對應(yīng)的第二特征點集；基于第一特征點集和第二特征點集計算膠囊內(nèi)窺鏡的本質(zhì)矩陣。由此，能夠獲得組織腔體內(nèi)的膠囊內(nèi)窺鏡的本質(zhì)矩陣。的膠囊內(nèi)窺鏡的本質(zhì)矩陣。的膠囊內(nèi)窺鏡的本質(zhì)矩陣。
【技術(shù)實現(xiàn)步驟摘要】
組織腔體內(nèi)的膠囊內(nèi)窺鏡的本質(zhì)矩陣的計算方法
[0001]本申請是申請日為2020年10月19日、申請?zhí)枮?020111205814、專利技術(shù)名稱為基于光流獲得組織腔體三維圖像的處理方法的專利申請的分案申請。
[0002]本公開涉及一種組織腔體內(nèi)的膠囊內(nèi)窺鏡的本質(zhì)矩陣的計算方法。
技術(shù)介紹
[0003]目前，在對腔體進行病理診斷的過程中，常常通過觀察腔體的內(nèi)部結(jié)構(gòu)來獲取病理信息。然而對于例如胃部等封閉腔體，人們難以在腔體外側(cè)進行觀察，因此一般通過導(dǎo)入拍攝裝置收集信息，并通過特征點法進行三維重建。
[0004]現(xiàn)有的特征點三維重建方法中，首先是分別提取兩幅圖像的特征點，然后對兩幅圖像的特征點進行一一配對，通過配對好的特征點對可以計算出兩幅圖像之間的相對位姿，從而計算出攝影裝置的位置和姿態(tài)并根據(jù)攝影裝置的位置和姿態(tài)進一步計算出腔體內(nèi)壁的三維圖像。
[0005]但是，現(xiàn)有的特征點三維重建方法，在紋理缺乏且相似度高的場景內(nèi)效果并不令人滿意。對于例如胃部等紋理少且紋理之間相似度高的腔體而言，所獲得的圖像容易受腔體內(nèi)的光照影響，無法獲取足夠的特征點和準(zhǔn)確的匹配關(guān)系。因此，使用傳統(tǒng)特征點法進行的三維重建不適用于胃部等紋理少且紋理之間相似度高的腔體。
技術(shù)實現(xiàn)思路
[0006]本公開是鑒于上述現(xiàn)有技術(shù)的狀況而提出的，其目的在于提供一種能夠?qū)y理少且紋理之間相似度高的組織腔體(例如胃腔)的圖像進行三維重建且提高該圖像的特征點識別準(zhǔn)確性的基于光流獲得組織腔體三維圖像的處理方法。
[0007]為此，本公開提供了一種基于光流獲得組織腔體三維圖像的處理方法，利用膠囊內(nèi)窺鏡在具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向針對所述組織腔體內(nèi)的重建區(qū)域采集第一圖像，并使所述膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著第二方向針對所述重建區(qū)域采集第二圖像，所述第一方向與所述第二方向形成有夾角；計算所述重建區(qū)域在所述第一圖像內(nèi)的第一像素區(qū)域與所述重建區(qū)域在第二圖像內(nèi)與所述第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流；在所述第一像素區(qū)域中提取包括多個特征點的第一特征點集，并基于所述第一特征點集和所述光流獲得在所述第二像素區(qū)域中與所述第一特征點集對應(yīng)的第二特征點集；基于所述第一特征點集和所述第二特征點集計算所述膠囊內(nèi)窺鏡的本質(zhì)矩陣；并且基于所述本質(zhì)矩陣計算所述第一像素區(qū)域和所述第二像素區(qū)域的各個像素點的空間坐標(biāo)，獲得點云并利用所述點云進行三維圖像重建。
[0008]在這種情況下，能夠準(zhǔn)確地獲取第一圖像和第二圖像之間的光流，并且能夠根據(jù)光流在第一圖像和第二圖像中提取相對應(yīng)的特征點，從而能夠?qū)崿F(xiàn)在紋理少、紋理之間相似度高且受光照影響嚴(yán)重的組織腔體內(nèi)壁圖像中提取足夠的特征點以及準(zhǔn)確的匹配關(guān)系，
由此能夠利用準(zhǔn)確匹配的特征點完成組織腔體內(nèi)壁的三維重建。
[0009]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述第一圖像和所述第二圖像由所述膠囊內(nèi)窺鏡連續(xù)采集獲得，所述膠囊內(nèi)窺鏡為單目膠囊內(nèi)窺鏡，所述光流由所述膠囊內(nèi)窺鏡的運動而產(chǎn)生。在這種情況下，能夠利用單目膠囊內(nèi)窺鏡的運動獲得光流。
[0010]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述第一圖像和所述第二圖像為相鄰幀的兩幅圖像，所述第一圖像為當(dāng)前幀的圖像，所述第二圖像為下一幀的圖像。在這種情況下，能夠減少胃腔蠕動對光流的影響。
[0011]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述多個特征點包括至少8個特征點。由此，能夠提高本質(zhì)矩陣的精確度。
[0012]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，通過基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)計算所述光流。在這種情況下，能夠通過基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地得到組織腔體內(nèi)壁圖像中各像素點的運動信息。
[0013]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練步驟包括：準(zhǔn)備多組的組織腔體內(nèi)壁圖像對，所述組織腔體內(nèi)壁圖像對為對具有褶皺內(nèi)壁的組織腔體內(nèi)的同一區(qū)域以不同的方向進行采集獲得的兩幅圖像，且分別為第一訓(xùn)練圖像和第二訓(xùn)練圖像；將每組組織腔體內(nèi)壁圖像對的第一訓(xùn)練圖像和第二訓(xùn)練圖像依次輸入所述神經(jīng)網(wǎng)絡(luò)以獲取所述第一訓(xùn)練圖像內(nèi)的第一像素點的前向光流；交換第一訓(xùn)練圖像和第二訓(xùn)練圖像的輸入順序以獲取所述第二訓(xùn)練圖像內(nèi)與所述第一像素點對應(yīng)的第二像素點的后向光流；基于所述前向光流和所述后向光流計算損失函數(shù)；并且基于所述損失函數(shù)對所述神經(jīng)網(wǎng)絡(luò)進行評估并優(yōu)化。在這種情況下，能夠以無監(jiān)督的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并且能夠利用未進行標(biāo)注的組織腔體內(nèi)壁圖像進行訓(xùn)練。
[0014]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述損失函數(shù)包括結(jié)構(gòu)相似性損失項、幾何前后一致性損失項以及光流平滑度損失項。在這種情況下，能夠通過損失函數(shù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。
[0015]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述結(jié)構(gòu)相似性損失項包括第一預(yù)測圖像與所述第一訓(xùn)練圖像的第一結(jié)構(gòu)相似性損失項和第二預(yù)測圖像與所述第二訓(xùn)練圖像的第二結(jié)構(gòu)相似性損失項，所述第一預(yù)測圖像通過所述前向光流作用于所述第二訓(xùn)練圖像生成，所述第二預(yù)測圖像通過所述后向光流作用于所述第一訓(xùn)練圖像生成。在這種情況下，能夠評估計算出的前向光流和后向光流的準(zhǔn)確度，從而通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)提高神經(jīng)網(wǎng)絡(luò)所計算的光流的準(zhǔn)確度。
[0016]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述光流平滑度損失項包括所述前向光流的全變分損失與所述后向光流的全變分損失。在這種情況下，能夠提高光流的平滑度，從而能夠保持光流圖像的光滑性并降低噪聲對光流圖像影響。
[0017]另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述幾何前后一致性損失項為所述第一訓(xùn)練圖像內(nèi)的第一像素點的前向光流與所述第二訓(xùn)練圖像內(nèi)與第一像素點對應(yīng)的第二像素點的后向光流的差值。在這種情況下，能夠使訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)所計算出的前向光流和后向光流保持前后一致性。
[0018]根據(jù)本公開，能夠提供一種能夠?qū)y理少且紋理之間相似度高的組織腔體(例如胃腔)的圖像進行三維重建且提高該圖像的特征點識別準(zhǔn)確性的基于光流獲得組織腔體三維圖像的處理方法。
附圖說明
[0019]現(xiàn)在將通過參考附圖的例子進一步詳細(xì)地解釋本公開的實施例，其中：
[0020]圖1示出了本公開的示例所涉及的基于光流獲得組織腔體三維圖像的實施流程的示意圖。
[0021]圖2示出了本公開的示例所涉及的獲取第一圖像和第二圖像的場景示意圖。
[0022]圖3示出了本公開的示例所涉及的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的示意圖。
[0023]圖4示出了本公開的示例所涉及的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中的第一預(yù)處理模塊的示意圖。
[0024]圖5示出了本公開的示例所涉及的基于深度學(xué)習(xí)的神經(jīng)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
【技術(shù)特征摘要】
1.一種組織腔體內(nèi)的膠囊內(nèi)窺鏡的本質(zhì)矩陣的計算方法，其特征在于，包括以下步驟：利用膠囊內(nèi)窺鏡在具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向針對所述組織腔體內(nèi)的重建區(qū)域采集第一圖像，并使所述膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著與所述第一方向形成有夾角的第二方向針對所述重建區(qū)域采集第二圖像；通過基于卷積運算的神經(jīng)網(wǎng)絡(luò)計算所述重建區(qū)域在所述第一圖像內(nèi)的第一像素區(qū)域與所述重建區(qū)域在第二圖像內(nèi)與所述第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流，在所述第一像素區(qū)域中提取包括多個特征點的第一特征點集，并基于所述第一特征點集和所述光流獲得在所述第二像素區(qū)域中與所述第一特征點集對應(yīng)的第二特征點集；基于所述第一特征點集和所述第二特征點集計算所述膠囊內(nèi)窺鏡的本質(zhì)矩陣。2.根據(jù)權(quán)利要求1所述的計算方法，其特征在于，所述膠囊內(nèi)窺鏡為單目膠囊內(nèi)窺鏡或多目膠囊內(nèi)窺鏡，所述光流由所述膠囊內(nèi)窺鏡的運動而產(chǎn)生。3.根據(jù)權(quán)利要求1所述的計算方法，其特征在于，所述第一圖像和所述第二圖像為相鄰幀的兩幅圖像，所述第一圖像為當(dāng)前幀的圖像，所述第二圖像為下一幀的圖像。4.根據(jù)權(quán)利要求1所述的計算方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)、特征組合模塊和第三神經(jīng)網(wǎng)絡(luò)。5.根據(jù)權(quán)利要求4所述的計算方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)還包括預(yù)處理模塊，所述預(yù)處理模塊包括第一預(yù)處理模塊和第二預(yù)處理模塊，所述預(yù)處理模塊用于對所述第一圖像和所述第二圖像分別進行預(yù)處理，其中，所述第一預(yù)處理模塊對所述第一圖像進行預(yù)處理，所述第二預(yù)處理模塊對所述第二圖像進行預(yù)處理。6.根據(jù)權(quán)利要求4所述的計算方法，其特征在于，所述特征組合模塊...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃培海，
申請(專利權(quán))人：深圳硅基智控科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。