【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機三維重建領(lǐng)域，尤其涉及一種三維重建與語義分割及深度估計聯(lián)合處理方法與設(shè)備。
技術(shù)介紹
1、三維重建技術(shù)作為計算機視覺領(lǐng)域中的核心研究方向之一，在計算機視覺中占有重要的地位，具有重要的應(yīng)用價值，廣泛應(yīng)用于醫(yī)療、文物修復(fù)、娛樂等領(lǐng)域。結(jié)構(gòu)光三維重建因其非接觸、精度高、計算簡單等特點，在實際三維重建應(yīng)用中得到了廣泛的應(yīng)用。結(jié)構(gòu)光三維重建技術(shù)不僅能夠高效地獲取物體的三維形狀信息，還能為后續(xù)的視覺處理和分析提供堅實的數(shù)據(jù)基礎(chǔ)，進(jìn)一步推動了計算機視覺技術(shù)的發(fā)展和應(yīng)用領(lǐng)域的拓展。
2、傳統(tǒng)的結(jié)構(gòu)光三維重建技術(shù)中，重建速度與所使用的投影圖片數(shù)量密切相關(guān)。具體而言，當(dāng)投影圖片數(shù)量增多時，雖然能夠提升重建的精度，但相應(yīng)地會增加計算所需的時間，導(dǎo)致重建速度降低。反之，減少投影圖片數(shù)量雖能縮短計算時間，提高重建速度，但不可避免地會犧牲重建的精度。因此，傳統(tǒng)的結(jié)構(gòu)光三維重建技術(shù)在速度與精度之間往往存在權(quán)衡和取舍的問題。
3、深度學(xué)習(xí)可以通過學(xué)習(xí)大量的樣本數(shù)據(jù)，提取出數(shù)據(jù)的主要特征，并實現(xiàn)對新數(shù)據(jù)的分類、識別、回歸等任務(wù)，在各個領(lǐng)域都得到了良好的應(yīng)用。近年來，將深度學(xué)習(xí)應(yīng)用于結(jié)構(gòu)光三維重建以實現(xiàn)高效率、高精度的三維重建，是三維重建領(lǐng)域研究的熱點之一。現(xiàn)有方法使用直接預(yù)測包裹相位和條紋階次的方法得到解包裹相位，然而條紋階次在空間上具有連續(xù)性，不能夠很好的被預(yù)測出，因此重建得到的解包裹相位精度不高，難以實現(xiàn)高精度的三維重建。為解決這個問題，本專利技術(shù)結(jié)合深度學(xué)習(xí)中的語義分割和深度估計任務(wù)，通過深度估計直接預(yù)測物體的深
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于克服上述現(xiàn)有技術(shù)的缺點和不足，提供種三維重建與語義分割及深度估計聯(lián)合處理方法與設(shè)備。本專利技術(shù)從一張條紋圖片中預(yù)測解包裹相位，以實現(xiàn)高精度、高效率的結(jié)構(gòu)光三維重建。
2、本專利技術(shù)通過下述技術(shù)方案實現(xiàn)：
3、s1：將正弦光柵條紋圖像經(jīng)投影儀投影到被測物體上，獲取經(jīng)結(jié)構(gòu)光條紋調(diào)制后的物體的變形條紋圖像，該條紋圖像由工業(yè)相機拍攝，包含被測物體的幾何信息和條紋編碼信息；
4、s2：構(gòu)建語意分割網(wǎng)絡(luò)，輸入條紋圖像，對條紋圖像進(jìn)行像素級別的分類，識別出物體不同區(qū)域和條紋編碼信息，并生成條紋圖像的包裹相位圖；
5、s3：構(gòu)建深度估計網(wǎng)絡(luò)，輸入條紋圖像，對條紋圖像進(jìn)行深度預(yù)測，生成深度圖，該深度圖表示圖像中每個像素的深度值；
6、s4：根據(jù)相機和投影儀的內(nèi)外參數(shù)，將深度圖轉(zhuǎn)化為三維點云；
7、s5：利用三維點云與絕對相位的關(guān)系，逆向解出粗糙的解包裹相位；
8、s6：將粗糙的解包裹相位減去由語義分割網(wǎng)絡(luò)預(yù)測得到的包裹相位，得到包裹相位的精確條紋階次圖；
9、s7：將語意分割網(wǎng)絡(luò)預(yù)測得到的包裹相位圖與得到的條紋階次圖結(jié)合，得到精確的解包裹相位；
10、s8：利用相機和投影儀的內(nèi)外參數(shù)，將解包裹相位轉(zhuǎn)化為三維點云，實現(xiàn)被測物體的精確三維重建。
11、進(jìn)一步地，步驟s1所述的正弦光柵條紋圖像，其表達(dá)式為：
12、i(x，y)＝a(x，y)+b(x，y)cos(2πfx)
13、其中i表示正弦光柵條紋各個像素點的灰度值，a和b分別表示背景光強值和調(diào)制強度，f表示投影的正弦條紋的頻率。
14、進(jìn)一步的，步驟s2所述的語義分割網(wǎng)絡(luò)，構(gòu)建為兩個分支，分別預(yù)測包裹相位計算過程中的分子和分母。傳統(tǒng)的n步相移法中，包裹相位的計算公式如下：
15、
16、其中，為拍攝到的條紋圖片，n為條紋圖片的數(shù)量。由于包裹相位計算過程中使用arctan()函數(shù)，在條紋周期交界處容易出現(xiàn)0和2π的歧義性，影響條紋階次的判斷，造成較大的誤差。本專利技術(shù)中使用的語義分割網(wǎng)絡(luò)，分別預(yù)測arctan()函數(shù)的分子和分母，使用預(yù)測的結(jié)果計算包裹相位，能夠極大程度地提高預(yù)測精度。
17、進(jìn)一步地，步驟s3中的深度估計網(wǎng)絡(luò)，采用unet神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測深度圖。
18、進(jìn)一步地，步驟s4中通過相機和投影儀的內(nèi)外參數(shù)，將深度估計預(yù)測的深度圖轉(zhuǎn)化為三維點云，其具體包括以下子步驟：
19、s41：使用張正友標(biāo)定法對相機進(jìn)行標(biāo)定，拍攝20組高精度原點標(biāo)定板圖片，利用matlab標(biāo)準(zhǔn)工具庫計算得到相機的內(nèi)參矩陣kc和外參矩陣[rc|tc]。
20、s42：標(biāo)定投影儀，把投影儀看做逆相機，得到投影儀的內(nèi)參矩陣kp和外參矩陣[rp|tp]。
21、s43：根據(jù)世界坐標(biāo)系與相機/投影儀像素坐標(biāo)系之間的關(guān)系，利用相機、投影儀的內(nèi)外參數(shù)，可得深度zw與相機像素坐標(biāo)系下(uc，vc)之間的關(guān)系，將深度圖轉(zhuǎn)化為三維點云。
22、進(jìn)一步地，利用步驟s4所得三維點云，步驟s5依據(jù)三維點云與絕對相位的關(guān)系可以得到粗糙的解包裹相位，具體步驟如下：
23、s51：求解投影儀像素平面對應(yīng)點的橫坐標(biāo)up。
24、s52：對于同一個相位值φ，相機像素平面的解包裹相位與投影儀像素平面的解包裹相位有以下關(guān)系：
25、φc(uc，vc)＝φp(up)＝φ
26、投影儀的條紋圖像是有均勻的條紋組成，可知：
27、
28、其中，w為投影儀投影寬度。已知投影儀像素坐標(biāo)點up和投影儀投影寬度w，可得(uc，vc)點的粗糙解包裹相位。
29、進(jìn)一步地，步驟s6中，利用粗糙的解包裹相位與語意分割網(wǎng)絡(luò)預(yù)測得到的包裹相位，可計算精確的條紋階次。由于條紋階次與周期位置有關(guān)，在空間上具有連續(xù)性，若圖片不是從第一個周期開始，直接預(yù)測條紋階次容易產(chǎn)生錯位，導(dǎo)致包裹相位展開出現(xiàn)錯誤，因此使用粗糙的解包裹相位與包裹相位計算精確的條紋階次。
30、進(jìn)一步地，步驟s7所述利用語義分割模型預(yù)測得到的包裹相位與深度估計并經(jīng)過一系列操作得到的精確的條紋階次，得到精確的解包裹相位，可表示如下：
31、
32、進(jìn)一步地，本專利技術(shù)提出的一種基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，包括以下模塊：
33、數(shù)據(jù)采集模塊，用于獲取包含結(jié)構(gòu)光條紋編碼信息的條紋圖像；
34、語意分割模塊，用于對條紋圖像進(jìn)行語義分割并生成包裹相位圖；
35、深度估計模塊，用于對條紋圖像進(jìn)行深度估計并生成深度圖；
36、三維重建模塊，用于根據(jù)深度圖生成三維點云，并利用三維點云與包裹相位圖計算粗糙的解包裹相位；
37、相位處理模塊，用于從粗糙的解包裹相位中減去包裹相位，得到條紋階次圖，并結(jié)合包裹相位圖計算解包裹相位；
38、顯示與輸出模塊，用于展示和輸出三維重建的結(jié)果。
39、相比于現(xiàn)有技術(shù)，本專利技術(shù)所提出的一種基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，具有以下優(yōu)勢：...
【技術(shù)保護點】
1.一種基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所述投影的正弦光柵條紋為：
3.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：語意分割網(wǎng)絡(luò)和深度估計網(wǎng)絡(luò)的構(gòu)建采用深度學(xué)習(xí)技術(shù)構(gòu)建，經(jīng)過大量精確數(shù)據(jù)的訓(xùn)練以優(yōu)化其預(yù)測精確度。
4.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所構(gòu)建的語義分割網(wǎng)絡(luò)基于UNet神經(jīng)網(wǎng)絡(luò)改進(jìn)，其架構(gòu)形似U型，由對稱的Encoder和Decoder兩部分組成，其作用為：
5.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所構(gòu)建的深度估計網(wǎng)絡(luò)基于UNet神經(jīng)網(wǎng)絡(luò)模型，對其參數(shù)進(jìn)行調(diào)整以適應(yīng)深度圖的預(yù)測，提高預(yù)測精度。
6.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：相機和投影儀的內(nèi)參由內(nèi)參矩陣K表示
7.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：
8.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：通過步驟S5得到的粗糙的解包裹相位φc，與語義分割網(wǎng)絡(luò)預(yù)測得到的包裹相位圖經(jīng)過計算，可得到精確的條紋階次圖k，其計算公式如下：
9.一種基于結(jié)構(gòu)光的三維重建系統(tǒng)，該系統(tǒng)實現(xiàn)權(quán)利要求1至8中的任一項所述方法，其特征在于：該系統(tǒng)包括數(shù)據(jù)采集模塊、語義分割模塊、深度估計模塊、三維重建模塊、相位處理模塊、顯示與輸出模塊：
10.一種電子設(shè)備，包含處理器和存儲器，其特征在于：所述處理器被配置為可用于執(zhí)行權(quán)利要求1-9中任一所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法；所述存儲器用于存儲支持處理權(quán)利要求1-9中任一所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法的程序。
...【技術(shù)特征摘要】
1.一種基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所述投影的正弦光柵條紋為：
3.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：語意分割網(wǎng)絡(luò)和深度估計網(wǎng)絡(luò)的構(gòu)建采用深度學(xué)習(xí)技術(shù)構(gòu)建，經(jīng)過大量精確數(shù)據(jù)的訓(xùn)練以優(yōu)化其預(yù)測精確度。
4.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所構(gòu)建的語義分割網(wǎng)絡(luò)基于unet神經(jīng)網(wǎng)絡(luò)改進(jìn)，其架構(gòu)形似u型，由對稱的encoder和decoder兩部分組成，其作用為：
5.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建與語義分割及深度估計的聯(lián)合處理方法，其特征在于：所構(gòu)建的深度估計網(wǎng)絡(luò)基于unet神經(jīng)網(wǎng)絡(luò)模型，對其參數(shù)進(jìn)行調(diào)整以適應(yīng)深度圖的預(yù)測，提高預(yù)測精度。
6.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的三維重建...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：葉峰，林強，賴乙宗，
申請(專利權(quán))人：華南理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。