【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】目標(biāo)場(chǎng)景三維重建方法、系統(tǒng)及無(wú)人機(jī)
本專(zhuān)利技術(shù)實(shí)施例涉及無(wú)人機(jī)
，尤其涉及一種目標(biāo)場(chǎng)景三維重建方法、系統(tǒng)及無(wú)人機(jī)。
技術(shù)介紹
隨著圖像處理技術(shù)的不斷發(fā)展，利用圖像序列進(jìn)行場(chǎng)景的三維重建已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域和攝影測(cè)量學(xué)領(lǐng)域的熱點(diǎn)問(wèn)題。同步定位與地圖構(gòu)建(SimultaneousLocalizationandMapping，SLAM)描述了從未知環(huán)境的未知位置出發(fā)，在運(yùn)動(dòng)過(guò)程中重復(fù)觀測(cè)環(huán)境，根據(jù)傳感器感知的環(huán)境特征定位自身位置和姿態(tài)，再根據(jù)自身位置增量式的構(gòu)建地圖。由于無(wú)人機(jī)航拍的特殊性，現(xiàn)有三維重建方法在無(wú)人機(jī)航拍場(chǎng)景下，三維重建誤差大。綜上所述，亟需一種能夠滿(mǎn)足無(wú)人機(jī)航拍場(chǎng)景需求的目標(biāo)場(chǎng)景三維重建方法。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)實(shí)施例提供一種目標(biāo)場(chǎng)景三維重建方法、系統(tǒng)及無(wú)人機(jī)，用以解決現(xiàn)有方法無(wú)法滿(mǎn)足無(wú)人機(jī)航拍場(chǎng)景下目標(biāo)場(chǎng)景三維重建的需求。第一方面，本專(zhuān)利技術(shù)實(shí)施例提供一種目標(biāo)場(chǎng)景三維重建方法，包括：獲取目標(biāo)場(chǎng)景的圖像序列，所述圖像序列包含在時(shí)序上連續(xù)的多個(gè)圖像幀；根據(jù)所述圖像序列獲得關(guān)鍵幀，并基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云；融合所述關(guān)鍵幀的三維點(diǎn)云，獲得所述目標(biāo)場(chǎng)景的三維模型。第二方面，本專(zhuān)利技術(shù)實(shí)施例提供一種目標(biāo)場(chǎng)景三維重建方法，包括：根據(jù)第M幀圖像幀對(duì)應(yīng)的云臺(tái)角信息，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的初始旋轉(zhuǎn)變換矩陣，M為大于等于1的自然數(shù)；根據(jù)P個(gè)圖像幀對(duì)應(yīng)的實(shí)時(shí)動(dòng)態(tài)RTK信息和相機(jī)中心信息，對(duì)所述初始旋轉(zhuǎn)變換矩陣進(jìn)行校正，獲取視...
【技術(shù)保護(hù)點(diǎn)】
一種目標(biāo)場(chǎng)景三維重建方法，其特征在于，包括：/n獲取目標(biāo)場(chǎng)景的圖像序列，所述圖像序列包含在時(shí)序上連續(xù)的多個(gè)圖像幀；/n根據(jù)所述圖像序列獲得關(guān)鍵幀，并基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云；/n融合所述關(guān)鍵幀的三維點(diǎn)云，獲得所述目標(biāo)場(chǎng)景的三維模型。/n
【技術(shù)特征摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】一種目標(biāo)場(chǎng)景三維重建方法，其特征在于，包括：
獲取目標(biāo)場(chǎng)景的圖像序列，所述圖像序列包含在時(shí)序上連續(xù)的多個(gè)圖像幀；
根據(jù)所述圖像序列獲得關(guān)鍵幀，并基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云；
融合所述關(guān)鍵幀的三維點(diǎn)云，獲得所述目標(biāo)場(chǎng)景的三維模型。
根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述圖像序列獲得關(guān)鍵幀之前，所述方法還包括：
對(duì)所述圖像序列的三維信息進(jìn)行初始化。
根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述圖像序列的三維信息進(jìn)行初始化，包括：
根據(jù)第一幀圖像幀對(duì)應(yīng)的云臺(tái)角信息，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的初始旋轉(zhuǎn)變換矩陣；
根據(jù)N個(gè)圖像幀對(duì)應(yīng)的實(shí)時(shí)動(dòng)態(tài)RTK信息和相機(jī)中心信息，對(duì)所述初始旋轉(zhuǎn)變換矩陣進(jìn)行校正，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣、平移矩陣和尺度信息；
根據(jù)所述旋轉(zhuǎn)矩陣、平移矩陣和尺度信息對(duì)所述圖像序列的三維信息進(jìn)行初始化。
根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云，包括：
獲取所述圖像序列的特征信息；
根據(jù)所述特征信息，進(jìn)行特征點(diǎn)的跟蹤；
根據(jù)所述特征點(diǎn)的跟蹤結(jié)果，確定所述關(guān)鍵幀的三維點(diǎn)云。
根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述特征信息，進(jìn)行特征點(diǎn)的跟蹤，包括：
獲取第一圖像幀在世界坐標(biāo)系中的第一位姿信息，所述第一位姿信息包括：第一實(shí)時(shí)動(dòng)態(tài)RTK信息和第一云臺(tái)角信息；
根據(jù)所述第一位姿信息，估計(jì)第二圖像幀在世界坐標(biāo)系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云臺(tái)角信息；
根據(jù)所述第一位姿信息和所述第二位姿信息對(duì)所述第一圖像幀的特征信息和所述第二圖像幀的特征信息進(jìn)行特征匹配；
根據(jù)特征匹配結(jié)果，進(jìn)行特征點(diǎn)的跟蹤；
其中，所述第一圖像幀和所述第二圖像幀為所述圖像序列中相鄰的兩幀。
根據(jù)權(quán)利要求1所述的方法，其特征在于，所述融合所述關(guān)鍵幀的三維點(diǎn)云之前，所述方法還包括：
根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的RTK信息和云臺(tái)角信息，采用非線性?xún)?yōu)化的方式對(duì)所述關(guān)鍵幀的位姿信息及三維點(diǎn)云的位置進(jìn)行優(yōu)化。
根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，所述基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云，包括：
根據(jù)所述圖像序列，獲得所述關(guān)鍵幀的深度圖；
根據(jù)所述關(guān)鍵幀的深度圖，獲得所述關(guān)鍵幀的三維點(diǎn)云。
根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述圖像序列，獲得所述關(guān)鍵幀的深度圖，包括：
根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)；
根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀的深度圖。
根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，包括：
根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的第一類(lèi)型匹配代價(jià)和第二類(lèi)型匹配代價(jià)；
確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)等于所述第一類(lèi)型匹配代價(jià)和第二類(lèi)型匹配代價(jià)的加權(quán)和；
其中，所述第一類(lèi)型匹配代價(jià)基于零均值歸一化互相關(guān)確定，所述第二類(lèi)型匹配代價(jià)基于光照不變特征確定。
根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀的深度圖，包括：
將所述關(guān)鍵幀劃分成多個(gè)圖像塊；
根據(jù)所述圖像序列，確定每一個(gè)圖像塊對(duì)應(yīng)的匹配代價(jià)；
根據(jù)每一個(gè)所述圖像塊對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)。
根據(jù)權(quán)利要求10所述的方法，其特征在于，所述將所述關(guān)鍵幀劃分成多個(gè)圖像塊，包括：
采用聚類(lèi)的方式，將所述關(guān)鍵幀劃分成多個(gè)圖像塊；
或者，
將所述關(guān)鍵幀均勻劃分成多個(gè)圖像塊。
根據(jù)權(quán)利要求10所述的方法，其特征在于，所述根據(jù)所述圖像序列，確定每一個(gè)圖像塊對(duì)應(yīng)的匹配代價(jià)，包括：
根據(jù)所述圖像序列，并行確定每一個(gè)圖像塊對(duì)應(yīng)的匹配代價(jià)。
根據(jù)權(quán)利要求10所述的方法，其特征在于，所述根據(jù)所述圖像序列，確定每一個(gè)圖像塊對(duì)應(yīng)的匹配代價(jià)，包括：
根據(jù)每一個(gè)所述圖像塊中的稀疏點(diǎn)確定該圖像塊的深度采樣次數(shù)；
根據(jù)所述圖像序列以及每一個(gè)所述圖像塊的深度采樣次數(shù)，確定每一個(gè)所述圖像塊對(duì)應(yīng)的匹配代價(jià)。
根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述圖像序列，獲得所述關(guān)鍵幀的深度圖之后，還包括：
對(duì)所述關(guān)鍵幀的深度圖進(jìn)行濾波處理。
根據(jù)權(quán)利要求14所述的方法，其特征在于，所述對(duì)所述關(guān)鍵幀的深度圖進(jìn)行濾波處理，包括：
對(duì)所述關(guān)鍵幀的深度圖進(jìn)行三邊濾波處理。
根據(jù)權(quán)利要求1所述的方法，其特征在于，所述融合所述關(guān)鍵幀的三維點(diǎn)云，獲得所述目標(biāo)場(chǎng)景的三維模型，包括：
將所述關(guān)鍵幀對(duì)應(yīng)的三維點(diǎn)云融合至所述目標(biāo)場(chǎng)景對(duì)應(yīng)的體素中；
根據(jù)所述目標(biāo)場(chǎng)景對(duì)應(yīng)的體素，獲得所述目標(biāo)場(chǎng)景的三維模型。
一種目標(biāo)場(chǎng)景三維重建方法，其特征在于，包括：
根據(jù)第M幀圖像幀對(duì)應(yīng)的云臺(tái)角信息，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的初始旋轉(zhuǎn)變換矩陣，M為大于等于1的自然數(shù)；
根據(jù)P個(gè)圖像幀對(duì)應(yīng)的實(shí)時(shí)動(dòng)態(tài)RTK信息和相機(jī)中心信息，對(duì)所述初始旋轉(zhuǎn)變換矩陣進(jìn)行校正，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣、平移矩陣和尺度信息，所述P個(gè)圖像幀在時(shí)序上位于所述第M幀圖像幀之后，P為大于等于1的自然數(shù)；
根據(jù)所述旋轉(zhuǎn)矩陣、平移矩陣和尺度信息以及目標(biāo)場(chǎng)景的圖像序列，獲取所述圖像序列在世界坐標(biāo)系下對(duì)應(yīng)的位姿信息；
根據(jù)所述圖像序列在世界坐標(biāo)系下對(duì)應(yīng)的位姿信息，進(jìn)行特征點(diǎn)的跟蹤；
根據(jù)所述特征點(diǎn)的跟蹤結(jié)果，獲得所述目標(biāo)場(chǎng)景的三維模型。
根據(jù)權(quán)利要求17所述的方法，其特征在于，所述根據(jù)所述圖像序列在世界坐標(biāo)系下對(duì)應(yīng)的位姿信息，進(jìn)行特征點(diǎn)的跟蹤，包括：
獲取第一圖像幀在世界坐標(biāo)系中的第一位姿信息，所述第一位姿信息包括：第一實(shí)時(shí)動(dòng)態(tài)RTK信息和第一云臺(tái)角信息；
根據(jù)所述第一位姿信息，估計(jì)第二圖像幀在世界坐標(biāo)系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云臺(tái)角信息；
根據(jù)所述第一位姿信息和所述第二位姿信息對(duì)所述第一圖像幀的特征信息和所述第二圖像幀的特征信息進(jìn)行特征匹配；
根據(jù)特征匹配結(jié)果，進(jìn)行特征點(diǎn)的跟蹤；
其中，所述第一圖像幀和所述第二圖像幀為所述圖像序列中相鄰的兩幀。
根據(jù)權(quán)利要求17所述的方法，其特征在于，所述根據(jù)所述特征點(diǎn)的跟蹤結(jié)果，獲得所述目標(biāo)場(chǎng)景的三維模型，包括：
根據(jù)所述特征點(diǎn)的跟蹤結(jié)果，確定關(guān)鍵幀的三維點(diǎn)云；
根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的RTK信息和云臺(tái)角信息，采用非線性?xún)?yōu)化的方式對(duì)所述關(guān)鍵幀的位姿信息及三維點(diǎn)云的位置進(jìn)行優(yōu)化；
根據(jù)優(yōu)化后的關(guān)鍵幀的位姿信息及三維點(diǎn)云的位置，獲得所述目標(biāo)場(chǎng)景的三維模型。
一種目標(biāo)場(chǎng)景三維重建系統(tǒng)，其特征在于，包括：處理器和存儲(chǔ)器；
所述存儲(chǔ)器，用于存儲(chǔ)程序代碼；
所述處理器，調(diào)用所述程序代碼，當(dāng)程序代碼被執(zhí)行時(shí)，用于執(zhí)行以下操作：
獲取目標(biāo)場(chǎng)景的圖像序列，所述圖像序列包含在時(shí)序上連續(xù)的多個(gè)圖像幀；
根據(jù)所述圖像序列獲得關(guān)鍵幀，并基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云；
融合所述關(guān)鍵幀的三維點(diǎn)云，獲得所述目標(biāo)場(chǎng)景的三維模型。
根據(jù)權(quán)利要求20所述的系統(tǒng)，其特征在于，所述處理器還用于：
在所述根據(jù)所述圖像序列獲得關(guān)鍵幀之前，對(duì)所述圖像序列的三維信息進(jìn)行初始化。
根據(jù)權(quán)利要求21所述的系統(tǒng)，其特征在于，所述處理器，用于對(duì)所述圖像序列的三維信息進(jìn)行初始化，具體包括：
根據(jù)第一幀圖像幀對(duì)應(yīng)的云臺(tái)角信息，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的初始旋轉(zhuǎn)變換矩陣；
根據(jù)N個(gè)圖像幀對(duì)應(yīng)的實(shí)時(shí)動(dòng)態(tài)RTK信息和相機(jī)中心信息，對(duì)所述初始旋轉(zhuǎn)變換矩陣進(jìn)行校正，獲取視覺(jué)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣、平移矩陣和尺度信息；
根據(jù)所述旋轉(zhuǎn)矩陣、平移矩陣和尺度信息對(duì)所述圖像序列的三維信息進(jìn)行初始化。
根據(jù)權(quán)利要求20所述的系統(tǒng)，其特征在于，所述處理器，用于基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云，具體包括：
獲取所述圖像序列的特征信息；
根據(jù)所述特征信息，進(jìn)行特征點(diǎn)的跟蹤；
根據(jù)所述特征點(diǎn)的跟蹤結(jié)果，確定所述關(guān)鍵幀的三維點(diǎn)云。
根據(jù)權(quán)利要求23所述的系統(tǒng)，其特征在于，所述處理器，用于根據(jù)所述特征信息，進(jìn)行特征點(diǎn)的跟蹤，具體包括：
獲取第一圖像幀在世界坐標(biāo)系中的第一位姿信息，所述第一位姿信息包括：第一實(shí)時(shí)動(dòng)態(tài)RTK信息和第一云臺(tái)角信息；
根據(jù)所述第一位姿信息，估計(jì)第二圖像幀在世界坐標(biāo)系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云臺(tái)角信息；
根據(jù)所述第一位姿信息和所述第二位姿信息對(duì)所述第一圖像幀的特征信息和所述第二圖像幀的特征信息進(jìn)行特征匹配；
根據(jù)特征匹配結(jié)果，進(jìn)行特征點(diǎn)的跟蹤；
其中，所述第一圖像幀和所述第二圖像幀為所述圖像序列中相鄰的兩幀。
根據(jù)權(quán)利要求20所述的系統(tǒng)，其特征在于，所述處理器，還用于在所述融合所述關(guān)鍵幀的三維點(diǎn)云之前，根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的RTK信息和云臺(tái)角信息，采用非線性?xún)?yōu)化的方式對(duì)所述關(guān)鍵幀的位姿信息及三維點(diǎn)云的位置進(jìn)行優(yōu)化。
根據(jù)權(quán)利要求20-25任一項(xiàng)所述的系統(tǒng)，其特征在于，所述處理器，用于基于所述圖像序列獲得所述關(guān)鍵幀的三維點(diǎn)云，具體包括：
根據(jù)所述圖像序列，獲得所述關(guān)鍵幀的深度圖；
根據(jù)所述關(guān)鍵幀的深度圖，獲得所述關(guān)鍵幀的三維點(diǎn)云。
根據(jù)權(quán)利要求26所述的系統(tǒng)，其特征在于，所述處理器，用于根據(jù)所述圖像序列，獲得所述關(guān)鍵幀的深度圖，具體包括：
根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)；
根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀的深度圖。
根據(jù)權(quán)利要求27所述的系統(tǒng)，其特征在于，所述處理器，用于根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，具體包括：
根據(jù)所述圖像序列，確定所述關(guān)鍵幀對(duì)應(yīng)的第一類(lèi)型匹配代價(jià)和第二類(lèi)型匹配代價(jià)；
確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)等于所述第一類(lèi)型匹配代價(jià)和第二類(lèi)型匹配代價(jià)的加權(quán)和；
其中，所述第一類(lèi)型匹配代價(jià)基于零均值歸一化互相關(guān)確定，所述第二類(lèi)型匹配代價(jià)基于光照不變特征確定。
根據(jù)權(quán)利要求27所述的系統(tǒng)，其特征在于，所述處理器，用于根據(jù)所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀的深度圖，具體包括：
將所述關(guān)鍵幀劃分成多個(gè)圖像塊；
根據(jù)所述圖像序列，確定每一個(gè)圖像塊對(duì)應(yīng)的匹配代價(jià)；
根據(jù)每一個(gè)所述圖像塊對(duì)應(yīng)的匹配代價(jià)，確定所述關(guān)鍵幀對(duì)應(yīng)的匹配代價(jià)。
根據(jù)權(quán)利要求29所述的系統(tǒng)，其特征在于，所述處理器，用于將所述關(guān)鍵幀劃分成多個(gè)圖像塊，具體包括：
采用聚類(lèi)的方式...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：朱晏辰，馬東東，石進(jìn)橋，薛唐立，
申請(qǐng)(專(zhuān)利權(quán))人：深圳市大疆創(chuàng)新科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：廣東;44
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。