使用三維地理弧的多模型數(shù)據(jù)的圖像配準(zhǔn)制造技術(shù)

本發(fā)明專利技術(shù)描述一種用于多模型圖像配準(zhǔn)的準(zhǔn)確、靈活且可縮放的技術(shù)，該技術(shù)不需要依靠直接特征匹配并且不需要依靠精確的幾何模型。在本申請(qǐng)中描述的方法和/或系統(tǒng)除其他信息之外使用源自生成目標(biāo)圖像（402）的傳感器（706、1214、1306）的視點(diǎn)數(shù)據(jù)和三維地理弧3D-GeoArc，使得景象（700）的多模型圖像能夠與相同景象（700）的三維（3D）表示配準(zhǔn)（融合）。本申請(qǐng)的配準(zhǔn)技術(shù)可以由三個(gè)主步驟構(gòu)成，如在圖1中示出。第一主步驟包括形成景象（700）的3D參考模型。第二主步驟包括使用3D-GeoArc估計(jì)生成目標(biāo)圖像（402）的傳感器（706、1214、1306）的3D地理空間視點(diǎn)。第三主步驟包括將目標(biāo)圖像的數(shù)據(jù)投影進(jìn)入復(fù)合3D景象表示。

【技術(shù)實(shí)現(xiàn)步驟摘要】
使用三維地理弧的多模型數(shù)據(jù)的圖像配準(zhǔn)
本申請(qǐng)涉及圖像配準(zhǔn)系統(tǒng)和方法，并更特別涉及使用3D-GeoArc(三維地理弧)將景象的一個(gè)或更多的多模型圖像與相同景象的3D表示組合的圖像配準(zhǔn)技術(shù)。
技術(shù)介紹
圖像配準(zhǔn)是將一個(gè)或更多組的數(shù)據(jù)組合從而形成單個(gè)數(shù)據(jù)表示的過程。數(shù)據(jù)集可以是多個(gè)照片、源自不同傳感器的數(shù)據(jù)、源自不同時(shí)間的數(shù)據(jù)，或以不同格式存儲(chǔ)的數(shù)據(jù)。圖像配準(zhǔn)技術(shù)可以包括將兩個(gè)或更多圖像組合，或?qū)⒃醋詧D像的已選擇點(diǎn)組合，從而產(chǎn)生含有源自原圖像中的每個(gè)的數(shù)據(jù)的復(fù)合圖像。一些圖像配準(zhǔn)技術(shù)可以將源自一個(gè)數(shù)據(jù)集(稱為目標(biāo))的詳情投影到第二數(shù)據(jù)集(稱為參考)上。一些圖像配準(zhǔn)技術(shù)可以比較或變換目標(biāo)圖像從而與一個(gè)或多個(gè)已存儲(chǔ)圖像對(duì)齊。這些圖像配準(zhǔn)技術(shù)可以使用涉及在圖像之間的點(diǎn)的算法，因此在圖像中的已涉及點(diǎn)或結(jié)構(gòu)在產(chǎn)生的復(fù)合圖像中相關(guān)。圖像配準(zhǔn)的一些方法搜索在圖像中的特別特征，例如相似呈現(xiàn)的點(diǎn)、線和輪廓之間的詳細(xì)對(duì)應(yīng)。這些基于外觀的算法使用已發(fā)現(xiàn)對(duì)應(yīng)從而將目標(biāo)圖像變換或映射到一個(gè)或更多參考圖像。這樣的技術(shù)可以包括源自在圖像中表示的該類型物體、景象或結(jié)構(gòu)上具有專長(zhǎng)個(gè)人的輸入。該專家可以識(shí)別配準(zhǔn)技術(shù)應(yīng)將其相關(guān)的在圖像中的一組界標(biāo)特征。例如，圖像配準(zhǔn)技術(shù)可以比較人頭的不同軸向?qū)用娴膬蓚€(gè)MRI圖像，并且外科醫(yī)生可以識(shí)別兩個(gè)圖像中對(duì)應(yīng)于小腦(界標(biāo))的點(diǎn)(和/或圍繞這些點(diǎn)的輪廓)。圖像配準(zhǔn)算法可以然后通過依靠在界標(biāo)之間的已知關(guān)系將目標(biāo)圖像映射到參考圖像。因此，通過將目標(biāo)圖像中的可見界標(biāo)與參考圖像中的先前識(shí)別界標(biāo)匹配，配準(zhǔn)技術(shù)可以取得關(guān)于怎樣將目標(biāo)圖像與參考圖像對(duì)齊的結(jié)論。圖像配準(zhǔn)的其他方法使用相關(guān)矩陣比較在圖像中的基于詳細(xì)體積的(或3D幾何形狀的)影像。這些基于幾何形狀的方法中的一些可以然后基于該基于體積特征怎樣緊密對(duì)齊，來測(cè)量表示目標(biāo)圖像和參考圖像之間不一致的距離。兩個(gè)圖像的配準(zhǔn)可以利用幫助尋找減小該距離測(cè)量值的映射的最優(yōu)化方程。這些方法可以記錄整個(gè)圖像或子圖像，并且如果記錄子圖像，那么子圖像可以作為對(duì)應(yīng)特征點(diǎn)對(duì)待。圖像配準(zhǔn)的一些其他方法已使用地理空間信息提供結(jié)構(gòu)或特征的參考源。地理空間信息(或地理位置(geolocation))一般涉及物體的現(xiàn)實(shí)世界地理位置的識(shí)別。地理位置可以涉及評(píng)估該位置的實(shí)踐，或涉及實(shí)際評(píng)估的位置。地理空間信息可以表示在這樣的特征或位置的照片和實(shí)際地理位置中的特征之間的聯(lián)系。例如，一些當(dāng)前地點(diǎn)識(shí)別算法使用源自與直接特征匹配技術(shù)和多視角幾何形狀耦合的在線庫的GPS標(biāo)記的、人群來源的圖像收集。目標(biāo)圖像可以取自街上來客、街角或界碑，并然后地點(diǎn)識(shí)別算法嘗試通過掃描大量已保存參考圖像，在參考數(shù)據(jù)庫中尋找最相似特征。這些地點(diǎn)識(shí)別算法需要大規(guī)模的圖像數(shù)據(jù)庫從而使得能夠執(zhí)行這樣的地理定位。
技術(shù)實(shí)現(xiàn)思路
本申請(qǐng)的一個(gè)或更多實(shí)施例描述使得能夠除其他信息之外使用源自生成目標(biāo)圖像的傳感器的視點(diǎn)(viewpoint)數(shù)據(jù)以及3D-GeoArc，將帶有景象的三維(3D)表示的相同景象的多模型圖像配準(zhǔn)的方法、系統(tǒng)、技術(shù)和/或解決方案。在一個(gè)有利實(shí)施例中，用于圖像配準(zhǔn)的方法可以執(zhí)行(例如，在數(shù)據(jù)處理系統(tǒng)例如計(jì)算機(jī)中至少部分執(zhí)行)，其中該方法包含以下步驟。該方法的第一步可以包括建立景象的三維參考模型。該方法的下個(gè)步驟可以包括獲取景象的目標(biāo)圖像，該目標(biāo)圖像可能用傳感器捕捉。該方法的下個(gè)步驟可以包括使用一個(gè)或更多三維地理弧(也稱為GeoArc)確定捕捉目標(biāo)圖像的傳感器的視點(diǎn)(viewpoint)，其中可以相對(duì)于三維參考模型確定傳感器的視點(diǎn)。該方法的下個(gè)步驟可以包括通過將源自目標(biāo)圖像的數(shù)據(jù)與源自三維參考模型的數(shù)據(jù)關(guān)聯(lián)來生成景象的復(fù)合三維表示，其中傳感器的視點(diǎn)可以用來執(zhí)行該關(guān)聯(lián)。在本申請(qǐng)的一些實(shí)施例中，確定傳感器視點(diǎn)的步驟可以進(jìn)一步包含以下子步驟。第一子步驟可以包括識(shí)別三維參考模型中的一個(gè)或更多特征對(duì)?？梢允褂迷醋缘乩砜臻g智能系統(tǒng)數(shù)據(jù)庫的信息建立三維參考模型。下個(gè)子步驟可以包括識(shí)別目標(biāo)圖像中的一個(gè)或更多特征對(duì)。在三維參考模型中和在目標(biāo)圖像中識(shí)別的特征對(duì)可以表征，以使它們不隨著參考模型和目標(biāo)圖像的旋轉(zhuǎn)和縮放而變化。接下來，對(duì)于在目標(biāo)圖像中的每個(gè)特征對(duì)，該方法可以(1)將目標(biāo)圖像中的特征對(duì)與三維參考模型中的特征對(duì)中的一個(gè)關(guān)聯(lián)；(2)估計(jì)與目標(biāo)圖像中的特征對(duì)關(guān)聯(lián)的角度；(3)生成與三維參考模型關(guān)聯(lián)的三維地理弧表面，其中該地理弧表面可以表示在目標(biāo)圖像中的特征對(duì)和已估計(jì)角度之間的關(guān)系。下個(gè)子步驟可以包括在三維空間中相對(duì)于三維參考模型識(shí)別位置，其中兩個(gè)或更多的三維地理弧表面重疊。在本申請(qǐng)的一些實(shí)施例中，生成三維地理弧表面可以包括通過改變地理弧表面的厚度來表示在已估計(jì)角度中的不確定度。在本申請(qǐng)的一些實(shí)施例中，已生成的地理弧表面可以與先前生成的地理弧表面重疊，創(chuàng)建三維體積。在本申請(qǐng)的一些實(shí)施例中，確定傳感器視點(diǎn)的步驟可以進(jìn)一步包含以下子步驟。第一子步驟可以包括將其中最多地理弧表面重疊的位置選為傳感器的已確定視點(diǎn)。接下來，對(duì)于在目標(biāo)圖像中的每個(gè)特征對(duì)，該方法可以通過基于用參考數(shù)據(jù)檢查忽略或移除涉及不正確視點(diǎn)的三維地理弧表面的部分，將已生成三維地理弧表面細(xì)化。下個(gè)子步驟可以包括通過參照參考數(shù)據(jù)確認(rèn)傳感器的已確定視點(diǎn)，從而預(yù)測(cè)如果傳感器的已確定視點(diǎn)正確那么應(yīng)在目標(biāo)圖像中可見的另外特征。在本申請(qǐng)的一些實(shí)施例中，確定傳感器視點(diǎn)的步驟可以包括將三維參考模型劃分成數(shù)個(gè)區(qū)域，并在該區(qū)域中的一個(gè)或更多內(nèi)確定傳感器的潛在視點(diǎn)。在本申請(qǐng)的一些實(shí)施例中，生成復(fù)合三維表示的步驟可以進(jìn)一步包含以下子步驟。第一子步驟可以包括確定相對(duì)于復(fù)合三維表示的傳感器位置和傳感器角度。下個(gè)子步驟可以包括通過為每個(gè)物體向傳感器位置添加平移(translationaloffset)，確定在目標(biāo)圖像中可見的一個(gè)或更多物體相對(duì)于復(fù)合三維表示的位置。下個(gè)子步驟可以包括將與目標(biāo)圖像關(guān)聯(lián)的一個(gè)或更多物體實(shí)時(shí)投影進(jìn)入3D復(fù)合景象。在另一有利實(shí)施例中，可以執(zhí)行用于圖像配準(zhǔn)的方法(例如至少部分在數(shù)據(jù)處理系統(tǒng)例如計(jì)算機(jī)中執(zhí)行)，其中該方法包含以下步驟。該方法的第一步可以包括識(shí)別三維參考模型中的一個(gè)或更多特征對(duì)。下個(gè)子步驟可以包括識(shí)別目標(biāo)圖像中的一個(gè)或更多特征對(duì)。接下來，對(duì)于在目標(biāo)圖像中的每個(gè)特征對(duì)，該方法可以(1)將目標(biāo)圖像中的特征對(duì)與三維參考模型中的特征對(duì)中的一個(gè)關(guān)聯(lián)；(2)估計(jì)與目標(biāo)圖像中的特征對(duì)關(guān)聯(lián)的角度；(3)生成與三維參考模型關(guān)聯(lián)的三維地理弧表面，其中該地理弧表面可以表示在目標(biāo)圖像中的特征對(duì)和已估計(jì)角度之間的關(guān)系；以及(3)在三維空間中相對(duì)于三維參考模型識(shí)別位置，其中兩個(gè)或更多的三維地理弧表面重疊。在本申請(qǐng)的一些實(shí)施例中，可以通過改變地理弧表面的厚度來表示在已估計(jì)角度中的不確定度。在本申請(qǐng)的一些實(shí)施例中，已生成的地理弧表面可以與先前生成的地理弧表面重疊，創(chuàng)建三維體積。在另一有利實(shí)施例中描述航空器，其包含適應(yīng)捕捉圖像的傳感器，以及通信耦合到傳感器的數(shù)據(jù)處理系統(tǒng)。數(shù)據(jù)處理系統(tǒng)可以經(jīng)編程建立景象的三維參考模型。數(shù)據(jù)處理系統(tǒng)可以經(jīng)進(jìn)一步編程從傳感器獲取景象的目標(biāo)圖像。數(shù)據(jù)處理系統(tǒng)可以經(jīng)進(jìn)一步編程使用一個(gè)或更多三維地理弧確定捕捉目標(biāo)圖像的傳感器的視點(diǎn)，其中可以相對(duì)于三維參考模型確定傳感器的視點(diǎn)。數(shù)據(jù)處理系統(tǒng)可以經(jīng)進(jìn)一步本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于圖像配準(zhǔn)的方法，所述方法包含：建立景象（700）的三維參考模型；獲取所述景象（700）的目標(biāo)圖像（402），所述目標(biāo)圖像（402）用傳感器（706、1214、1306）捕捉；使用一個(gè)或更多三維地理弧確定捕捉所述目標(biāo)圖像（402）的所述傳感器（706、1214、1306）的視點(diǎn)，其中相對(duì)于所述三維參考模型確定所述傳感器（706、1214、1306）的所述視點(diǎn)；以及通過將源自所述目標(biāo)圖像（402）的數(shù)據(jù)與源自所述三維參考模型的數(shù)據(jù)關(guān)聯(lián)來生成所述景象（700）的復(fù)合三維表示，其中所述傳感器（706、1214、1306）的所述視點(diǎn)用來執(zhí)行所述關(guān)聯(lián)。

【技術(shù)特征摘要】
2012.04.30 US 13/459,6431.一種用于圖像配準(zhǔn)的方法，所述方法包含：建立景象(700)的三維參考模型；獲取所述景象(700)的目標(biāo)圖像(402)，所述目標(biāo)圖像(402)用傳感器(706、1214、1306)捕捉；使用一個(gè)或更多三維地理弧確定捕捉所述目標(biāo)圖像(402)的所述傳感器(706、1214、1306)的視點(diǎn)，其中相對(duì)于所述三維參考模型確定所述傳感器(706、1214、1306)的所述視點(diǎn)；以及通過將源自所述目標(biāo)圖像(402)的數(shù)據(jù)與源自所述三維參考模型的數(shù)據(jù)關(guān)聯(lián)來生成所述景象(700)的復(fù)合三維表示，其中所述傳感器(706、1214、1306)的所述視點(diǎn)被用來執(zhí)行所述關(guān)聯(lián)；其中確定所述傳感器的所述視點(diǎn)的步驟進(jìn)一步包含：識(shí)別所述三維參考模型中的一個(gè)或更多特征對(duì)；識(shí)別所述目標(biāo)圖像(402)中的一個(gè)或更多特征對(duì)；對(duì)于所述目標(biāo)圖像(402)中的每個(gè)特征對(duì)，將所述目標(biāo)圖像(402)中的所述特征對(duì)與所述三維參考模型中的所述特征對(duì)中的一個(gè)關(guān)聯(lián)，估計(jì)與所述目標(biāo)圖像(402)中的所述特征對(duì)關(guān)聯(lián)的角度，生成與所述三維參考模型關(guān)聯(lián)的三維地理弧表面(910、912)，其中所述地理弧表面(910、912)表示在所述目標(biāo)圖像(402)中的所述特征對(duì)和已估計(jì)角度之間的關(guān)系；以及識(shí)別在三維空間中兩個(gè)或更多三維地理弧表面重疊的相對(duì)于三維參考模型的位置。2.根據(jù)權(quán)利要求1所述的用于圖像配準(zhǔn)的方法，其中，生成三維地理弧表面(910、912)的步驟包括通過改變所述地理弧表面(910、912)的厚度來表示在所述已估計(jì)角度中的不確定度；以及其中，已生成的地理弧表面(910、912)可以與先前生成的地理弧表面重疊，創(chuàng)建三維體積。3.根據(jù)權(quán)利要求2所述的用于圖像配準(zhǔn)的方法，進(jìn)一步包含：將其中最多地理弧表面重疊的位置選為所述傳感器(706、1214、1306)的已確定視點(diǎn)；以及通過參照參考數(shù)據(jù)確認(rèn)所述傳感器(706、1214、1306)的所述已確定視點(diǎn)，從而預(yù)測(cè)如果所述傳感器(706、1214、1306)的所述已確定視點(diǎn)正確那么應(yīng)在所述目標(biāo)圖像(402)中可見的另外特征。4.根據(jù)權(quán)利要求2所述的用于圖像配準(zhǔn)的方法，進(jìn)一步包含：對(duì)于在所述目標(biāo)圖像中的每個(gè)特征對(duì)，基于用參考數(shù)據(jù)檢查，通過忽略或移除涉及不正確的視點(diǎn)的所述三維地理弧表面(910、912)的部分，將所述已生成的三維地理弧表面(910、912)細(xì)化。5.根據(jù)權(quán)利要求1所述的用于圖像配準(zhǔn)的方法，其中生成復(fù)合三維表示的步驟進(jìn)一步包含：確定相對(duì)于所述復(fù)合三維表示的所述傳感器(706、1214、1306)的所述位置和所述傳感器(706、1214、1306)的所述角度；以及通過為每個(gè)物體向所述傳感器(706、1214、1306)的所述位置添加平移，確定在所述目標(biāo)圖像(402)中可見的一個(gè)或更...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：Y·歐威斯克，
申請(qǐng)(專利權(quán))人：波音公司，
類型：發(fā)明
國(guó)別省市：