提供了一種使用交替圖案生成投影儀像素到相機(jī)像素和/或?qū)ο笪恢玫挠成涞难b置、系統(tǒng)和方法。一種裝置控制投影儀按交替圖案和結(jié)構(gòu)光圖案的順序投影，同時(shí)相機(jī)獲取所述投影儀的幀，所述交替圖案包括在所述結(jié)構(gòu)光圖案之前和/或之后投影的第一預(yù)定圖案和第二預(yù)定圖案。所述裝置使用與交替圖案協(xié)調(diào)的幀，基于逐相機(jī)像素和基于逐相機(jī)掃描線(xiàn)中的一個(gè)或多個(gè)確定與交替圖案和幀的相應(yīng)索引相關(guān)的一個(gè)或多個(gè)函數(shù)。所述裝置基于使用一個(gè)或多個(gè)函數(shù)將幀與結(jié)構(gòu)光圖案相關(guān)來(lái)生成重疊視場(chǎng)中投影儀像素到相機(jī)像素和對(duì)象上的位置中的一個(gè)或多個(gè)的映射并將該映射存儲(chǔ)在存儲(chǔ)器處。個(gè)的映射并將該映射存儲(chǔ)在存儲(chǔ)器處。個(gè)的映射并將該映射存儲(chǔ)在存儲(chǔ)器處。
【技術(shù)實(shí)現(xiàn)步驟摘要】
使用交替圖案生成映射的裝置、系統(tǒng)和方法
[0001]本申請(qǐng)涉及圖像處理
，更具體地，涉及使用交替圖案生成投 影儀像素到相機(jī)像素和/或?qū)ο笪恢玫挠成涞难b置、系統(tǒng)和方法。
技術(shù)介紹
[0002]投影映射通常是非常復(fù)雜的過(guò)程，因?yàn)樾枰屑?xì)對(duì)準(zhǔn)投影儀以將多 個(gè)二維(“2D”)投影圖像對(duì)準(zhǔn)到三維(“3D”)表面上。因此，需要校 準(zhǔn)每個(gè)投影儀相對(duì)于表面的姿態(tài)，在投影儀將許多校準(zhǔn)測(cè)試圖案(例如， 結(jié)構(gòu)光圖案)投影到表面上時(shí)，通常使用獲取物理對(duì)象的圖像的相機(jī)來(lái)執(zhí) 行這種校準(zhǔn)。例如，結(jié)構(gòu)光圖案通常包括一系列二元圖案，其使能夠在表 面上找到投影儀像素的位置。特別地，可以將由相機(jī)捕獲的表面上的結(jié)構(gòu) 光圖案的圖像與實(shí)際結(jié)構(gòu)光圖案進(jìn)行比較，以確定投影儀相對(duì)于表面和/ 或表面的幾何結(jié)構(gòu)的幾何結(jié)構(gòu)。校準(zhǔn)測(cè)試圖案的數(shù)量可以是數(shù)十或數(shù)百 或更多，因此校準(zhǔn)可能花費(fèi)相當(dāng)大量的時(shí)間來(lái)實(shí)現(xiàn)，這可能增加從啟動(dòng)投 影儀到執(zhí)行投影映射的時(shí)間。此外，具有滾動(dòng)快門(mén)等的相機(jī)和/或使用色 輪的投影儀可能使校準(zhǔn)復(fù)雜化，這可能導(dǎo)致相機(jī)的幀包括捕獲多于一個(gè) 測(cè)試圖案的像素。
技術(shù)實(shí)現(xiàn)思路
[0003]根據(jù)本專(zhuān)利技術(shù)的一方面，提供了一種裝置，包括：控制器，被配置為與 具有重疊視場(chǎng)的投影儀和相機(jī)通信，所述控制器被配置為：控制所述投影 儀按交替圖案和結(jié)構(gòu)光圖案的順序投影，同時(shí)所述相機(jī)獲取其幀，所述交 替圖案包括在所述結(jié)構(gòu)光圖案之前和之后中的一個(gè)或多個(gè)投影的第一預(yù) 定圖案和第二預(yù)定圖案；使用與所述交替圖案協(xié)調(diào)的所述幀，基于逐相機(jī) 像素和基于逐相機(jī)掃描線(xiàn)中的一個(gè)或多個(gè)，確定與所述交替圖案和所述 幀的相應(yīng)索引相關(guān)的一個(gè)或多個(gè)函數(shù)；以及基于使用所述一個(gè)或多個(gè)函 數(shù)將所述幀與所述結(jié)構(gòu)光圖案相關(guān)，生成所述重疊視場(chǎng)中的投影儀像素 到相機(jī)像素和對(duì)象上的位置中的一個(gè)或多個(gè)的映射，并將所述映射存儲(chǔ) 在存儲(chǔ)器處。
[0004]根據(jù)本專(zhuān)利技術(shù)的另一方面，提供了一種方法，包括：在計(jì)算裝置處控制 投影儀按交替圖案和結(jié)構(gòu)光圖案的順序投影，同時(shí)相機(jī)獲取其幀，所述交 替圖案包括在所述結(jié)構(gòu)光圖案之前和之后中的一個(gè)或多個(gè)投影的第一預(yù) 定圖案和第二預(yù)定圖案；所述投影儀和所述相機(jī)具有重疊視場(chǎng)；在所述計(jì) 算裝置處，使用與所述交替圖案協(xié)調(diào)的所述幀，基于逐相機(jī)像素和基于逐 相機(jī)掃描線(xiàn)中的一個(gè)或多個(gè)，確定與所述交替圖案和所述幀的相應(yīng)索引 相關(guān)的一個(gè)或多個(gè)函數(shù)；以及基于使用所述一個(gè)或多個(gè)函數(shù)將所述幀與 所述結(jié)構(gòu)光圖案相關(guān)，在所述計(jì)算裝置處生成所述重疊視場(chǎng)中的投影儀 像素到相機(jī)像素和對(duì)象上的位置中的一個(gè)或多個(gè)的映射，并將所述映射 存儲(chǔ)在存儲(chǔ)器處。
附圖說(shuō)明
[0005]為了更好地理解本文中描述的各種示例并且更清楚地示出它們可以 如何被實(shí)
現(xiàn)，現(xiàn)在將僅通過(guò)示例的方式引用附圖，其中：
[0006]圖1示出了根據(jù)非限制性示例的投影系統(tǒng)。
[0007]圖2示出了根據(jù)非限制性示例使用交替圖案生成投影儀像素到相機(jī) 像素和/或?qū)ο笪恢玫挠成涞南到y(tǒng)。
[0008]圖3示出了根據(jù)非限制性示例使用交替圖案生成投影儀像素到相機(jī) 像素和/或?qū)ο笪恢玫挠成涞?可以在圖1的系統(tǒng)中使用的)計(jì)算裝置的 框圖。
[0009]圖4示出了根據(jù)非限制性示例使用交替圖案生成投影儀像素到相機(jī) 像素和/或?qū)ο笪恢玫挠成涞姆椒ā?br/>[0010]圖5示出了根據(jù)非限制性示例的被控制為投影交替圖案和結(jié)構(gòu)光圖 案的圖2的系統(tǒng)的投影儀，以及獲取其幀的相機(jī)。
[0011]圖6示出了根據(jù)非限制性示例的圖2的系統(tǒng)的投影儀繼續(xù)投影交替 圖案和結(jié)構(gòu)光圖案，并且相機(jī)繼續(xù)獲取其幀，以及裝置生成與針對(duì)給定相 機(jī)像素的交替圖案和幀的相應(yīng)索引相關(guān)的函數(shù)。
[0012]圖7示出了根據(jù)非限制性示例的使用函數(shù)的圖2的系統(tǒng)的裝置，該 函數(shù)針對(duì)給定相機(jī)像素與交替圖案和幀的相應(yīng)索引相關(guān)，以使幀與結(jié)構(gòu) 光圖案相關(guān)。
[0013]圖8示出了根據(jù)非限制性示例的生成在重疊視場(chǎng)中的投影儀像素到 相機(jī)像素和對(duì)象上的位置中的一個(gè)或多個(gè)的映射的圖2的系統(tǒng)的裝置。
[0014]圖9示出了根據(jù)非限制性示例將投影圖案持續(xù)時(shí)間與相機(jī)幀和曝光 周期持續(xù)時(shí)間進(jìn)行比較的時(shí)序圖。
[0015]圖10示出了將投影圖案持續(xù)時(shí)間與相機(jī)幀周期持續(xù)時(shí)間進(jìn)行比較的 時(shí)序圖。
具體實(shí)施方式
[0016]機(jī)器視覺(jué)相機(jī)通常用于校準(zhǔn)投影儀以例如進(jìn)行投影映射。投影儀將 結(jié)構(gòu)光圖案(例如，測(cè)試圖案)的圖像投影到對(duì)象上，并且相機(jī)拍攝結(jié)構(gòu) 光圖案的投影圖像的圖片。計(jì)算裝置分析結(jié)構(gòu)光圖案的圖片，并將結(jié)構(gòu)光 圖案的圖片與實(shí)際結(jié)構(gòu)光圖案進(jìn)行比較，以確定投影儀像素和相機(jī)像素 之間的映射(和/或結(jié)構(gòu)光圖案被投影到的對(duì)象上的位置)，使得可在視頻 處理流水線(xiàn)中進(jìn)行數(shù)字校正以產(chǎn)生圖像，該圖像在被投影到對(duì)象上時(shí)在 內(nèi)容對(duì)齊方面可以是無(wú)縫的，并且在亮度和顏色方面是均勻的。然而，例 如，由于所需的隱式同步以確保在相機(jī)捕獲給定結(jié)構(gòu)光圖案的幀之前投 影儀投影給定結(jié)構(gòu)光圖案內(nèi)容，所以投影和捕獲結(jié)構(gòu)光圖案可能是緩慢 的過(guò)程。此外，具有滾動(dòng)快門(mén)等的相機(jī)和/或使用色輪的投影儀可能使校 準(zhǔn)復(fù)雜化，這可能導(dǎo)致相機(jī)的幀包括多于一個(gè)測(cè)試圖案。因此，本文提供 了一種可以減少用于投影和捕獲結(jié)構(gòu)光圖案的圖像的時(shí)間段的技術(shù)。
[0017]具體地，在投影儀和相機(jī)之間執(zhí)行定時(shí)校準(zhǔn)，其中，由投影儀投影預(yù) 定的交替圖案(例如，交替的黑色和白色圖像)，并且相機(jī)獲取其幀，其 可以用于例如基于逐相機(jī)像素和/或基于逐圖案像素等生成將交替圖案和 相機(jī)的幀的相應(yīng)索引相關(guān)的函數(shù)。該函數(shù)可以用于確定給定相機(jī)像素的 結(jié)構(gòu)光圖案索引，使得在投影結(jié)構(gòu)光圖案時(shí)捕獲的幀的給定相機(jī)像素可 以快速地與給定結(jié)構(gòu)光圖案相關(guān)。
[0018]因此，本文提供了一種裝置，包括：控制器，被配置為與具有重疊視 場(chǎng)的投影儀和相機(jī)通信，所述控制器被配置為：控制所述投影儀按交替圖 案和結(jié)構(gòu)光圖案的順序投影，
同時(shí)所述相機(jī)獲取其幀，所述交替圖案包括 在所述結(jié)構(gòu)光圖案之前和之后中的一個(gè)或多個(gè)投影的第一預(yù)定圖案和第 二預(yù)定圖案；使用與交替圖案協(xié)調(diào)的幀，基于逐相機(jī)像素和基于逐相機(jī)掃 描線(xiàn)中的一個(gè)或多個(gè)確定與交替圖案和幀的相應(yīng)索引相關(guān)的一個(gè)或多個(gè) 函數(shù)；以及基于使用所述一個(gè)或多個(gè)函數(shù)將所述幀與所述結(jié)構(gòu)光圖案相 關(guān)，生成所述重疊視場(chǎng)中的投影儀像素到相機(jī)像素和對(duì)象上的位置中的 一個(gè)或多個(gè)的映射，并將所述映射存儲(chǔ)在存儲(chǔ)器處。
[0019]本文還提供了一種方法，包括：在計(jì)算裝置處控制投影儀按交替圖案 和結(jié)構(gòu)光圖案的順序投影同時(shí)相機(jī)獲取投影儀的幀，所述交替圖案包括 在所述結(jié)構(gòu)光圖案之前和之后中的一個(gè)或多個(gè)投影的第一預(yù)定圖案和第 二預(yù)定圖案；所述投影儀和所述相機(jī)具有重疊視場(chǎng)；在所述計(jì)算裝置處， 使用與所述交替圖案協(xié)調(diào)的所述幀，基于逐相機(jī)像素和基于逐相機(jī)掃描 線(xiàn)中的一個(gè)或多個(gè)確定與所述交替圖案和所述幀的相應(yīng)索引相關(guān)的一個(gè) 或多個(gè)函數(shù)；以及基于使用所述一個(gè)或多個(gè)函數(shù)將所述幀與所述結(jié)構(gòu)光 圖案相關(guān)，在所述計(jì)算裝置處生成所述重疊視場(chǎng)中投影儀像素到相機(jī)像 素和對(duì)象上的位置中的一個(gè)或多個(gè)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種裝置，包括：控制器，被配置為與具有重疊視場(chǎng)的投影儀和相機(jī)通信，所述控制器被配置為：控制所述投影儀按交替圖案和結(jié)構(gòu)光圖案的順序投影，同時(shí)所述相機(jī)獲取其幀，所述交替圖案包括在所述結(jié)構(gòu)光圖案之前和之后中的一個(gè)或多個(gè)投影的第一預(yù)定圖案和第二預(yù)定圖案；使用與所述交替圖案協(xié)調(diào)的所述幀，基于逐相機(jī)像素和基于逐相機(jī)掃描線(xiàn)中的一個(gè)或多個(gè)，確定與所述交替圖案和所述幀的相應(yīng)索引相關(guān)的一個(gè)或多個(gè)函數(shù)；以及基于使用所述一個(gè)或多個(gè)函數(shù)將所述幀與所述結(jié)構(gòu)光圖案相關(guān)，生成所述重疊視場(chǎng)中的投影儀像素到相機(jī)像素和對(duì)象上的位置中的一個(gè)或多個(gè)的映射，并將所述映射存儲(chǔ)在存儲(chǔ)器處。2.根據(jù)權(quán)利要求1所述的裝置，其中，所述結(jié)構(gòu)光圖案被配置為唯一地照射所述重疊視場(chǎng)和所述對(duì)象中的一個(gè)或多個(gè)的不同部分。3.根據(jù)權(quán)利要求1所述的裝置，其中，所述交替圖案包括：在所述結(jié)構(gòu)光圖案之前投影的所述第一預(yù)定圖案和所述第二預(yù)定圖案的第一集合；以及在所述結(jié)構(gòu)光圖案之后投影的所述第一預(yù)定圖案和所述第二預(yù)定圖案的第二集合。4.根據(jù)權(quán)利要求3所述的裝置，其中，所述第一預(yù)定圖案和所述第二預(yù)定圖案的所述第一集合和所述第一預(yù)定圖案和所述第二預(yù)定圖案的所述第二集合分別包括：三個(gè)相間交替的所述第一預(yù)定圖案和所述第二預(yù)定圖案。5.根據(jù)權(quán)利要求1所述的裝置，其中，所述控制器進(jìn)一步被配置為通過(guò)識(shí)別以下一個(gè)或多個(gè)來(lái)協(xié)調(diào)所述幀與所述交替圖案：在所述結(jié)構(gòu)光圖案之前投影的初始第一預(yù)定圖案；以及在所述結(jié)構(gòu)光圖案之后投影的最后第一預(yù)定圖案。6.根據(jù)權(quán)利要求1所述的裝置，其中，所述控制器還被配置為控制投影儀圖案持續(xù)時(shí)間、相機(jī)幀速率和相機(jī)曝光時(shí)間中的一個(gè)或多個(gè)，以達(dá)到以下一個(gè)或多個(gè)：最大化所述交替圖案的幀數(shù)量；最小化與相鄰圖案重疊的相應(yīng)幀數(shù)量；以及將所述投影儀圖案持續(xù)時(shí)間控制為大于相機(jī)幀周期加上相機(jī)曝光周期。7.根據(jù)權(quán)利要求1所述的裝置，其中，所述一個(gè)或多個(gè)函數(shù)包括使相機(jī)幀索引、圖案集合索引和掃描線(xiàn)編號(hào)相關(guān)的單個(gè)函數(shù)。8.根據(jù)權(quán)利要求1所述的裝置，其中，所述一個(gè)或多個(gè)函數(shù)包括將相機(jī)幀索引與用于每個(gè)相機(jī)像素和每個(gè)相機(jī)掃描線(xiàn)中的一個(gè)或多個(gè)的圖案集合索引相關(guān)的多個(gè)函數(shù)。9.根據(jù)權(quán)利要求1所述的裝置，其中，所述控制器還被配置為基于其相應(yīng)顏色向所述幀、像素及其掃描線(xiàn)中的一個(gè)或多個(gè)分配分?jǐn)?shù)索引，以確定與所述交替圖案和所述幀的相應(yīng)索引相關(guān)的一個(gè)或多個(gè)函數(shù)。1...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：C，
申請(qǐng)(專(zhuān)利權(quán))人：美國(guó)科視數(shù)字系統(tǒng)股份有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。