手持型便攜式光學掃描儀和使用的方法技術

一種用于使用手持型便攜式設備以及使用用于多種應用的結果對RGB-D圖像數據的實時或準實時的處理和后處理的系統和方法。本公開是基于在能夠使用高優化的計算機視覺算法執行復雜的空間推理任務的獨立單元中的現貨供應的設備（例如RGB-D照相機和智能手機/平板計算機）的組合。公開了使用所獲得的即時結果以及用于遠程合作的主設備的無線連通性的新的應用。一個方法包括將圓點圖案從光源投影到景象上的多個點上，測量到點的距離，以及數字化重構諸如景象的3D視圖的景象的一個圖像或多個圖像的步驟。多個圖像還可以被拼接在一起以重定位景象視圖的方向。

【技術實現步驟摘要】
【國外來華專利技術】
本公開的領域是用于通過手持型便攜式光學成像掃描儀獲取圖像數據的系統和方法以及用于通過不同的方法處理圖像和深度數據的方法的領域。
技術介紹
本技術基于成像系統。
技術實現思路
—個實施例是用于實時捕獲景象的多種圖像并且確定每一個圖像中多個點在坐標系中的精確位置的手持型成像系統。該系統包括用于捕獲和存儲多個數字圖像的圖像捕獲設備，用于實時推導圖像中多個任意點的深度信息的深度計算系統，具有處理器、帶用戶接口控制的顯示器、以及通信模塊的手持型計算機系統，其中處理器與所述圖像捕獲設備和深度計算系統通信。該系統還包括具有在其上已編碼的一組指令的非暫時性計算機可讀介質，所述指令可被處理器執行以導致圖像捕獲設備、光點定位系統和通信模塊執行一個或更多的操作，該指令包括在景象的數字數據中捕獲多個數字圖像并且從圖像捕獲設備以及從深度計算系統捕獲所述景象中多個點的位置、存儲所述數字數據、將多個圖像合并在一起以形成單一的3D模型、在移動手持型設備中顯示單一的3d模型、以及根據基于用戶的到處理和控制系統的輸入來處理單一 3D模型的數字文件數據。另一個實施例是用于拍攝多個圖像的方法。該方法包括的步驟有:在景象的數字數據中捕獲多個數字圖像并且從圖像捕獲設備以及從光點定位系統捕獲所述景象中多個點的位置，存儲所述數字數據，將多個圖像合并在一起以形成單一的3D模型，在移動手持型設備中顯示單一的3d模型，并且根據基于用戶的到處理和控制系統中的輸入來處理數字文件數據。再另一個實施例是用于實時捕獲景象的多種圖像并且確定每一個圖像中多個點在坐標系中的精確位置的手持型成像系統。該系統包括用于捕獲和存儲多個數字圖像的圖像捕獲設備，用于實時推導圖像中多個任意點的深度信息的深度計算系統，具有處理器、帶有用戶界面控制的顯示器和通信模塊的手持型計算機系統，其中該處理器與所述圖像捕獲設備和光點定位系統通信。該系統還包括在其上已經編碼了一組指令的非暫時性計算機可讀介質，所述指令可被處理器執行以導致圖像捕獲設備、光點定位系統和通信模塊執行一個或更多的操作，該指令用于在景象的數字數據中捕獲多個數字圖像并且從圖像捕獲設備以及從光點定位系統捕獲所述景象中的多個任意點的位置、存儲所述數字數據、將多個圖像合并在一起以形成單一的3D模型、并且根據基于用戶的到處理和控制系統的輸入來處理數字文件數據，其中所述處理步驟包括將照相機位置和姿態與真實世界坐標參照系相關耳關。這些示例并非意在限制性，而是示意性地描述我們的系統的能力。【附圖說明】本公開和以下對它的某些實施例的詳細描述可以參照下圖來理解: 圖1描述了本公開的實施例中的系統框圖。圖2A-2B描述了本公開的組件的實施例的系統框圖，所述組件包括圖像捕獲和深度圖確定器。圖3描述了對本公開的操作性使用的流程圖。圖4A-4D描述了在推導景象的三維表示時由圖像捕獲操作系統執行的內部步驟的一系列流程圖。圖5是公開的幾個實施例中不同程序的列表。【具體實施方式】以下是用這樣完整、清楚、簡潔和準確的術語對本公開以及對制造和使用它的方式與處理的書面描述，以便其所屬領域內的或與之最相關的領域內的任何技術人員都能夠制造和使用其，并且闡述由實現本公開的專利技術者所預期的最佳模式。用于在記錄結構的完工情況或對象的形狀和輪廓中使用的圖像捕獲系統在
中眾所周知。然而，大多數系統并不能實時運行并且未被配置用于在現場的密集圖像處理。本公開包括能夠在幾秒內創建隨時可用的3D模型的便攜式、手持型3D圖像捕獲系統。本公開的系統提供具有高捕獲幀速的高分辨率、實時的3D圖像。因此，它能夠在進行移動的部件的情況下或當圖像捕獲設備本身處于運動中時捕獲景象。以毫米和次毫米的精確度提供對象和特性的高精準的位置。用于操作和集成到在3D圖像捕獲中所涉及的日常任務組中的工作流程是已合理化與簡化的，從而提高了用戶生產力。3D圖像捕獲系統是小的、重量輕的、并且極其容易使用的。用戶可以使景象的3D模型存儲于存儲器中并且在幾秒鐘內顯示在本地屏幕上。典型的工作流程的示例示出在圖4A-4D中。產品的主要組件在圖1的系統框圖100中示出。用戶希望捕獲所關注的景象101。圖像捕獲和深度確定器102用來和深度圖一起為每一個景象捕獲景象的多個圖像。手持型平板或智能手機110被用于實現3D渲染系統及操作整個系統。平板或智能手機被配置以使用戶能夠操作圖像捕獲設備、能夠獲得具有用于圖像的深度圖信息的圖像的數據流、并且能夠基于可用于平板/智能手機計算機的附加軟件執行任何數量的圖像處理，其中，所述深度圖信息可以包括圖像中預先確定的光點的深度信息。手持型計算機具有用于其內部操作的程序，以及用于管理圖像捕獲和不同的處理任務的應用程序。用于改進的圖像處理140的軟件包括可以捕獲和傳送圖像和深度信息、將多個圖像合并到單一的3D模型中用于查看、分析和管理的程序。用于圖像和模型實時處理以及管理的軟件160是本公開的另一個主要實施例。附加軟件可用于為了多種目的而在所捕獲和合并的圖像上執行許多其他的功能。這些組件中的每一個的特性和功能接下來被詳細描述。圖像捕獲和深度圖確定器102 在實施例中，3D成像器包括通過并且以平板計算機或智能手機操作的作為主傳感器的紅-綠-藍-深度(RGB-D)照相機。照相機被配置成以結構光深度圖確定系統操作。可替代地，照相機可以被配置成以飛行時間深度圖生成器操作。傳感器使用廉價組件實時提供深度圖數據。作為他們的產品供應的一部分，結構光深度圖成像系統可從PrimeSense獲得，所述PrimeSense是向微軟Kinects系統供給用于檢測用戶身體部位位置和動作的組件的以色列公司。更多的信息可以在www.primesense.com上找到。專用紅外光束系統103向所關注的景象播送圓點圖案，傳送一系列在景象中照射對象的小圓點。圓點的數量和間隔定義了能獲得的分辨率。與在數字照相機中發現的成像器類似，成像器104在被稱為PS1080的特殊傳感器中捕獲景象和照射圓點。成像器104包括圖像捕獲透鏡和CMOS傳感器。傳感器驅動同步的深度圖像、彩色圖像、以及可選地驅動音頻數據流。另外的細節見圖2A-2B。圖2A描述了 PrimeSense圖像捕獲和深度圖確定器200的組件的框圖。組件包括具有IR光傳輸能力203和深度確定CMOS功能205的微處理器201。如果需要音頻，那么音頻區塊208可包括一個或更多的麥克風209以及一個或更多的、可能是若干個音頻源211，用于生成和檢測聲音以伴隨所拍攝的一個圖像或多個像組。系統還可以包括單獨的存儲器213或便攜式存儲器215，諸如所示的USB閃存驅動器。對于每一個被捕獲的圖像，實時創建深度圖。模塊102還可以包括定制處理器105，所述定制處理器可以包括用于色彩和深度信息的存儲107和控制部分106。圖2B描述了 PrimeSense圖像捕獲和深度圖確定器系統230。該系統包括光源231和光檢測器233以照射所關注的目標235并且檢測從目標235反射的光。系統控制237可以包括具有它自己的存儲器241以及輸入/輸出系統243的微處理器239。相似地，用于執行飛行時間(TOF)距離測量而無需任何移動部分的完全集成的傳感器108可從位于德國錫根(Siegen)的本文檔來自技高網...

【技術保護點】
一種用于實時捕獲景象的多種圖像并且確定每一個圖像中多個點在坐標系中的精確位置的手持型成像系統，所述系統包括：用于捕獲和存儲多個數字圖像的圖像捕獲設備；用于實時推導所述圖像中的多個任意點的深度信息的深度計算系統；具有處理器、帶有用戶接口控制的顯示器、以及通信模塊的手持型計算機系統，其中所述處理器與所述圖像捕獲設備和深度計算系統通信；以及具有已編碼在其上的一組指令的非暫時性計算機可讀介質，所述指令可被所述處理器執行以導致所述圖像捕獲設備、所述光點定位系統和所述通信模塊執行一個或更多的操作，所述操作包括：在景象的數字數據中捕獲多個數字圖像，并且從所述圖像捕獲設備以及從所述深度計算系統捕獲所述景象中的多個點的位置；存儲所述數字數據；將多個圖像合并在一起以形成單一的3D模型；在所述移動手持型設備中顯示所述單一的3d模型；并且根據基于用戶的到處理和控制系統的輸入處理所述單一3D模型的所述數字文件數據。

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：M克盧薩，R斯普林，
申請(專利權)人：點積公司，
類型：發明
國別省市：美國;US