一種搜索并行GPU加速的激光散斑圖像深度感知方法技術

本發明專利技術公開了一種搜索并行GPU加速的激光散斑圖像深度感知方法。將輸入激光散斑圖像劃分成圖像并行塊，按一個GPU線程塊對應處理一個圖像并行塊，所有的圖像并行塊可按以下步驟同時進行匹配和深度計算，從而實現搜索并行GPU加速。具體過程：圖像并行塊對應的GPU線程塊先進行自適應預處理，再在圖像并行塊中提取輸入圖像塊在參考激光散斑圖的搜索窗中以一定的搜索匹配方法尋找其最優匹配塊，得到該輸入圖像塊與最優匹配塊之間的偏移量，即視差值，按一個線程對應一次輸入圖像塊與匹配塊的計算，最后根據深度計算公式得到該輸入圖像塊中心像素對應的深度值。

【技術實現步驟摘要】

本專利技術設及圖像處理、軟件工程領域，具體設及一種捜索并行GPU加速的激光散 斑圖像深度感知方法。
技術介紹
在消費電子領域，深度感知技術有助于提高電子產品的智能水平和交互能力，幫 助智能終端理解人類動作，成為"現實物理世界"與"虛擬網絡世界"交互手段之一，不僅可 W在智能電視、智能手機、家電、平板PC等領域實現創新應用，也可用于智能視頻監控、面 部識別系統、=維動畫制作、動態場景檢測、3D地圖實時生成等=維重建場合。在工業領域， 高分辨率、高精度的=維深度信息在汽車輔助安全駕駛、高速機床加工、工業建模、3D打印、 醫療成像、物聯網3D視覺感知、機器人操控等領域有著廣泛的應用需求。 基于結構光主動視覺模式的深度感知技術（激光投射器主動投射散斑圖形 化ttern、圖像傳感器采集散斑圖像）可W較為準確地獲取圖像的深度信息。該模式相比雙 目立體攝像頭，通過編碼結構光主動對投射物或投射空間進行特征標定，所獲取的圖像深 度信息具有更穩定可靠、受環境光影響更小、匹配過程不受物體紋理信息的影響等優勢。如 微軟Kinect，其通過主動投射激光散斑圖像進行特征標定，由紅外攝像頭采集圖像序列，再 由深度感知專用巧片計算獲取深度信息。 GPU (Graphics Processing Unit)作為高性能圖形計算單元，作為硬件加速引擎， 比CPU更適合處理算術計算密度高的并行計算問題，計算效率更高、時延更短。結構光深度 感知技術獲取深度圖的重要步驟是激光散斑圖像塊匹配計算，該過程屬于算術計算密度高 的并行計算問題，適合采用GPU作為計算加速單元。相比專用巧片方式，GPU可靈活編程實 現，開發周期短、投入成本低，而且便于移植到不同的硬件平臺（如手持移動終端）和不同 的操作系統上實現。通過GPU加速實現深度感知、實時生成深度信息，而非采用專用巧片將 成為智能設備集成深度感知技術的發展方向。
技術實現思路
針對開發專用巧片獲取圖像深度信息的方式存在開發周期長、投入大、應用缺乏 靈活等問題，本專利技術提供了一種捜索并行GPU加速的激光散斑圖像深度感知方法。該方法 先將輸入激光散斑圖像劃分成一定數量和大小的圖像并行塊，按一個GPU線程塊（包含多 個線程）對應一個圖像并行塊方式進行并行處理；GPU線程塊首先對圖像并行塊進行自適 應預處理；再對圖像并行塊中提取的輸入圖像塊在參考激光散斑圖的捜索窗中W-定的捜 索匹配方法尋找對應的最優匹配塊，得到該輸入圖像塊與最優匹配塊之間的偏移量，即視 差值（Ax，Ay),其中一個線程對應一次輸入圖像塊與匹配塊的計算；所得到的偏移量結 合參考激光散斑圖的已知距離t基線距離S、圖像傳感器焦距f和點距y，根據深度計算公 式計算得到該輸入圖像塊中屯、像素對應的深度值d';并由同一線程塊完成該圖像并行塊 中所有輸入圖像塊的深度計算。于此同時，劃分出的圖像并行塊通過各自對應的GPU線程 塊進行并行深度計算，從而實現輸入激光散斑圖像深度感知計算的GPU加速。 根據本專利技術的一種捜索并行GPU加速的激光散斑圖像深度感知方法，包括W下步 驟： 步驟1 ;將輸入激光散斑圖像劃分成一定數量和大小的圖像并行塊，按一個GPU線 程塊（由多個線程組成）對應一個圖像并行塊方式進行劃分和處理；[000引步驟2 ;由GPU線程塊對其對應的圖像并行塊進行自適應預處理； 步驟3 ;通過GPU線程塊對圖像并行塊中提取的輸入圖像塊在參考激光散斑圖的 捜索窗中通過捜索匹配方法尋找對應的最優匹配塊，并計算得到該輸入圖像塊與最優匹配 塊之間的偏移量； 步驟4 ;所得到的偏移量根據深度計算公式計算得到該輸入圖像塊中屯、像素對應 的深度值d';并由同一線程塊完成該圖像并行塊中所有輸入圖像塊的深度計算，劃分出的 圖像并行塊通過各自對應的GPU線程塊進行深度計算，進而獲得輸入激光散斑圖像的深度 圖。 本專利技術利用GPU的并行計算實現了激光散斑圖像的深度信息的計算加速，可使智 能設備實時生成高分辨率、高精度的深度圖序列，并可靈活編程實現或移植到不同的硬件 平臺、操作系統上，大幅降低智能設備利用其已有的處理器集成深度感知技術的口檻。采用 本專利技術技術方案的有益效果還將通過W下實施例的闡述而得到具體的體現。【附圖說明】 圖1是捜索并行GPU加速的激光散斑圖像深度感知方法整體流程圖； 圖2是激光散斑圖像分塊示意圖； 圖3是激光散斑圖像全捜索塊匹配方法示意圖； 圖4是捜索并行GPU加速方法原理圖； 圖5是全捜索塊匹配方法進行捜索并行GPU加速的流程圖； 圖6是深度計算方法原理圖。【具體實施方式】 下面結合附圖1至6對本專利技術進行進一步的詳細說明。 圖1示意性圖示了本專利技術捜索并行GPU加速的激光散斑圖像深度感知方法的整體 流程。為了清楚說明，下文中將結合圖2、圖3、圖4、圖5來描述該方法。 步驟1 ;將輸入激光散斑圖像劃分成一定數量和大小的圖像并行塊，按一個GPU線 程塊（由多個線程組成）對應一個圖像并行塊的方式進行劃分和處理。其中輸入激光散斑 圖像由激光散斑投射采集模塊獲得，該模塊由激光散斑投射器和圖像傳感器構成，通過激 光散斑投射器主動投射固定模式的散斑圖形化ttern，由圖像傳感器實時采集散斑圖像序 列。 一個線程塊負責一個圖像并行塊的匹配工作，圖像并行塊之間無數據傳輸。根據 GPU的計算能力，將線程塊數目Block_Num設為MX N，則GPU調用一次內核函數處理MX N個 圖像并行塊。假如輸入激光散斑圖像大小為WXH，如圖2所示，根據Block_Num為MXN，即 劃分出圖像并行塊數目為MXN，則劃分出的圖像并行塊大小為wXh。其中，W = W/M，h = H/No 步驟2 ;GPU線程塊對其對應的圖像并行塊進行自適應預處理。 自適應預處理包括輸入視頻格式轉換（如Bayer、口U601、ITU656、MIPI接口格式 轉換）、色度空間轉換（如RGB轉YUV)、灰度圖像自適應去噪和增強、灰度圖像二值化（0、1 表示，1對應散斑點）等。通過對輸入激光散斑圖像的預處理，使散斑圖像更清晰，減少噪聲 干擾，并實現輸入散斑圖像序列的一致性增強，消除光照影響。 步驟3 ;通過線程塊對圖像并行塊中提取的一定大小的輸入圖像塊在參考激光散 斑圖當前第1頁1 2 本文檔來自技高網...

【技術保護點】
一種搜索并行GPU加速的激光散斑圖像深度感知方法，優選的，包括以下步驟：1)將輸入激光散斑圖像劃分成一定數量和大小的圖像并行塊，按一個GPU線程塊對應一個圖像并行塊的方式進行劃分和處理；2)GPU線程塊對其對應的圖像并行塊進行自適應預處理；3)通過GPU線程塊對圖像并行塊中提取的一定大小的輸入圖像塊在參考激光散斑圖的搜索窗中通過搜索匹配方法尋找對應的最優匹配塊，并計算該輸入圖像塊與最優匹配塊之間的偏移量；4)所述偏移量根據深度計算公式計算得到該輸入圖像塊中心像素對應的深度值，同一線程塊完成該圖像并行塊中所有輸入圖像塊的深度計算，其它圖像并行塊通過各自對應的GPU線程塊并行進行匹配和深度計算，進而獲得輸入激光散斑圖像的深度圖。

【技術特征摘要】

【專利技術屬性】
技術研發人員：葛晨陽，王菁，張晨，楊意，倫建坤，
申請(專利權)人：西安交通大學，
類型：發明
國別省市：陜西;61