利用激光點云輔助的可量測全景影像生成方法技術(shù)

本發(fā)明專利技術(shù)公開了一種利用激光點云輔助的可量測全景影像生成方法，包括：步驟1，將全景影像進行虛擬成像獲得多幅框幅式影像；步驟2，選取初始點對，并初始化各框幅式影像的外方位元素；步驟3，以初始點對中所有激光點到對應(yīng)框幅式影像上的投影誤差的和最小為條件方程，調(diào)整外方位元素初始值，獲得精確的外方位元素值；步驟4，構(gòu)建激光點云的空間索引，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內(nèi)激光點云即全景影像的鄰域點云；步驟5，計算鄰域點云中各激光點的法向量，獲得鄰域點云的特征；步驟6，將鄰域點云的深度和特征投影到全景影像。采用本發(fā)明專利技術(shù)生產(chǎn)的可量測全景影像具有較高精度，可廣泛運用于測量領(lǐng)域及資產(chǎn)調(diào)查。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)屬于計算機視覺及激光點云測量數(shù)據(jù)處理自動化領(lǐng)域，尤其涉及一種利用激光點云輔助的可量測全景影像生成方法。
技術(shù)介紹
車載移動測量系統(tǒng)(mobilemappingsystem，MMS)結(jié)合激光掃描儀、全景相機、高精度定位定姿系統(tǒng)(positionandorientationsystem，POS)等多種優(yōu)異的傳感器，是近年來快速發(fā)展的一種新型集成高效的測量系統(tǒng)。利用該系統(tǒng)可以融合激光點云的幾何屬性及全景影像的光譜屬性，生產(chǎn)具有可量測性的全景影像，用于城市規(guī)劃、道路檢測、市政部件資產(chǎn)普查等。而準確地將激光點云、全景影像數(shù)據(jù)配準以及準確地計算點云特征是生產(chǎn)可量測全景影像的前提。目前，國內(nèi)外一些學者已經(jīng)對上述問題做了一些研究，ZHANGandPLESS（2004）通過棋盤格子標定的方式，將影像與激光點云配準；MEIandRIVES（2006）提出了一種配準柱狀相機和激光點云的方式；曾凡洋（2016）給出了一種基于共線方差的全景與點云配準方式。現(xiàn)有許多全景配準研究主要是在車載掃描儀與車載全景相機間的研究，這類研究往往基于掃描儀與相機之間通過系統(tǒng)標定建立其嚴格幾何關(guān)系的前提之下，而對于非同機采集數(shù)據(jù)，POS初值不準的情況下全景影像與激光點云數(shù)據(jù)的配準研究較少，如果沒有靶標，則無法采用上述標定的方法；而如果采用共線方程的方法，則存在全景影像畸變大，因而，選點時不可選圖像上靠近邊緣的點，且點對選擇不當就會造成誤差很大。對于點云法向量的計算，HoppeandDeRose（1992）假設(shè)點云的采樣平面是局部處處光滑的，這樣對于每一個點都位于一個平面上，對于采樣點p，取以p為中心，k為半徑的鄰域中所有點，將這些點擬合平面，該平面的法向量作為采樣點p的法向量。GrossandPfister（2007）在此基礎(chǔ)上，對采樣點p的k鄰域內(nèi)的每一個點賦予高斯權(quán)重，即離采樣點p越近的點對采樣點p的法向量影響越大。LangeandPolthier（2005）利用主元分析法（PrincipalComponentAnalysis，PCA）計算采樣點p的k鄰域內(nèi)所有點的主成分作為采樣點p的法向量。但是由于激光點云數(shù)據(jù)采集過程中產(chǎn)生的噪聲點影響，法向量計算會有一定的誤差，如何合理的處理噪聲點的影響，是一個需要解決的問題。
技術(shù)實現(xiàn)思路
針對現(xiàn)有技術(shù)存在的不足，本專利技術(shù)提供了一種利用激光點云輔助的可量測全景影像生成方法。本專利技術(shù)方法包括全景影像激光點云配準、點云特征計算及可量測全景影像生成。第一步中，將全景影像和點云配準，即計算全景影像的曝光中心在點云坐標系下的三維坐標以及全景影像的三個角度控制的朝向。第二步中，為處理大規(guī)模點云的計算和揀選，將車載激光點云建立空間索引，并根據(jù)第一步計算出的全景影像曝光中心的位置，選出曝光中心半徑R內(nèi)的點云為后續(xù)處理做準備。第三步中，計算選出的點云中每個點的法向量，再依次遍歷全景影像的每個柵格，求出對應(yīng)點云中點的深度，并將該點的法向量保存，對于全景影像中柵格沒有對應(yīng)三維點的情況，需要通過雙三次內(nèi)插得到該柵格深度。本專利技術(shù)的技術(shù)方案如下：利用激光點云輔助的可量測全景影像生成方法，包括步驟：步驟1，將全景影像沿水平方向劃分為多個部分，分別進行虛擬成像獲得多幅框幅式影像，各框幅式影像像主點對應(yīng)的虛擬光線水平方向均勻分布；沿水平方向?qū)⒖蚍接跋褚来斡洖榭蚍接跋?、框幅式影像1……框幅式影像N-1；步驟2，選取初始點對，并初始化框幅式影像的外方位元素，具體為：各框幅式影像上分別隨機選取角點，所選角點和所選角點在激光點云坐標下對應(yīng)的激光點構(gòu)成初始點對；采用PNP算法計算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空間姿態(tài)關(guān)系，獲得其他框幅式影像的外方位元素初始值；步驟3，基于步驟2所得外方位元素初始值，以初始點對中所有激光點到對應(yīng)框幅式影像上的投影誤差的和最小為條件方程，調(diào)整外方位元素初始值，獲得精確的外方位元素值；步驟4，構(gòu)建激光點云的空間索引，根據(jù)步驟3所得外方位元素中線元素獲得全景影像的曝光中心，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內(nèi)激光點云即全景影像的鄰域點云；步驟5，計算鄰域點云中各激光點的法向量，將各激光點的法向量作為鄰域點云的特征；步驟6，將鄰域點云的深度和特征投影到全景影像，即得到可量測全景影像。步驟1中，將全景影像沿水平方向劃分為6個部分。步驟2中，所述的各框幅式影像上分別隨機選取角點具體為：框幅式影像0上隨機選取4個以上角點；其他框幅式影像上隨機選取2個以上角點。步驟3中，所述的條件方程如下：其中：imgj表示框幅式影像j；pji表示框幅式影像j的初始點對中第i個激光點；Q(imgj,pi)表示pji在imgj上的推測投影點；xji表示框幅式影像j的初始點對中與pji對應(yīng)的角點；d(·)表示推測投影點和xji的平面距離；jm表示框幅式影像j的初始點對的點對數(shù)；vij為系數(shù)，步驟5中，計算鄰域點云中各激光點的法向量，具體為：找激光點的k鄰近點；求k鄰近點的質(zhì)心；計算半正定協(xié)方差矩陣其中，pi表示激光點的第i個鄰近點的坐標，表示質(zhì)心的坐標；分解半正定協(xié)方差矩陣，其最小特征值即激光點的法向量。步驟6中，鄰域點云的深度采用如下方法獲得：遍歷全景影像的各柵格，各柵格對應(yīng)點云中激光點的深度即柵格的深度，所有柵格的深度構(gòu)成鄰域點云的深度。若當前柵格無對應(yīng)點云，通過相鄰柵格的深度內(nèi)插獲得當前柵格的深度。本專利技術(shù)的特點如下：本專利技術(shù)可實現(xiàn)可量測全景影像的生產(chǎn)，其中，設(shè)計了一種全景影像和激光點云配準方法，以實現(xiàn)全景影像和激光點云無靶標情況下的準確配準；完成了大規(guī)模點云索引的生成，方便后續(xù)對點云數(shù)據(jù)及計算及顯示等其他運用的實現(xiàn)；設(shè)計了一種魯棒性PCA點云特征計算方法，降低了點云中點噪聲對點特征計算的影響。采用本專利技術(shù)生產(chǎn)的可量測全景影像具有較高精度，可廣泛運用于測量領(lǐng)域及資產(chǎn)調(diào)查。附圖說明圖1是本專利技術(shù)的具體流程圖；圖2是虛擬成像原理圖；圖3是虛擬成像示例圖，其中，圖（a）為全景影像，圖（b）～（g）為6幅框幅式影像；圖4是實施例中點云索引示例圖，圖（a）和圖（b）分別為不同視角的點云索引截圖；圖5是實施例中點云數(shù)據(jù)在全景影像上的投影示意圖，圖（a）～（f）分別為不同場景下點云數(shù)據(jù)在全景影像上的投影示意圖。具體實施方式本專利技術(shù)可采用計算機軟件方式支持自動運行流程，其流程如圖1所示，包括以下步驟：步驟1：全景影像的虛擬成像。將全景影像按照水平方向劃分成6個部分，虛擬成像得到6個框幅式影像，每張框幅式影像的像主點對應(yīng)的虛擬光線水平均勻分布，每張框幅式影像與第一張框幅式影像相機主軸水平夾角分別為0°、60°、120°、180°、240°、300°，對應(yīng)的框幅式影像序號依次為0、1、2、3、4、5。本實施例中，水平方向劃分為6個部分充分考慮了影像間的重疊關(guān)系以及數(shù)據(jù)冗余度，通過大量實踐經(jīng)驗，劃分為6個部分可相對保證影像的重疊度，也保證了較小的數(shù)據(jù)冗余度。框幅式影像成像原理如圖2，令全景影像的成像中心為Op，令虛擬成像相機內(nèi)方位元素中像主點cx＝cy＝c0，焦距為f＝f0，面陣大小為h*w，外方位元素角元素對應(yīng)的旋轉(zhuǎn)矩陣為Rv，而虛擬成像的曝光中心與全景影像的曝光中心相同，則外方位元素中的本文檔來自技高網(wǎng)...

【技術(shù)保護點】
利用激光點云輔助的可量測全景影像生成方法，其特征是，包括步驟：步驟1，將全景影像沿水平方向劃分為多個部分，分別進行虛擬成像獲得多幅框幅式影像，各框幅式影像像主點對應(yīng)的虛擬光線水平方向均勻分布；沿水平方向?qū)⒖蚍接跋褚来斡洖榭蚍接跋?、框幅式影像1……框幅式影像N?1；步驟2，選取初始點對，并初始化框幅式影像的外方位元素，具體為：各框幅式影像上分別隨機選取角點，所選角點和所選角點在激光點云坐標下對應(yīng)的激光點構(gòu)成初始點對；采用PNP算法計算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空間姿態(tài)關(guān)系，獲得其他框幅式影像的外方位元素初始值；步驟3，基于步驟2所得外方位元素初始值，以初始點對中所有激光點到對應(yīng)框幅式影像上的投影誤差的和最小為條件方程，調(diào)整外方位元素初始值，獲得精確的外方位元素值；步驟4，構(gòu)建激光點云的空間索引，根據(jù)步驟3所得外方位元素中線元素獲得全景影像的曝光中心，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內(nèi)激光點云即全景影像的鄰域點云；步驟5，計算鄰域點云中各激光點的法向量，將各激光點的法向量作為鄰域點云的特征；步驟6，將鄰域點云的深度和特征投影到全景影像，即得到可量測全景影像。...

【技術(shù)特征摘要】
1.利用激光點云輔助的可量測全景影像生成方法，其特征是，包括步驟：步驟1，將全景影像沿水平方向劃分為多個部分，分別進行虛擬成像獲得多幅框幅式影像，各框幅式影像像主點對應(yīng)的虛擬光線水平方向均勻分布；沿水平方向?qū)⒖蚍接跋褚来斡洖榭蚍接跋?、框幅式影像1……框幅式影像N-1；步驟2，選取初始點對，并初始化框幅式影像的外方位元素，具體為：各框幅式影像上分別隨機選取角點，所選角點和所選角點在激光點云坐標下對應(yīng)的激光點構(gòu)成初始點對；采用PNP算法計算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空間姿態(tài)關(guān)系，獲得其他框幅式影像的外方位元素初始值；步驟3，基于步驟2所得外方位元素初始值，以初始點對中所有激光點到對應(yīng)框幅式影像上的投影誤差的和最小為條件方程，調(diào)整外方位元素初始值，獲得精確的外方位元素值；步驟4，構(gòu)建激光點云的空間索引，根據(jù)步驟3所得外方位元素中線元素獲得全景影像的曝光中心，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內(nèi)激光點云即全景影像的鄰域點云；步驟5，計算鄰域點云中各激光點的法向量，將各激光點的法向量作為鄰域點云的特征；步驟6，將鄰域點云的深度和特征投影到全景影像，即得到可量測全景影像。2.如權(quán)利要求1所述的全景影像和激光點云的配準方法，其特征是：步驟1中，將全景影像沿水平方向劃分為6個部分。3.如權(quán)利要求1所述的全景影像和激光點云的配準方法，其特征是：步驟2中，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊必勝，李健平，董震，劉緣，劉洋，
申請(專利權(quán))人：武漢大學，
類型：發(fā)明
國別省市：湖北;42