一種基于雙目立體視覺的立體匹配方法組成比例

本發明專利技術是一種基于雙目立體視覺的立體匹配方法，該方法包括構建高斯金字塔、匹配代價計算和代價聚合、匹配代價融合、計算視差、視差圖修復及空洞填補、視差精細化六個階段，在代價聚合階段加入拉普拉斯金字塔變換，在視差圖修復和空洞填補階段采用了一種基于邊緣保護的插值算法，在視差精細化階段加入基于加權聯合雙邊濾波的視差精細化方法，獲得高精度的視差圖。本發明專利技術計算量適中，融合不同尺度下的匹配結果，在代價聚合階段和視差精細化階段進行了改進，能夠獲得更好的視差圖。并且對于光照等外部噪音具有一定的魯棒性。

【技術實現步驟摘要】

本專利技術涉及一種基于雙目立體視覺的立體匹配方法，是一種基于雙目立體視覺、通過對圖像對立體匹配計算深度的方法，屬于計算機視覺領域。立體匹配是通過查找不同視角拍攝的兩幅或者多幅同一場景不同圖像間的匹配像素點，然后將匹配像素點之間的2D位移差(也叫視差disparity)轉換為3D深度，從而估算出場景的一個3D模型。立體匹配廣泛應用于虛擬現實、機器人導航、3D場景繪制與重建、大型機械姿態感知等領域。
技術介紹
美國麻省理工學院(MIT)人工智能實驗室的D.Marr教授提出一種成功應用在雙目匹配上的視覺計算理論，D.Marr教授通過2張有視差的平面數字圖像獲得有深度的立體圖形，創造性地提出了雙目圖像匹配的理論基礎。Tomasi，Kansde利用正交投影模型作為攝像機成像模型，其攝像機運動和三維結構信息是由仿射分解的方法得出的，他們研制的系統為了解決特征點匹配問題利用了基于光流的跟蹤技術，因為只有在物體尺寸遠小于物體深度時，正交投影模型才成立，所以該方法有一定局限性。近幾年來，國內學者在雙目立體視覺匹配方面進行了大量的研究，中科院自動化研究所的雷成，開發了CVSuite軟件，實現了特征點提取、立體匹配、攝像機自標定和三維顯示。中科院沈陽自動化所的機器人視覺研究組的鐘云德，采用了一種半稠密匹配方法進行雙目圖像的立體匹配，該方法比較好地實現雙目立體匹配，但匹配過程復雜且匹配時間響應增大。清華大學的王磊提出了基于平面的攝影變換和遺傳算法的匹配算法，該方法使用的是平面投影變換，所以在使用過程中有旋轉而不能平移。傳統的匹配算法采用了基于特征的匹配算法(Feature-matchingAlgorithm)和基于區域的匹配算法(Area-matchingAlgorithm)。基于特征的立體匹配算法要以提取特征信息為前提，雖然易于實現，但由于所能提取的特征點個數非常有限，特征提取的方法直接影響算法的好壞，基于特征的匹配算法匹配誤差較大，只能獲得稀疏的視差圖，不能應用于要求較高的場合。傳統的區域匹配算法是以固定的窗口為模板，比較兩幅圖像的相似度，相似度最高的則為實現了匹配，所以該算法能夠獲得稠密的視差圖，但窗口大小的選擇則成為了一個重要問題，窗口選擇太大，則相當于一個均值濾波器，往往會損失邊緣信息，窗口選擇太小，受噪聲影響的程度就越大。阻礙立體匹配正確率的因素有許多，其中最主要的是噪聲問題、視差不連續問題、弱紋理和重復紋理問題，歸結如下：(1)光學失真和噪聲(亮度、色調、飽和度等失衡)：立體匹配研究中無論是使用自己獲取的圖像還是標準圖像庫中的圖像，光學失真和噪聲都是不可避免的問題。它們是由攝像機等設備和環境等客觀因素造成的，與算法本身關系不大，但是在處理過程中必不可少的會受到亮度、色調、飽和度等失衡帶來的干擾。(2)視差不連續問題：不同物體相交的輪廓區域視差值都是不連續的，在視差不連續區域紋理信息特別豐富，這無疑增加了立體匹配的難度，所以在進行視差估計時，需要考慮到這一不連續的特性，同時視差不連續區域一般都是和遮擋區域緊靠在一起的，所以在計算此處視差時特別容易出現錯誤匹配。(3)弱紋理和重復紋理問題：對于這些區域在尋找匹配點時會發現有不止一個像素點與其對應，想要在這些區域能夠找到最合適的視差，就需要找到足夠多的特征來進行區別，而如何才能找到這些特征量卻不是一件容易的事情。正是由于立體匹配存在的這些問題，才使得它一直成為研究人員關心的重點。隨著科學技術的快速發展，對于解決立體匹配這一問題的渴望也變得越來越迫切，各國科學家也都在努力尋求一種高效快速的方法來突破這一瓶頸。
技術實現思路
技術問題：為解決上述問題，本專利技術提供一種基于雙目立體視覺的立體匹配方法，在代價聚合階段加入拉普拉斯金字塔變換，在視差圖修復和空洞填補階段采用了一種基于邊緣保護的插值算法，在視差精細化階段加入基于加權聯合雙邊濾波的視差精細化方法，獲得高精度的視差圖。本專利技術計算量適中，融合不同尺度下的匹配結果，在代價聚合階段和視差精細化階段進行了改進，能夠獲得更好的視差圖。并且對于光照等外部噪音具有一定的魯棒性。技術方案：本專利技術的一種基于雙目立體視覺的立體匹配方法包括構建高斯金字塔、匹配代價計算和代價聚合、匹配代價融合、計算視差、視差圖修復及空洞填補、視差精細化六個階段，1)構建高斯金字塔階段：在立體匹配圖像對上分別構建多層高斯金字塔，隨著分辨率的降低，高斯金字塔低分辨率分解層上的最大視差也相應減小；2)匹配代價計算和代價聚合：在高斯金字塔各分解層下分別進行匹配代價計算和代價聚合操作得到各個尺度下的匹配代價卷，引入拉普拉斯金字塔變換，在融合高斯金字塔各個分解層上的匹配代價之前進行拉普拉斯上采樣，使其分辨率與原圖像一致；3)匹配代價融合：融合各個尺度分辨率下的匹配代價卷costvolume，得到最終與原圖像分辨率一致的匹配代價卷；4)視差計算：在最終匹配代價卷上使用WTA(勝者為王)算法，從匹配代價卷的多個匹配代價圖中，取每個像素點的最小匹配代價所對應的視差作為該像素點的視差，此時匹配代價最小，兩幅圖像對應視差下的像素點對最相似匹配，計算出每個像素點的視差即構成視差圖；5)視差圖修復及空洞填補：分別以左右圖像為參考圖像按4)分別計算出左右視差圖，保留左右視差圖原有的空洞區域，對于左右視差圖相差很大的區域重置為空洞，形成一張帶有空洞的視差圖，采用一種基于邊緣保護的插值算法進行空洞填補；6)視差精細化：對初始視差圖使用基于加權聯合雙邊濾波的視差精細化方法進行精細化，去除視差圖中的噪聲，以及物體邊緣輪廓的模糊，得到質量更好的視差圖。其中：所述步驟2)，引入拉普拉斯金字塔變換，在融合高斯金字塔各個分解層上的匹配代價之前進行拉普拉斯上采樣，具體步驟包括：2.1)把低分辨率高斯金字塔分解層圖像通過擴大算子進行擴充放大，其中擴大算子是通過對該分解層進行插值實現的；2.2)通過求解高斯金字塔中每兩層圖像之間的差異得到圖像的拉普拉斯金字塔；2.3)將原立體圖像對使用高斯金字塔變換分解到多個高斯分解層；2.4)在每個分解層下計算匹配代價并獨立進行代價聚合，得到多個匹配代價卷；2.5)在低分辨率高斯分解層上的匹配代價卷上進行拉普拉斯上采樣，使低分辨率高斯分解層上的匹配代價卷通過多次拉普拉斯上采樣后分辨率和原圖像一樣，得到最后的匹配代價向量。所述的步驟5)，采用基于邊緣保護的插值算法進行空洞填補，具體步驟包括：5.1)提取左圖的邊緣輪廓信息，采用基于森林SED算法、GPB算法、candy算法或圖像梯度算法；邊緣輪廓之內的部分屬于同一個物體，同一個物體的深度相近；5.2)計算兩個像素之間的代價距離：在兩個像素之間所有可能的路徑上，累計經過每個像素的代價和作為這條路徑的代價，取所有路徑代價中的最小值作為兩個像素之間的代價距離；而經過每個像素點的代價與輪廓邊界信息相對應，在邊緣輪廓之內像素點之間代價距離小，而與邊緣輪廓之外的其他像素點之間的代價距離大；5.3)按照5.2)所示方法計算代價距離，對于空洞中的邊緣像素點，找到多個與它代價距離最近且已知視差的像素點；5.4)對于5.3)得到的多個像素點，累計它們的視差與權值的乘積的和，并取平均值得到最后的視差，權值通過自變量為代價距離的高斯函數計算。本文檔來自技高網...

【技術保護點】
一種基于雙目立體視覺的立體匹配方法，其特征在于該方法包括構建高斯金字塔、匹配代價計算和代價聚合、匹配代價融合、計算視差、視差圖修復及空洞填補、視差精細化六個階段，1)構建高斯金字塔階段：在立體匹配圖像對上分別構建多層高斯金字塔，隨著分辨率的降低，高斯金字塔低分辨率分解層上的最大視差也相應減小；2)匹配代價計算和代價聚合：在高斯金字塔各分解層下分別進行匹配代價計算和代價聚合操作得到各個尺度下的匹配代價卷，引入拉普拉斯金字塔變換，在融合高斯金字塔各個分解層上的匹配代價之前進行拉普拉斯上采樣，使其分辨率與原圖像一致；3)匹配代價融合：融合各個尺度分辨率下的匹配代價卷cost?volume，得到最終與原圖像分辨率一致的匹配代價卷；4)視差計算：在最終匹配代價卷上使用勝者為王算法WTA，從匹配代價卷的多個匹配代價圖中，取每個像素點的最小匹配代價所對應的視差作為該像素點的視差，此時匹配代價最小，兩幅圖像對應視差下的像素點對最相似匹配，計算出每個像素點的視差即構成視差圖；5)視差圖修復及空洞填補：分別以左右圖像為參考圖像按4)分別計算出左右兩幅視差圖，保留左右視差圖原有的空洞區域，對于左右視差圖相差很大的區域重置為空洞，形成一張帶有空洞的視差圖，采用一種基于邊緣保護的插值算法進行空洞填補；6)視差精細化：對初始視差圖使用基于加權聯合雙邊濾波的視差精細化方法進行精細化，去除視差圖中的噪聲，以及物體邊緣輪廓的模糊，得到質量更好的視差圖。...

【技術特征摘要】
1.一種基于雙目立體視覺的立體匹配方法，其特征在于該方法包括構建高斯金字塔、匹配代價計算和代價聚合、匹配代價融合、計算視差、視差圖修復及空洞填補、視差精細化六個階段，1)構建高斯金字塔階段：在立體匹配圖像對上分別構建多層高斯金字塔，隨著分辨率的降低，高斯金字塔低分辨率分解層上的最大視差也相應減小；2)匹配代價計算和代價聚合：在高斯金字塔各分解層下分別進行匹配代價計算和代價聚合操作得到各個尺度下的匹配代價卷，引入拉普拉斯金字塔變換，在融合高斯金字塔各個分解層上的匹配代價之前進行拉普拉斯上采樣，使其分辨率與原圖像一致；3)匹配代價融合：融合各個尺度分辨率下的匹配代價卷costvolume，得到最終與原圖像分辨率一致的匹配代價卷；4)視差計算：在最終匹配代價卷上使用勝者為王算法WTA，從匹配代價卷的多個匹配代價圖中，取每個像素點的最小匹配代價所對應的視差作為該像素點的視差，此時匹配代價最小，兩幅圖像對應視差下的像素點對最相似匹配，計算出每個像素點的視差即構成視差圖；5)視差圖修復及空洞填補：分別以左右圖像為參考圖像按4)分別計算出左右兩幅視差圖，保留左右視差圖原有的空洞區域，對于左右視差圖相差很大的區域重置為空洞，形成一張帶有空洞的視差圖，采用一種基于邊緣保護的插值算法進行空洞填補；6)視差精細化：對初始視差圖使用基于加權聯合雙邊濾波的視差精細化方法進行精細化，去除視差圖中的噪聲，以及物體邊緣輪廓的模糊，得到質量更好的視差圖。2.根據權利要求1所述的基于雙目立體視覺的立體匹配方法，其特征在于所述步驟2)，引入拉普拉斯金字塔變換，在融合高斯金字塔各個分解層上的匹配代價之前進行拉普拉斯上采樣，具體步驟包括：2.1)把低分辨率高斯金字塔分解層圖像通過擴大算子進行擴充放大，其中擴大算子是通過對該分解層進行插值實現的；2.2)通過求解高斯金字塔中每兩層圖像之間的差異得到圖像的拉普拉斯金字塔；2.3)將原立體圖像對使用高斯金字塔變換分解到多個高斯分解層；2.4)在每個分解層下計算匹配代價并獨立進行代價聚合，得到多個匹配代價卷；2.5)在低分辨率高斯分解層上的匹配代價卷上進行拉普拉斯上采樣，使...

【專利技術屬性】
技術研發人員：姚莉，劉祖奎，王秉鳳，
申請(專利權)人：東南大學，
類型：發明
國別省市：江蘇;32