【技術實現步驟摘要】
本專利技術涉及一種基于局部特征雙目視覺立體匹配方法，屬于圖像處理領域。
技術介紹
1、雙目立體視覺立體匹配的主要流程包括特征提取、匹配代價計算、代價聚合、匹配點選擇和視差計算等一系列直接影響了三維重建和深度估計的結果質量和實時性的步驟。再通過視差優化就是通過成本聚合、視差初始化、視差平滑化、視差精化等初期視差圖的步驟，得到更加準確和連續的深度圖，從而提高三維重建和目標識別等應用的精度和穩定性。
2、目前，常用的sift、surf和orb。其中，sift是一種浮點型的尺度不變特征匹配算法，具有尺度不變性和描述符魯棒性。導致其計算復雜度較高，匹配過程耗時較長。surf算法在sift算法的基礎上，使用了更快的尺度空間極值點檢測方法，可以將描述符從128維降低到64維，以提高匹配效率。然而，盡管有這些改進，實時性仍然存在問題，同時匹配正確率也不高。而orb是一種具有旋轉不變性的特征點提取算法，采用二進制描述向量和漢明距離實現圖像快速匹配，但是區分性普遍較弱，導致特征點匹配正確率下降。
3、對于局部特征點立體匹配只能獲得稀疏的匹配點對，不能直接生成有效的視差圖。無法獲得有效的圖片信息，目前常用的區域生長稠密化，計算過于復雜，耗時過長，通過稠密化的初始視差圖還需要進一步的視差優化，得到更加準確的視差圖。
技術實現思路
1、本專利技術的目的在于公開一種基于局部特征雙目視覺立體匹配方法，使用增強特征點的魯棒性再結合利用貝葉斯推理的方式改善了弱紋理區和深度不連續處的匹配效果。
2、在根據本公開的實施例中，所述基于局部特征雙目視覺立體匹配方法包括以下步驟：
3、步驟1：構建surf描述子和clbp描述子，將surf描述子和clbp描述子結合成新的特征點向量；
4、步驟2：根據nndr將步驟1所獲得的特征點向量進行匹配得到初始匹配點；
5、步驟3：通過soble濾波篩選步驟2的初始匹配點，選出較高置信度的匹配點，根據貝葉斯推理的方式，在給定初始特征點集和右視圖-即觀測量-的情況下求解左視差圖的后驗概率密度，然后通過map的方法來估計視差，得到初始視差圖；
6、步驟4：利用鄰域視差估計算法、中值濾波和左右一致性檢驗優化步驟3形成的視差圖
7、進一步的技術方案，步驟1具體包括以下步驟：
8、步驟1.1：將圖像塊分解為多個haar小波響應圖，得到每個小波響應圖的局部特征信息。并將這些響應圖合并，生成surf描述子。再通過surf算法中hessian矩陣計算得到特征點的大小和方向，surf描述子的公式如下：
9、
10、其中，lxx(x0，s)是高斯二階微分在點x0處與圖像m的卷積，其他參數表示含義與lxx(x0，s)相似。
11、步驟1.2：clbp描述子利用局部二值模式的統計信息來描述圖像的紋理結構，生成一個二進制編碼，通過將圖像的每個像素點與其周圍的鄰域像素點進行比較，可以增強對圖像紋理特征的捕捉能力，從而提高圖像特征的堅固性和表現力。將1.1得到的surf特征點k為圓心，其半徑r的圓周上等間隔地采樣p個像素點，將p個采樣點的灰度值與中心點k的灰度值進行比較，并根據比較結果進行編碼。clbp描述子的公式如下：
12、
13、其中surf描述子為中心點，r為半徑，中心點的灰度值為gc，其鄰域圓上p個像素點的灰度值分別為gp，s為符號函數，該函數的作用是將像素值的差分結果進行二值化處理。
14、步驟1.3：將surf特征點和clbp描述子結合起來，用新的特征向量來描述特征點。surf描述子和clbp描述子結合的公式如下：
15、d{surf-clbp}(x，y，sa)＝[clbp(x，y)，g(x，y，sa)]
16、其中，(x，y)表示像素p的位置，sa表示高斯核的標準差，g(x，y，sa)表示在(x，y)處的圖像通過尺度sa下的高斯濾波后得到的梯度直方圖描述子。
17、進一步的技術方案，步驟2是通過比較最近鄰點和次近鄰點之間的距離，來評估最近鄰點的可靠性，它考慮了最近鄰點和次近鄰點之間的距離關系。從而提高特征點匹配的準確性，步驟2根據nndr將步驟1所獲得的特征點向量進行匹配得到初始匹配點，nndr公式如下：
18、
19、其中，nn(p)表示p的最近鄰距離，nnd(p)表示p的次近鄰距離。
20、進一步的技術方案，步驟3具體包括以下步驟：
21、步驟3.1：將特征匹配后的準確稀疏點經過sobel濾波篩選出較高置信度的匹配點作為初始稠密點，以左圖為參考圖，圖中的的視差為待求解的隨機變量，其概率生成模型公式如下：
22、
23、其中，s＝(s1，s2，…，sm)為初始特征點集合，每個初始點為sm＝(um，vm，dm)，其中dm為(um，vm)點對應的視差值，將左圖作為參考圖，o＝(o1，o2，...，on)表示觀測點的集合，每個觀測點表示為on＝(un，vn，fn)，令和表示左右圖像中對應的像素點。
24、步驟3.2：根據概率生成模型，通過給定的步驟3.1的初始點集合和左圖的像素點信息，得到隨機的左圖像素點視差值，再根據視差值和左圖的像素點信息可得右圖的像素點信息，利用貝葉斯推理的方式，在給定初始點集和右視圖-即觀測量-的情況下求解左視差圖的后驗概率密度，然后通過map的方法來估計視差公式如下：
25、
26、進一步的技術方案，步驟4具體包括以下步驟：
27、步驟4.1：鄰域視差估計算法是通過在四鄰域方向上搜索像素點，找到值不為零且距離最近的像素點來填充遮擋和空洞區域。具體來說，算法記錄此類像素內的最小值，并將其作為中心被遮擋點的像素值。
28、步驟4.2：左右一致性檢驗是通過對比左右視差圖之間的差異，可以發現可能存在的錯誤和不一致性。基于這些發現，視差圖的質量和精確度可以通過修正不一致的像素點來進一步提升。
29、步驟4.3：將處理后的視差圖進行連通域噪聲剔除、中值濾波和自適應中值濾波技術來進一步減少噪聲。
30、本專利技術提供的一種基于局部特征雙目視覺立體匹配方法，具有以下有益效果：
31、1)本專利技術是一種面局部特征點立體匹配算法，先利用surf算法的盒狀濾波器和積分圖像實現快速的特征點提取和描述符計算，以保證匹配速度。并引入clbp描述子，作為提取紋理特征的方法。clbp描述子具有旋轉不變性和尺度不變性，能夠在圖像的不同位置和尺度上提取相似的紋理特征，其特性使得描述子能夠增強特征點的魯棒性。
32、2)本專利技術采用了nndr的匹配策略，對構建的特征點向量進行匹配，得到初始的匹配點。nndr用于評估特征點之間的相似性，通過比較最近鄰和次近鄰之間的距離，來確定是否進行匹配，由于特征點向量的構建和匹配過程相對高效，該方法在保持匹配速度的同時，具有較高的匹配正確本文檔來自技高網...
【技術保護點】
1.一種基于局部特征雙目視覺立體匹配方法，所述方法包括以下步驟：
2.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，所述的步驟1具體包括以下步驟：
3.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，通過比較最近鄰點和次近鄰點之間的距離，來評估最近鄰點的可靠性，它考慮了最近鄰點和次近鄰點之間的距離關系。從而提高特征點匹配的準確性。所述的步驟2中根據NNDR將特征點向量進行匹配得到初始匹配點的過程為初始特征點的匹配，NNDR公式如下：
4.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，所述的步驟3具體包括以下步驟：
5.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，所述的步驟4具體包括以下步驟：
【技術特征摘要】
1.一種基于局部特征雙目視覺立體匹配方法，所述方法包括以下步驟：
2.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，所述的步驟1具體包括以下步驟：
3.根據權利要求1所述的基于局部特征雙目視覺立體匹配方法，其特征在于，通過比較最近鄰點和次近鄰點之間的距離，來評估最近鄰點的可靠性，它考慮了最近鄰點和次近鄰點之間的距離關系...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。