【技術實現步驟摘要】
本專利技術屬于室內定位，具體涉及一種基于特征一致性的可見光近紅外融合定位方法及系統。
技術介紹
1、經過多年發展，北斗衛星導航系統已成為穩定、可靠的定位解決方案，但在室內場景下，受限于北斗信號遮擋影響，單純依賴北斗無法實現連續、有效的定位，因此，不依賴外界衛星信號的自主定位方法，成為了解決室內問題的主要途徑。而同時定位與建圖（simultaneous?localization?and?mapping,?slam）技術常用于自主定位領域，其通過視覺、激光等傳感器實現感知和定位任務。基于激光的定位方法需要激光雷達，雖然其定位精度更高，但成本高昂且激光雷達體型較大，而基于視覺的定位方法只需要視覺傳感器，其成本低廉，體積小巧，更加具備實用性。
2、現有的視覺定位方法基于可見光圖像，其主要利用特征點匹配方法和光流法進行特征提取跟蹤，如基于orb（oriented?fast?and?rotated?brief，旋轉描述子的朝向角點特征）特征進行特征提取和匹配，以及基于fast（features?from?accelerated?segmenttest，?快速檢測角點）角點和光流法進行特征跟蹤。兩種主流特征跟蹤方法都受可見光圖像成像效果影響，外界光照條件不佳時，圖像質量較差，就難以進行特征跟蹤。如在極端光照如過暗或者過強以及光照變化場景下，可見光圖像會出現對應的過暗或過曝，導致無法進行特征提取和跟蹤，從而無法進行定位。為解決對可見光的依賴，非可見光圖像開始用于視覺定位。
3、現有的基于非可見光圖像的視覺定位方法，其主要
4、在室內場景中，由于北斗信號受遮擋嚴重，大部分北斗定位結果會出現嚴重偏移，傳統基于時間連續、頻率穩定的北斗位置點校準慣性pdr（pedestrian?dead?reckoning，行人航位遞推）定位結果的方法將會嚴重失效。基于視覺的自主定位方法可以通過特征跟蹤方法完成定位，但在極端光照以及光照復雜變化場景下，可見光圖像失效無法進行特征跟蹤。同時，當前非可見光視覺定位依賴于長波紅外圖像，不僅圖像質量差，還需要引入額外的傳感器，增加了系統的復雜性；由于長波紅外和可見光頻段差異大，成像性質差異巨大，因此難以進行有效的融合從而面對光照變化場景。
技術實現思路
1、為解決上述技術問題，本專利技術提供一種基于特征一致性的可見光近紅外融合定位方法及系統，引入主動光源成像的非可見光頻段的近紅外圖像，在可見光圖像失效下進行特征跟蹤，實現極端光照環境下的視覺自主定位；利用深度相機的成像原理，根據單一傳感器同時獲取近紅外圖像和可見光圖像，根據兩種視覺圖像在不同光照下完成雙光定位系統；根據近紅外圖像和可見光圖像頻段相鄰的性質，提出基于特征一致性的跨模態特征關聯方法，從而將可見光圖像和近紅外圖像進行特征級別的關聯，完成不同光照下不同圖像的連續特征跟蹤，實現面對復雜光照場景的魯棒視覺自主定位。
2、為達到上述目的，本專利技術采用如下的技術方案：
3、一種基于特征一致性的可見光近紅外融合定位方法，包括如下步驟：
4、步驟1、基于rgb-d相機，同時獲取可見光圖像和原始近紅外圖像；rgb-d表示彩色-深度；
5、步驟2、根據標定板完成先驗標定，獲得近紅外圖像到可見光圖像的外參，并根據外參，將獲取的每一幀近紅外圖像配準到可見光圖像，獲得與可見光圖像對齊的近紅外圖像；
6、步驟3、針對與可見光圖像對齊的近紅外圖像，基于二值化掩碼，快速檢測與去除近紅外圖像的空洞噪聲，并進行伽馬矯正，獲得完成去噪和增強的近紅外圖像；
7、步驟4、對于當前輸入圖像進行基于深度學習的特征提取，根據當前輸入圖像源類型，設定特征提取閾值：近紅外圖像選用低閾值，可見光圖像選用高閾值，獲得當前幀圖像特征點集合；
8、步驟5、根據可見光圖像，計算平均像素亮度以及直方圖均勻性u，判斷當前外界光照條件是否理想；
9、步驟6、根據平滑切換原則，選擇當前輸入圖像：光照理想時，輸入可見光圖像，光照不理想時，輸入完成去噪和增強的近紅外圖像；
10、步驟7、根據深度學習特征匹配方法，對當前幀圖像特征點集合的圖像和上一幀圖像特征點集合的圖像進行特征匹配，當兩幀圖像為同一模態圖像類型時，實現單模態特征跟蹤，當兩幀圖像為不同模態圖像類型時，實現雙模態特征關聯；
11、步驟8、根據特征跟蹤結果，進行空間地圖點三角化，并進行當前相機位姿的解算，實現自主定位。
12、本專利技術還提供一種基于特征一致性的可見光近紅外融合定位系統，包括如下模塊：
13、圖像獲取模塊，基于rgb-d相機，同時獲取可見光圖像和原始近紅外圖像；rgb-d表示彩色-深度；
14、配準模塊，根據標定板完成先驗標定，獲得近紅外圖像到可見光圖像的外參，并根據外參，將獲取的每一幀近紅外圖像配準到可見光圖像，獲得與可見光圖像對齊的近紅外圖像；
15、去噪增強模塊，針對與可見光圖像對齊的近紅外圖像，基于二值化掩碼，快速檢測與去除近紅外圖像的空洞噪聲，并進行伽馬矯正，獲得完成去噪和增強的近紅外圖像；
16、集合獲取模塊，對于當前輸入圖像進行基于深度學習的特征提取，根據當前輸入圖像源類型，設定特征提取閾值：近紅外圖像選用低閾值，可見光圖像選用高閾值，獲得當前幀圖像特征點集合；
17、光照判斷模塊，根據可見光圖像，計算平均像素亮度以及直方圖均勻性u，判斷當前外界光照條件是否理想；
18、平滑切換模塊，根據平滑切換原則，選擇當前輸入圖像：光照理想時，輸入可見光圖像，光照不理想時，輸入完成去噪和增強的近紅外圖像；
19、關聯模塊，根據深度學習特征匹配方法，對當前幀圖像特征點集合的圖像和上一幀圖像特征點集合的圖像進行特征匹配，當兩幀圖像為同一模態圖像類型時，實現單模態特征跟蹤，當兩幀圖像為不同模態圖像類型時，實現雙模態特征關聯；
20、定位模塊，根據特征跟蹤結果，進行空間地圖點三角化，并進行當前相機位姿的解算，實現自主定位。
21、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述的一種基于特征一致性的可見光近紅外融合定位方法的步驟。
22、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述的一種基于特征一致性的可見光近紅外融合定位方法的步驟。
23、有益效果：
24、1、相較于現有可見光視覺室內定位方法在極端光照環境下可見光失本文檔來自技高網...
【技術保護點】
1.一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟1包括：RGB-D相機分為依賴于外界可見光的RGB圖像成像模塊和通過搭載主動近紅外光源、接收主動發射的近紅外光線而成像的近紅外成像模塊，兩者集成在同一個傳感器中，捕捉的場景結構具備特征一致性；通過該傳感器同時獲取可見光圖像和原始近紅外圖像。
3.根據權利要求2所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟2包括：
4.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟3包括：
5.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟4包括：
6.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟5包括：
7.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟6包括：
9.根據權利要求8所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟8包括：
10.一種基于特征一致性的可見光近紅外融合定位系統，其特征在于，包括如下模塊：
11.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至9中任一項所述的一種基于特征一致性的可見光近紅外融合定位方法的步驟。
12.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1至9中任一項所述的一種基于特征一致性的可見光近紅外融合定位方法的步驟。
...【技術特征摘要】
1.一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟1包括：rgb-d相機分為依賴于外界可見光的rgb圖像成像模塊和通過搭載主動近紅外光源、接收主動發射的近紅外光線而成像的近紅外成像模塊，兩者集成在同一個傳感器中，捕捉的場景結構具備特征一致性；通過該傳感器同時獲取可見光圖像和原始近紅外圖像。
3.根據權利要求2所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟2包括：
4.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟3包括：
5.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步驟4包括：
6.根據權利要求1所述的一種基于特征一致性的可見光近紅外融合定位方法，其特征在于，所述步...
【專利技術屬性】
技術研發人員：張文超，劉曉宙，魏東巖，陳嘉偉，曹磊，袁洪，
申請(專利權)人：中國科學院空天信息創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。