【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像處理領(lǐng)域，具體涉及一種低光照弱紋理環(huán)境下快速特征提取匹配方法及系統(tǒng)。
技術(shù)介紹
1、特征點(diǎn)提取是計(jì)算機(jī)視覺領(lǐng)域中重要的任務(wù)，不論是在vr/ar，還是slam/三維重建中的視覺定位等任務(wù)，都是基于準(zhǔn)確穩(wěn)定快速的特征點(diǎn)提取以及特征匹配來完成的。快速準(zhǔn)確的特征提取是目前研究的熱點(diǎn)，是實(shí)現(xiàn)下游視覺人物的基礎(chǔ)。而實(shí)際場景中光照變化劇烈、紋理特征變化不一等特點(diǎn)，對于特征點(diǎn)提取是重要的挑戰(zhàn)。
2、傳統(tǒng)的圖像特征點(diǎn)提取與匹配方法依賴于手工設(shè)計(jì)的特征描述子，提取圖像中梯度變化較為劇烈的像素點(diǎn)，例如圖像的角點(diǎn)、邊緣點(diǎn)等，這些可以表示圖像明顯標(biāo)志，如sift、surf等方法，這些方法雖然具有對圖像的旋轉(zhuǎn)和尺度變化具有不變性，能夠適應(yīng)大部分場景，但在復(fù)雜環(huán)境和光照變化下表現(xiàn)不佳，具有對光照變化劇烈場景失效、提取效率低、匹配不準(zhǔn)確等缺點(diǎn)。
3、近年來隨著深度學(xué)習(xí)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的特征提取算法，取得了重要的突破。其中，以superpoint方法為主流的基于深度學(xué)習(xí)的特征點(diǎn)檢測方法，但大多數(shù)方法仍依賴于大量標(biāo)注數(shù)據(jù)，且難以適應(yīng)不同尺度和光照條件的變化，泛化能力較弱，同時(shí)在檢測和匹配精度上仍然沒有超過傳統(tǒng)的sift算法。因此，開發(fā)一種能夠自適應(yīng)學(xué)習(xí)圖像特征、具有強(qiáng)魯棒性和泛化能力的特征點(diǎn)提取與匹配方法顯得尤為重要。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種低光照弱紋理環(huán)境下快速特征提取匹配方法及系統(tǒng)，解決現(xiàn)有特征提取和匹配方法的場景適應(yīng)能力差、檢測精度不高以及數(shù)
2、實(shí)現(xiàn)本專利技術(shù)目的的技術(shù)解決方案為：
3、一種低光照弱紋理環(huán)境下快速特征提取匹配方法，包括：
4、步驟1，對未標(biāo)注圖像數(shù)據(jù)進(jìn)行預(yù)處理，構(gòu)建未標(biāo)注的數(shù)據(jù)集；
5、步驟2，構(gòu)建圖像特征提取模型，基于數(shù)據(jù)集，采用自監(jiān)督訓(xùn)練機(jī)制對圖像特征提取模型進(jìn)行迭代優(yōu)化訓(xùn)練；
6、步驟3，將采集的兩幅圖像數(shù)據(jù)輸入到訓(xùn)練好的特征提取模型，對特征提取模型的輸出剔除誤匹配點(diǎn)，獲取匹配的特征點(diǎn)集合。
7、進(jìn)一步地，所述圖像特征提取模型包括多尺度卷積層、特征金字塔網(wǎng)絡(luò)、特征點(diǎn)提取模塊和特征匹配模塊，所述特征匹配模塊采用不同尺度的卷積提取多層次特征信息，所述特征金字塔網(wǎng)絡(luò)用于將提取的多層次特征信息進(jìn)行融合，輸出融合的特征圖，所述特征點(diǎn)提取模塊用于提取特征圖的特征點(diǎn)，特征匹配模塊結(jié)合自監(jiān)督訓(xùn)練機(jī)制的約束，剔除不滿足約束的特征點(diǎn)匹配對，得到最小化光度誤差優(yōu)化匹配對。
8、進(jìn)一步地，所述多尺度卷積層包括三種不同尺度的卷積層，每層包括卷積層、歸一化、激活函數(shù)以及殘差連接，輸出三種不同尺度的特征圖。
9、進(jìn)一步地，所述特征金字塔網(wǎng)絡(luò)通過上采樣和下采樣操作將不同尺度的特征圖進(jìn)行融合，并通過全連接層和池化層輸出融合的特征圖。
10、進(jìn)一步地，所述特征點(diǎn)提取模塊采用非極大值抑制、閾值分割方法提取出特征圖中的特征點(diǎn)。
11、進(jìn)一步地，采用自監(jiān)督訓(xùn)練機(jī)制對圖像特征提取模型進(jìn)行迭代優(yōu)化訓(xùn)練時(shí)，包括：將圖像通過圖像金字塔生成不同分辨率的圖像，然后對圖像進(jìn)行自適應(yīng)旋轉(zhuǎn)平移變換，判斷變換前和變換后的圖像是否滿足設(shè)計(jì)的約束條件，如果滿足，將變換前和變換后的圖像輸入到圖像特征提取模型，以設(shè)計(jì)的光度誤差函數(shù)最小化作為訓(xùn)練優(yōu)化目標(biāo)，訓(xùn)練圖像特征提取模型。
12、進(jìn)一步地，自監(jiān)督訓(xùn)練機(jī)制的約束設(shè)計(jì)為：
13、
14、其中，為距離，為角度，、分別為變換前和變換后的圖像坐標(biāo)。
15、進(jìn)一步地，設(shè)計(jì)的光度誤差函數(shù)為：
16、
17、其中，是特征點(diǎn)周圍窗口大小，是特征點(diǎn)窗口內(nèi)所有像素，、分別為變換前和變換后的圖像坐標(biāo)，i和j表示距離特征點(diǎn)的x方向和y方向的距離，、分別表示變換前和變換后的圖像對應(yīng)像素點(diǎn)的灰度值。
18、進(jìn)一步地，對未標(biāo)注圖像數(shù)據(jù)進(jìn)行預(yù)處理，具體包括：
19、步驟1-1，采用高斯濾波的方式對圖像數(shù)據(jù)去噪，得到：
20、
21、其中，是高斯分布的標(biāo)準(zhǔn)差，為圖像的橫、縱坐標(biāo)；
22、步驟1-2，采用直方圖均衡化方法對圖像進(jìn)行灰度化處理，即，
23、
24、其中，表示灰度范圍，為圖像的像素點(diǎn)數(shù)量,為灰度為的像素點(diǎn)數(shù)量；
25、步驟1-3，采用雙線性插值方法進(jìn)行圖像尺寸調(diào)整。
26、一種低光照弱紋理環(huán)境下快速特征提取匹配系統(tǒng)，包括：
27、數(shù)據(jù)集構(gòu)建單元，對未標(biāo)注圖像數(shù)據(jù)進(jìn)行預(yù)處理，構(gòu)建未標(biāo)注的數(shù)據(jù)集；
28、圖像特征提取模型構(gòu)建及訓(xùn)練單元，構(gòu)建圖像特征提取模型，基于數(shù)據(jù)集，采用自監(jiān)督訓(xùn)練機(jī)制對圖像特征提取模型進(jìn)行迭代優(yōu)化訓(xùn)練；
29、特征點(diǎn)匹配單元，通過訓(xùn)練好的特征提取模型，對采集的兩幅圖像數(shù)據(jù)進(jìn)行特征提取匹配，剔除誤匹配點(diǎn)，獲取匹配的特征點(diǎn)集合。
30、與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果為：
31、1)本專利技術(shù)利用未標(biāo)注圖像數(shù)據(jù)，通過圖像變換（如旋轉(zhuǎn)、縮放、平移等）生成正負(fù)樣本對，利用構(gòu)建的光度一致性約束（即變換前后圖像特征點(diǎn)應(yīng)保持一致）和幾何一致性約束（即變換前后圖像特征點(diǎn)之間的幾何關(guān)系應(yīng)保持一致）來優(yōu)化訓(xùn)練圖像特征提取模型，實(shí)現(xiàn)特征提取網(wǎng)絡(luò)的自監(jiān)督訓(xùn)練；
32、2)本專利技術(shù)在特征提取過程中，采用多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過不同尺度的卷積核提取圖像中的多層次特征信息；隨后，利用特征金字塔網(wǎng)絡(luò)（fpn）將不同尺度的特征進(jìn)行融合，得到包含豐富上下文信息的特征圖，從而提高特征點(diǎn)提取的準(zhǔn)確性和魯棒性；
33、3)本專利技術(shù)在模型特征匹配過程中，引入了一種基于光度誤差的最小化優(yōu)化函數(shù)，該函數(shù)通過計(jì)算匹配特征點(diǎn)周圍像素的光度差異，并最小化光度誤差優(yōu)化匹配結(jié)果，這種方法能夠更有效地處理光照變化和噪聲干擾，提高匹配的準(zhǔn)確性和穩(wěn)定性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述圖像特征提取模型包括多尺度卷積層、特征金字塔網(wǎng)絡(luò)、特征點(diǎn)提取模塊和特征匹配模塊，所述特征匹配模塊采用不同尺度的卷積提取多層次特征信息，所述特征金字塔網(wǎng)絡(luò)用于將提取的多層次特征信息進(jìn)行融合，輸出融合的特征圖，所述特征點(diǎn)提取模塊用于提取特征圖的特征點(diǎn)，特征匹配模塊結(jié)合自監(jiān)督訓(xùn)練機(jī)制的約束，剔除不滿足約束的特征點(diǎn)匹配對，得到最小化光度誤差優(yōu)化匹配對。
3.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述多尺度卷積層包括三種不同尺度的卷積層，每層包括卷積層、歸一化、激活函數(shù)以及殘差連接，輸出三種不同尺度的特征圖。
4.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述特征金字塔網(wǎng)絡(luò)通過上采樣和下采樣操作將不同尺度的特征圖進(jìn)行融合，并通過全連接層和池化層輸出融合的特征圖。
5.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特
6.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，采用自監(jiān)督訓(xùn)練機(jī)制對圖像特征提取模型進(jìn)行迭代優(yōu)化訓(xùn)練時(shí)，包括：將圖像通過圖像金字塔生成不同分辨率的圖像，然后對圖像進(jìn)行自適應(yīng)旋轉(zhuǎn)平移變換，判斷變換前和變換后的圖像是否滿足設(shè)計(jì)的約束條件，如果滿足，將變換前和變換后的圖像輸入到圖像特征提取模型，以設(shè)計(jì)的光度誤差函數(shù)最小化作為訓(xùn)練優(yōu)化目標(biāo)，訓(xùn)練圖像特征提取模型。
7.根據(jù)權(quán)利要求6的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，自監(jiān)督訓(xùn)練機(jī)制的約束設(shè)計(jì)為：
8.根據(jù)權(quán)利要求6的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，設(shè)計(jì)的光度誤差函數(shù)為：
9.根據(jù)權(quán)利要求1的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，對未標(biāo)注圖像數(shù)據(jù)進(jìn)行預(yù)處理，具體包括：
10.一種實(shí)現(xiàn)權(quán)利要求1-9任一所述方法的低光照弱紋理環(huán)境下快速特征提取匹配系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述圖像特征提取模型包括多尺度卷積層、特征金字塔網(wǎng)絡(luò)、特征點(diǎn)提取模塊和特征匹配模塊，所述特征匹配模塊采用不同尺度的卷積提取多層次特征信息，所述特征金字塔網(wǎng)絡(luò)用于將提取的多層次特征信息進(jìn)行融合，輸出融合的特征圖，所述特征點(diǎn)提取模塊用于提取特征圖的特征點(diǎn)，特征匹配模塊結(jié)合自監(jiān)督訓(xùn)練機(jī)制的約束，剔除不滿足約束的特征點(diǎn)匹配對，得到最小化光度誤差優(yōu)化匹配對。
3.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述多尺度卷積層包括三種不同尺度的卷積層，每層包括卷積層、歸一化、激活函數(shù)以及殘差連接，輸出三種不同尺度的特征圖。
4.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速特征提取匹配方法，其特征在于，所述特征金字塔網(wǎng)絡(luò)通過上采樣和下采樣操作將不同尺度的特征圖進(jìn)行融合，并通過全連接層和池化層輸出融合的特征圖。
5.根據(jù)權(quán)利要求2的一種低光照弱紋理環(huán)境下快速...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：洪一帆，周剛，錢坤宏，徐嘉晨，艾百運(yùn)，夏亞東，何晶晶，
申請(專利權(quán))人：杭州智元研究院有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。