【技術實現步驟摘要】
本專利技術屬于計算機視覺，具體涉及一種基于事件相機的實時光度立體視覺方法及裝置。
技術介紹
1、隨著計算機技術發展，計算機算力逐漸加強，機器學習、深度學習技術快速進步，計算機視覺相關技術逐漸應用到各個場景，例如手機相機的人臉檢測、修圖美圖、夜間拍照等功能，無人駕駛中的行人檢測、道路識別，移動支付與車站身份檢測的人臉識別，或是機器人的同步定位與建圖任務等。隨著大數據、智能化時代的來臨，越來越多的應用場景需要計算視覺技術的支持，海量的視頻、圖像數據亟待處理，更凸顯底層視覺任務的重要意義。由此，底層圖像處理技術的不可替代性及其對于更高語義層次任務的重要意義，受到社會廣泛關注。高動態范圍成像作為計算攝像學的基礎任務，其發展對于其他計算機視覺技術來說極其重要。
2、光度立體是一種通過分析從各個方向照射的物體的圖像來估計表面法線方向的技術，其獨特之處在于能夠重建高分辨率和精確的表面細節，尤其是在密集采樣光照和朗伯反射物體的條件下，光度立體視覺方法的優勢尤為突出。傳統的基于幀相機的光度立體視覺方法實現往往復雜且耗時，通常需要捕獲一系列曝光包圍圖像來合成高動態范圍圖像，從而準確地捕獲物體表面的鏡面反射區域。為了對光照方向密集采樣，傳統的基于幀相機的光度立體視覺方法需要使用機械臂連續移動光源，數據采集過程費時費力，嚴重阻礙了有實時性需求的應用。
3、文獻《surface?enhancementusing?real-time?photometric?stereo?andreflectance?transformation》公
4、文獻《eventfusion?photometric?stereo?network》公開一種使用事件相機和幀相機組成的混合相機系統，在連續運動光源的情況下，同時拍攝光源運動過程中產生的事件，和光源運動到關鍵點時傳統幀相機捕獲到的絕對亮度輻照度信息；使用事件對絕對亮度進行插值，使用插值后的絕對亮度實現光度立體視覺。其具體實現過程為：首先搭建事件相機和傳統幀相機的混合相機，對兩相機拍攝進行像素和時間對齊；在連續運動光源的情況下同時采集事件和圖像，使用事件插值網絡融合事件和圖像信息，得到高密度度輻照度觀測圖；將高密度輻照度觀測圖輸入現有光度立體視覺網絡，得到預測表面法線。上述文獻公開的方法雖然不需要拍攝多張照片來進行合成，只需要1張ldr圖像，但是該方法只能預測過曝區域的信息，欠曝區域的信息無法預測，而且過曝區域信息的預測很大程度上依賴于網絡的訓練效果，根據網絡的學習經驗來預測，導致預測的結果與真實情況不符，能夠重建的動態范圍極其有限。
技術實現思路
1、本專利技術的目的是提供一種基于事件相機的實時光度立體視覺方法及裝置。本專利技術利用事件相機的獨特屬性進行實時光度立體視覺。
2、本專利技術為解決技術問題所采用的技術方案如下：
3、本專利技術提供的一種基于事件相機的實時光度立體視覺方法，包括以下步驟：
4、步驟一、光照模式設計；
5、步驟二、利用事件相機同時采集被測試物體因光照變化產生的光照信號和同步信號；利用同步信號標定其它事件發生時的光照方向，實現同步采集；
6、步驟三、從每對連續發生的事件出發，構造與被測試物體表面法線直接相關的零化向量；
7、步驟四、零化向量融合求解表面法線。
8、進一步的，所述光照模式為circle光照模式、hypotrochoid光照模式和diligent光照模式。
9、進一步的，步驟三中，假設事件相機同步采集過程中，事件觸發閾值為c，像素x總共觸發了k個事件；這些事件的極性為pk，事件發生時刻為tk，tk-1為相同像素相鄰事件發生的時刻，k＝{1，2，...，k}；ix(tk)為事件觸發時的像素絕對亮度；根據事件相機觸發模型，以下等式成立：
10、ix(tk)＝exp(pkc)ix(tk-1)
11、根據理想朗伯模型，假設被測試物體表面法線方向為nx，漫反射率為ax，事件發生時的光照方向為l(tk)，以下等式成立：
12、max[0，ax(nx·l(tk))]＝exp(pkc)max[0，ax(nx·l(tk-1))]
13、在光照方向發生相同變化的情況下，被測試物體表面漫反射率不會影響事件觸發，因此移除ax，以下等式成立：
14、max[0，(nx·l(tk))]＝exp(pkc)max[0，(nx·l(tk-1))]
15、根據事件相機觸發模型，事件僅在存在像素亮度變化的時刻發生；因此推斷出事件發生時刻，像素絕對亮度關于時間的導數必須非零；公式兩側的max運算符用于描述朗伯反射中的陰影；當max數值取0時，像素絕對亮度關于時間的導數也為0，與事件發生時刻tk矛盾；因此在任何事件發生時刻tk，等式兩側都應大于0，因此事件信號不包含陰影區域中像素的冗余信息；刪除等式兩側的max運算符，則以下等式成立：
16、nx·l(tk)＝exp(pkc)(nx·l(tk-1))
17、經過線性變換為：
18、nx·(l(tk)-exp(pkc)l(tk-1))＝0
19、根據上述公式，將一對連續的事件轉換為一個與被測試物體表面法線方向垂直的向量，即為零化向量，其具體形式如下：
20、zk＝l(tk+1)-exp(pk+1c)l(tk)
21、其中，tk+1和pk+1分別為相同像素相鄰事件發生的時刻和事件極性。
22、進一步的，步驟四中，當被測試物體按設計的光照模式完成一個周期或多個周期采樣后，每個圖像像素都會得到包含若干事件的連續事件序列；將這些連續事件序列中每對相鄰事件轉化為零化向量，每個零化向量描述帶噪聲的表面法線的部分信息；然后通過融合多個零化向量，對表面法線進行求解。
23、進一步的，步驟四中，采用svd求解方法對表面法線進行求解：將像素x總共轉換出的k-1個零化向量連接成大小為3×(k-1)的零化向量矩陣zk，理論上需要像素觸發至少3個事件，形成至少秩為2的零化向量矩陣才能進一步求解；求解目標為優化以下均方誤差函數：
24、
25、其中，為估計的表面法線；為求解的數值，對進行特本文檔來自技高網...
【技術保護點】
1.一種基于事件相機的實時光度立體視覺方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，所述光照模式為circle光照模式、hypotrochoid光照模式和DiLiGenT光照模式。
3.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟三中，假設事件相機同步采集過程中，事件觸發閾值為C，像素x總共觸發了K個事件；這些事件的極性為pk，事件發生時刻為tk，tk-1為相同像素相鄰事件發生的時刻，k＝{1,2,…,K}；Ix(tk)為事件觸發時的像素絕對亮度；根據事件相機觸發模型，以下等式成立：
4.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟四中，當被測試物體按設計的光照模式完成一個周期或多個周期采樣后，每個圖像像素都會得到包含若干事件的連續事件序列；將這些連續事件序列中每對相鄰事件轉化為零化向量，每個零化向量描述帶噪聲的表面法線的部分信息；然后通過融合多個零化向量，對表面法線進行求解。
5.根據權利要求1所述的一種
6.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟四中，采用深度學習求解方法對表面法線進行求解：通過修改現有基于幀相機的光度立體視覺神經網絡的輸入，重新訓練，遷移得到適用于事件相機的光度立體視覺神經網絡；利用所述適用于事件相機的光度立體視覺神經網絡融合零化向量求解表面法線。
7.根據權利要求6所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，利用所述適用于事件相機的光度立體視覺神經網絡融合零化向量求解表面法線的方法為EventPS-FCN：將整個光照模式時間劃分為N個等長的區間，將每個區間、每個像素內的所有零化向量相疊加，形成零化向量圖像；對于每張零化向量圖像的不同像素，光照方向變化相同，使用零化向量圖像和相應的光照方向作為輸入，在原始PS-FCN網絡輸入層添加兩個時間維度的卷積層，從相鄰時間區間的事件中提取時序特征；所述適用于事件相機的光度立體視覺神經網絡其他部分沿用原始PS-FCN網絡結構，通過特征提取網絡提取到特征圖像，并將所有區間編碼得到的特征圖像通過Max?Pooling合并到一起，再使用解碼網絡估計表面法線。
8.根據權利要求6所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，利用所述適用于事件相機的光度立體視覺神經網絡融合零化向量求解表面法線的方法為EventPS-CNN：將事件Observation?Map的通道數從1增加到3，每個像素代表相應光照方向上的零化向量，通過這種方式將每個像素的所有零化向量都聚集在事件Observation?Map中，事件Observation?Map包含每個像素的更多信息，所述適用于事件相機的光度立體視覺神經網絡其他部分沿用原始CNN-PS網絡結構，所述EventPS-CNN保留了有關每個零化向量的更多詳細信息。
9.根據權利要求6所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，采用合成數據對所述適用于事件相機的光度立體視覺神經網絡進行訓練，訓練數據合成過程如下：
10.一種基于事件相機的實時光度立體視覺裝置，其特征在于，包括：計算機、事件相機、旋轉光源、電池模塊、傳感器、直流電機、同步帶和計數器；所述電池模塊與旋轉光源相連，所述旋轉光源與直流電機之間通過同步帶相連，通過直流電機和同步帶驅動旋轉光源轉動，所述傳感器安裝在直流電機末端，所述事件相機、傳感器和計數器分別與計算機相連，所述傳感器與計數器相連，所述計算機中設有OpenEB軟件、CPU和GPU；裝置啟動前，將旋轉光源移動至初始位置，并將被測試物體放置于旋轉光源正前方，重置計數器，啟動直流電機開始驅動旋轉光源進行旋轉，直流電機旋轉的同時通過其末端的傳感器測量其轉數，同時通過計數器對直流電機的轉數進行計數，通過計算機向事件相機傳輸同步信號，此時事件相機接收同步信號并開始采集事件信號；計算機使用OpenEB軟件讀取事件相機的輸出，同時采集到事件信號和同步信號的時間戳，對同步信號時間戳進行插值，得到事件發生時旋轉光源的位置；在計算機中，在CPU上對事件按照發生像素位置進行分類，將分類好的事件傳輸到GPU，從而對事件高并發處理，實現實時采集。
...【技術特征摘要】
1.一種基于事件相機的實時光度立體視覺方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，所述光照模式為circle光照模式、hypotrochoid光照模式和diligent光照模式。
3.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟三中，假設事件相機同步采集過程中，事件觸發閾值為c，像素x總共觸發了k個事件；這些事件的極性為pk，事件發生時刻為tk，tk-1為相同像素相鄰事件發生的時刻，k＝{1,2,…,k}；ix(tk)為事件觸發時的像素絕對亮度；根據事件相機觸發模型，以下等式成立：
4.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟四中，當被測試物體按設計的光照模式完成一個周期或多個周期采樣后，每個圖像像素都會得到包含若干事件的連續事件序列；將這些連續事件序列中每對相鄰事件轉化為零化向量，每個零化向量描述帶噪聲的表面法線的部分信息；然后通過融合多個零化向量，對表面法線進行求解。
5.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟四中，采用svd求解方法對表面法線進行求解：將像素x總共轉換出的k-1個零化向量連接成大小為3×(k-1)的零化向量矩陣zk，理論上需要像素觸發至少3個事件，形成至少秩為2的零化向量矩陣才能進一步求解；求解目標為優化以下均方誤差函數：
6.根據權利要求1所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，步驟四中，采用深度學習求解方法對表面法線進行求解：通過修改現有基于幀相機的光度立體視覺神經網絡的輸入，重新訓練，遷移得到適用于事件相機的光度立體視覺神經網絡；利用所述適用于事件相機的光度立體視覺神經網絡融合零化向量求解表面法線。
7.根據權利要求6所述的一種基于事件相機的實時光度立體視覺方法，其特征在于，利用所述適用于事件相機的光度立體視覺神經網絡融合零化向量求解表面法線的方法為eventps-fcn：將整個光照模式時間劃分為n個等長的區間，將每個區間、每個像素內的所有零化向量相疊加，形成零化向量圖像；對于每張零化向量圖像的不同像素，光照方向變化相同，使用零化向量圖像和相應的光照方向作為輸入，在原始p...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。