【技術實現步驟摘要】
本申請涉及計算機視覺的，尤其涉及一種雙模態圖像捕獲方法、裝置、設備及存儲介質。
技術介紹
1、高精度的深度測量是計算機視覺領域中的重要研究課題之一。目前，主流的深度測量方法主要包括tof（飛行時間，time-of-flight）和雙目立體視覺技術。tof通過測量調制光的飛行時間或相位變換來獲取目標的深度信息，具有測量速度快、環境光干擾小和遠距離測量能力強等優勢。然而，tof的測量精度受限，僅能達到厘米級別，這難以滿足高精度測量任務的需求。雙目立體視覺方法通過匹配來自兩個不同位置的相機拍攝的圖像對，獲得視差圖并計算深度信息。盡管該方法在亞像素級別實現了匹配精度，但它在紋理稀少或光照條件變化大的場景中表現不佳，且計算復雜度較高，限制了其在實時應用中的使用。
2、為了解決tof和雙目立體視覺技術的局限性，進一步提出了基于激光散斑圖像的投影系統。該系統利用激光器通過衍射光柵生成高度隨機的散斑圖像，紅外相機用于捕捉這些散斑圖像，以此減少環境光對測量的影響，并實現實時動態測量。根據系統中使用的相機數量，激光散斑投影系統可以分為雙目散斑系統和單目散斑系統。雙目激光散斑投影系統結合了雙目立體視覺的優勢，并通過高度隨機的散斑圖像增強了無紋理區域的特征信息，從而顯著提升了匹配精度和深度測量的精度。然而，雙目散斑系統制造成本高，且標定步驟復雜。
3、相比之下，單目激光散斑投影系統僅包含一個紅外相機和一個激光散斑投射器，具有系統緊湊、成本低的優勢。但由于目前市面上的單目激光散斑投影系統通常僅依賴紅外相機獲取散斑圖像，存在無法同時
4、基于此，如何使單目激光散斑投影系統克服無法同時獲取可視圖像和紅外散斑圖像的缺陷，從而避免現有系統中因多次拍攝或設備不同步導致的圖像不對齊，是個亟待解決的技術問題。
技術實現思路
1、為了克服現有技術的不足，本申請提供了一種雙模態圖像捕獲方法、裝置、設備及存儲介質，以克服現有的單目激光散斑投影系統無法同時獲取可視圖像和紅外散斑圖像的缺陷，從而避免現有系統中因多次拍攝或設備不同步導致的圖像不對齊的技術問題。
2、本申請解決其技術問題所采用的技術方案是：
3、第一方面，本申請提供了一種雙模態圖像捕獲方法，應用于基于rgb相機與紅外激光散斑投射器的雙模態圖像捕獲系統，所述rgb相機為去除ir-cut的rgb相機，所述方法包括：
4、控制紅外激光散斑投射器發射高度隨機的紅外散斑圖像至待測目標表面，以在待測目標表面形成光斑分布；
5、驅動rgb相機對形成光斑分布的待測目標表面進行圖像采集，以得到融合圖像；
6、分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像。
7、可選的，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
8、預處理所述融合圖像；
9、將預處理的融合圖像輸入至生成網絡，以生成紅外散斑圖像，所述生成網絡為預訓練的生成對抗網絡中的一組網絡架構。
10、可選的，所述生成網絡包括輸入層、卷積層、編碼器-解碼器結構和輸出層；
11、所述輸入層用于接收預處理的融合圖像，尺寸為h×w×c，其中，h是圖像高度，w是圖像寬度，c為通道數：
12、所述卷積層采用多層卷積操作，用于由低級至高級逐步提取圖像特征，其中，卷積核的大小為3×3，步幅為1，采用relu激活函數，且每一卷積層后接一個批量歸一化層；
13、所述編碼器-解碼器結構包括編碼器部分和解碼器部分，所述編碼器部分用于逐步減少空間維度并提取特征；
14、所述解碼器部分通過反卷積和上采樣操作恢復圖像尺寸以恢復圖像的空間分辨率，其中，反卷積核大小為4×4，步幅為2；
15、所述輸出層為單通道的散斑圖像，使用1×1卷積層和sigmoid激活函數將輸出映射至[0,?1]范圍，以表示生成的紅外散斑圖像。
16、可選的，所述將預處理的融合圖像輸入至生成網絡，以生成紅外散斑圖像的步驟之后，所述方法包括：
17、將生成的紅外散斑圖像輸入判別網絡，所述判別網絡為預訓練的生成對抗網絡中的另一組網絡架構；
18、基于外部輸入的真實紅外散斑圖像，判別生成的紅外散斑圖像的相似度。
19、可選的，所述判別網絡包括輸入層、卷積層、全連接層和輸出層；
20、所述輸入層用于接收所述生成網絡生成的紅外散斑圖像和外部輸入的真實紅外散斑圖像，尺寸為h×w×1；
21、所述卷積層包括多層，每層卷積層后接leaky?relu激活函數和批量歸一化層，其中，卷積核大小為3×3，步幅為2；
22、所述全連接層用于將經過所述卷積層得到的特征圖展平為一維向量，并基于展平的一維向量輸出對應的標量值；
23、所述輸出層用于根據所述標量值判別生成的紅外散斑圖像的相似度并輸出對應判別結果，所述標量值的范圍為[0,?1]，其中，所述標量值越接近1表示相似度越高。
24、可選的，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
25、對所述融合圖像進行傅里葉變換，以得到所述融合圖像的頻域圖像；
26、獲取與散斑圖像對應的頻率范圍，所述頻率范圍通過分析散斑圖像的頻譜得到；
27、基于所述頻率范圍對所述頻域圖像執行高通濾波；
28、對高通濾波后的頻域圖像進行逆傅里葉變換，以得到分離后的紅外散斑圖像。
29、可選的，所述基于所述頻率范圍對所述頻域圖像執行高通濾波的步驟包括：
30、采用高通濾波器對所述頻域圖像進行處理，所述高通濾波器采用的傳遞函數為：
31、；
32、其中，為到頻率原點的距離，為截止頻率，為濾波器的階數。
33、可選的，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
34、對所述融合圖像進行小波變換，以得到小波域圖像，分解所述小波域圖像以得到小波系數組；
35、抑制所述小波系數組中低于預設閾值的系數，并重構抑制后的小波系數組為空間域圖像，以分離得到紅外散斑圖像。
36、可選的，所述對所述融合圖像進行小波變換步驟所采用的公式小波變換公式為：
37、；
38、其中，為小波系數，為待分析的圖像數據，為母小波函數，是尺度參數，是平移參數；
39、所述抑本文檔來自技高網...
【技術保護點】
1.一種雙模態圖像捕獲方法，其特征在于，應用于基于RGB相機與紅外激光散斑投射器的雙模態圖像捕獲系統，所述RGB相機為去除IR-CUT的RGB相機，所述方法包括：
2.根據權利要求1所述的雙模態圖像捕獲方法，其特征在于，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
3.根據權利要求2所述的雙模態圖像捕獲方法，其特征在于，所述生成網絡包括輸入層、卷積層、編碼器-解碼器結構和輸出層；
4.根據權利要求3所述的雙模態圖像捕獲方法，其特征在于，所述將預處理的融合圖像輸入至生成網絡，以生成紅外散斑圖像的步驟之后，所述方法包括：
5.根據權利要求4所述的雙模態圖像捕獲方法，其特征在于，所述判別網絡包括輸入層、卷積層、全連接層和輸出層；
6.根據權利要求1所述的雙模態圖像捕獲方法，其特征在于，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的
7.根據權利要求6所述的雙模態圖像捕獲方法，其特征在于，所述基于所述頻率范圍對所述頻域圖像執行高通濾波的步驟包括：
8.根據權利要求1所述的雙模態圖像捕獲方法，其特征在于，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
9.根據權利要求8所述的雙模態圖像捕獲方法，其特征在于，所述對所述融合圖像進行小波變換步驟所采用的公式小波變換公式為：
10.一種基于RGB相機與紅外激光散斑投射器的雙模態圖像捕獲裝置，其特征在于，采用一個去除IR-CUT的RGB相機，包括：
11.一種電子設備，其特征在于，包括：至少一個處理器以及至少一個存儲器，其中，所述存儲器上存儲有計算機可讀指令；
12.一種存儲介質，其上存儲有計算機可讀指令，其特征在于，所述計算機可讀指令被處理器執行，以實現如權利要求1至9中任一項所述的雙模態圖像捕獲方法。
...【技術特征摘要】
1.一種雙模態圖像捕獲方法，其特征在于，應用于基于rgb相機與紅外激光散斑投射器的雙模態圖像捕獲系統，所述rgb相機為去除ir-cut的rgb相機，所述方法包括：
2.根據權利要求1所述的雙模態圖像捕獲方法，其特征在于，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色通道信息分離得到紅外散斑圖像和可視圖像的步驟包括：
3.根據權利要求2所述的雙模態圖像捕獲方法，其特征在于，所述生成網絡包括輸入層、卷積層、編碼器-解碼器結構和輸出層；
4.根據權利要求3所述的雙模態圖像捕獲方法，其特征在于，所述將預處理的融合圖像輸入至生成網絡，以生成紅外散斑圖像的步驟之后，所述方法包括：
5.根據權利要求4所述的雙模態圖像捕獲方法，其特征在于，所述判別網絡包括輸入層、卷積層、全連接層和輸出層；
6.根據權利要求1所述的雙模態圖像捕獲方法，其特征在于，所述分析所述融合圖像，以得到所述融合圖像的光譜特征和顏色通道信息，并根據所述融合圖像的光譜特征和顏色...
【專利技術屬性】
技術研發人員：龐旭芳，倪海，劉圣搏，丁寧，任峰，張建國，楊超，
申請(專利權)人：深圳市人工智能與機器人研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。