【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種復合被動三維成像方法、裝置、設備及存儲介質。
技術介紹
1、隨著科技的快速發展，三維成像技術在教育、娛樂、自動駕駛、安防監控等眾多領域的應用日益廣泛。然而，傳統的三維成像方法往往存在諸多局限性，
2、相關技術中的三維成像方法主要分為主動式和被動式兩種。
3、主動式方法包括激光雷達、apd陣列、結構光等方法。其中激光雷達僅獲取距離信息，且為離散測距無法做到像素級；apd陣列面陣規模小、分辨率低、成本高；結構光在戶外效果較差。
4、被動式方法主要包括多目視覺、基于光場的測距方法、基于偏振特性解算的三維重建、以及基于深度學習的深度估計等方法。其中多目視覺受光照和物體紋理影響大，且作用距離較近；基于光場的測距方法作用距離近，且系統復雜；基于偏振特性解算的三維重建能較好的保留物體表面的細節信息，但僅可作用在連續的物體表面，導致應用場景受限，且解算過程中目標表面法線的方位角具有不確定性，導致精度下降；基于深度學習的深度估計方法可實現像素級三維成像，但結果缺少場景的細節信息，導致精度下降。
5、基于此，相關技術中的三維成像方法無法滿足日益增長的高精度、低成本、遠距離探測的需求。
技術實現思路
1、本專利技術提供一種復合被動三維成像方法、裝置、設備及存儲介質，解決了相關技術中三維成像方法無法同時滿足高精度、低成本、遠距離探測需求的問題。
2、為達到上述目的，本申請采用如下技術方案：
3、第一
4、獲取相機的輸入圖像，基于所述輸入圖像提取偏振子圖，并合成全光圖像；
5、基于所述偏振子圖和所述全光圖像，計算全部像素的第二表面法線；同時，基于所述全光圖像，通過單目深度估計網絡獲得所述輸入圖像的初始絕對深度圖，通過場景語義分割網絡提取感興趣目標區域并獲得其對應的掩膜；
6、基于所述初始絕對深度圖計算所述感興趣目標區域的第一表面法線，根據所述第一表面法線校正掩膜區域對應的所述第二表面法線；
7、基于校正后的所述第二表面法線，獲得所述感興趣目標區域的相對深度圖，對每個所述掩膜區域進行三維重建；
8、結合所述相機的內參，根據所述初始絕對深度圖和所述掩膜，獲得各所述掩膜區域的第一偽雷達點，根據所述掩膜區域的三維重建結果，獲得各所述掩膜區域的第二偽雷達點；
9、從所述第一偽雷達點中均勻選取點作為地標點，并匹配其在所述第二偽雷達點中對應的點，獲得地標點匹配點對；
10、構建所述第二偽雷達點的k近鄰有向圖并計算權重矩陣；
11、基于所述地標點匹配點對，在所述權重矩陣中將所述第二偽雷達點替換為所述第一偽雷達點，更新所述權重矩陣，校正各所述掩膜區域剩余像素深度，獲得所述掩膜區域的高精度深度
12、根據所述絕對距離點云的深度信息，校正各所述掩膜區域剩余像素深度，獲得所述掩膜區域的高精度深度；
13、將所述初始絕對深度圖的感興趣目標區域深度替換為所述掩膜區域的高精度深度，獲得最終深度圖，基于所述最終深度圖進行三維成像。
14、在第一方面的第一種可能的實現方式中，所述的基于所述輸入圖像提取偏振子圖，并合成全光圖像，包括：
15、從輸入圖像中提取0度、45度、90度、135度方向偏振子圖i0、i45、i90、i135，并合成全光圖像i：
16、
17、基于第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，基于所述偏振子圖和所述全光圖像，計算全部像素的第二表面法線，包括：
18、基于偏振子圖進行偏振特性解算，獲得斯托克斯矢量s：
19、
20、式中，q為0度方向直線偏振光分量，u為45度方向直線偏振光分量；
21、基于所述斯托克斯矢量和所述全光圖像計算獲得偏振度p和方位角
22、
23、計算物體表面各像素天頂角：
24、
25、j2＝4p(n2+1)(j1-4p)
26、j3＝j22+16p2(16p2-j12)(n2-1)2
27、
28、式中，j1、j2、j3表示過程變量，n為目標反射折射率；
29、基于偏振特性計算輸入圖像的全部像素的表面法線
30、
31、在第一方面的第三種可能的實現方式中，所述的基于所述初始絕對深度圖計算所述感興趣目標區域的第一表面法線，根據所述第一表面法線校正掩膜區域對應的所述第二表面法線，包括：
32、通過計算所述感興趣目標區域內初始絕對深度圖的二維數組梯度，得到所述感興趣目標區域每個像素的第一表面法線
33、如果所述第一表面法線和第二表面法線之間的夾角小于等于90°，則如果所述第一表面法線和所述第二表面法線之間的夾角大于90°，則其中，為校正后的所述第二表面法線。
34、在第一方面的第四種可能的實現方式中，所述的第一偽雷達點和所述的第二偽雷達點，為根據相機的內參，將對應的深度信息投影到三維空間得到的三維點云。
35、第二方面，提供一種復合被動三維成像裝置，包括：
36、圖像預處理模塊，用于獲取相機的輸入圖像，基于所述輸入圖像提取偏振子圖，并合成全光圖像；
37、偏振特性解算模塊，用于基于所述偏振子圖和所述全光圖像，計算全部像素的第二表面法線；
38、單目深度估計模塊，用于基于所述全光圖像，通過單目深度估計網絡獲得所述輸入圖像的初始絕對深度圖；
39、場景語義分割模塊，用于通過場景語義分割網絡提取感興趣目標區域并獲得其對應的掩膜；
40、法線校正模塊，用于基于所述初始絕對深度圖計算所述感興趣目標區域的第一表面法線，根據所述第一表面法線校正掩膜區域對應的所述第二表面法線；
41、三維重建模塊，用于基于校正后的所述第二表面法線，獲得所述感興趣目標區域的相對深度圖，對每個所述掩膜區域進行三維重建；
42、偽雷達點轉換模塊，用于結合所述相機的內參，根據所述初始絕對深度圖和所述掩膜，獲得各所述掩膜區域的第一偽雷達點，根據所述掩膜區域的三維重建結果，獲得各所述掩膜區域的第二偽雷達點；
43、地標點匹配模塊，用于從所述第一偽雷達點中均勻選取點作為地標點，并匹配其在所述第二偽雷達點中對應的點，獲得地標點匹配點對；
44、深度校正與成像模塊，用于構建所述第二偽雷達點的k近鄰有向圖并計算權重矩陣；
45、基于所述地標點匹配點對，在所述權重矩陣中將所述第二偽雷達點替換為所述第一偽雷達點，更新所述權重矩陣，校正各所述掩膜區域剩余像素深度，獲得所述掩膜區域的高精度深度；
46、根據所述絕對距離點云的深度信息，校正各所述掩膜區域剩余像素深度，獲得所述掩膜區域的高精度深度；
47、將所本文檔來自技高網...
【技術保護點】
1.一種復合被動三維成像方法，其特征在于，包括：
2.根據權利要求1所述的復合被動三維成像方法，其特征在于，
3.根據權利要求2所述的復合被動三維成像方法，其特征在于，
4.根據權利要求1所述的復合被動三維成像方法，其特征在于，
5.根據權利要求1所述的復合被動三維成像方法，其特征在于，
6.一種復合被動三維成像裝置，其特征在于，包括：
7.根據權利要求6所述的復合被動三維成像方法，其特征在于，
8.根據權利要求6所述的復合被動三維成像方法，其特征在于，
9.一種電子設備，其特征在于，所述電子設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1至5中任一項所述復合被動三維成像方法的步驟。
10.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有程序或指令，所述程序或指令被處理器執行時實現如權利要求1至5中任一項所述復合被動三維成像方法的步驟。
【技術特征摘要】
1.一種復合被動三維成像方法，其特征在于，包括：
2.根據權利要求1所述的復合被動三維成像方法，其特征在于，
3.根據權利要求2所述的復合被動三維成像方法，其特征在于，
4.根據權利要求1所述的復合被動三維成像方法，其特征在于，
5.根據權利要求1所述的復合被動三維成像方法，其特征在于，
6.一種復合被動三維成像裝置，其特征在于，包括：
7.根據權利要求6所述的復合被動三維成像方法，其特征在于，...
【專利技術屬性】
技術研發人員：蔡文靖，劉鑫，王誠，王禮賀，胡渝川，
申請(專利權)人：中國電子科技集團公司第十一研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。