【技術實現步驟摘要】
本專利技術涉及圖像處理，具體涉及一種用于房間布局估計的透視圖c2p轉換和布局生成方法。
技術介紹
1、房間布局估計是計算機視覺中一個具有挑戰性的問題，它的目標是從透視圖中推出室內環境的整體空間布局。這些應用包括場景重建、室內定位和增強現實。
2、房間布局由主要的室內平面決定，特別是地板、天花板和墻壁?；謴?d房間布局本質上涉及到重建這些主要的室內平面，這是布局估計中的基本挑戰。一些最近的研究通過學習平面參數在透視圖像中重建這些主要平面。然而，這些方法的一個顯著的限制是缺乏一種機制來指導網絡關注主要室內平面的可見區域，這使得預測容易受到遮擋的干擾。此外，平面參數的確定不僅受到視覺外觀的影響，還受到圖像中平面的位置上下文的影響。這種雙重依賴增加了復雜性，給網絡擬合帶來了額外的負擔。
技術實現思路
1、本專利技術的目的在于提供一種用于房間布局估計的透視圖c2p轉換和布局生成方法，用以解決現有現有技術存在的技術問題。
2、為實現上述目的，本專利技術的用于房間布局估計的透視圖c2p轉換和布局生成方法，包括：
3、步驟1、使用參數化方法來表示透視圖像中的平面深度；根據針孔相機模型，3d點(x，y，z)從相機坐標系到透視圖像中的像素(u，v)的投影如下：
4、
5、其中fx，fy是焦距，(u0，v0)是主點，如果將方程為的任意平面投影到圖像上，則其像素坐標和深度值將滿足這個方程式可以重新表述為：
6、
7、這里，
8、步驟2、在平面深度參數化的基礎上，引入c2p轉換；
9、步驟3、透視圖像的設計；對平面進行分類，定義m×m均勻分布在透視圖像上的錨點，對于每個包括天花板和地板的主導平面，計算其對應分割區域的形心坐標，指定給平面的標簽對應于最接近該形心的錨點的索引；
10、步驟4、順序平面深度圖集成。
11、進一步，所述步驟2引入c2p轉換包括：c2p轉換的目標是導出表示為pk的平面k的平面深度參數，從而促進平面深度重建；設平面為k，設z表示透視圖像的完整深度圖，表示平面可見性置信度，qk表示平面k的目標平面深度參數，分別使用從z得到的齊次像素坐標及其對應的逆深度值來構造和其公式如下：
12、
13、為了確保一致性，還使用di來表示透視圖像中第i個像素的反深度值，即其次，用對角線上的元素構造一個對角矩陣計算目標平面深度參數qk如下：
14、
15、對于平面深度圖重建，構造和其中給定平面k的重建深度圖計算如下：
16、
17、c2p轉換的目標是導出表示為pk的平面k的平面深度參數，從而促進平面深度重建；c2p轉換對于透視圖像是可微的，允許應用于估計的平面深度參數和重建的平面深度圖的損失函數的梯度被反向傳播到平面可見性置信度。
18、進一步，所述平面可見性置信度是自主學習的，無需直接監督，即強迫網絡去擬合所有可見平面區域是不必要的，相反，讓網絡獨立地辨別并關注最可信的可見平面區域，會導致更有利的結果。
19、進一步，所述步驟3進一步包括：區域形心最接近第i行第j列中的錨點的平面得到一個平面k，其中k＝(i-1)m+j。通過這個標號策略，定義了總共m2個不同的平面范疇；負責預測平面類別的輸出分支產生與錨的分布空間對齊的概率圖如果圖像中存在平面k，則的第i行第j列表示為中的值應為1，否則應為0；的學習由地面真實布局分割掩碼生成的二值圖監督，記為考慮到正負樣本之間的顯著不平衡，采用和之間的加權交叉熵損失作為損失函數：
20、
21、其中t是實驗設置為t＝25的加權因子。
22、進一步，所述步驟3進一步包括：采用解耦的方法，輸出通道的數量從m2減少到2m，其中m個通道專用于預測x軸分量α∈rh×w×m，其余m個通道專用于預測y軸分量β∈rh×w×m，將α的第j個通道映射表示為α(j)(j＝|，2，…，m)，這是表示每個像素的平面類別是否與第j列中的一個錨相關聯的概率圖；類似地，β(i)(i＝|，2，…，m)表示每個像素的平面類別是否與第i行中的錨之一相關聯，因此，αj和βi的聯合概率表示與第i行第j列中的錨相關聯的平面的語義標簽，平面類別為(i-1)m+j，定義來表示m2平面類別的所有語義標簽，由于α和β是獨立的，中的每個頻道映射都可以通過α和β中的頻道映射按元素相乘得到：
23、
24、其中表示發言權操作；基于以上分析，采用相應的輸出分支對2m個輸出通道的解耦平面語義標簽進行預測，以為代表的解耦平面語義標簽的訓練目標由公式中規定的二進制交叉熵損失和dice損失之和組成。
25、進一步，所述步驟4進一步包括：
26、步驟4.1、確定圖像中存在的墻類別，利用c2p轉換技術，生成天花板、地板以及各個墻壁的平面深度圖；
27、步驟4.2、將選定的平面區分為墻和非墻，通過對估計的平面深度參數進行分類來實現；
28、步驟4.3、通過精細的整合過程，得到了一個完整的、精確的三維布局深度圖。
29、進一步的，所述步驟4.1進一步包括：利用平面類別預測c，定義閾值δc，并選擇預測值大于δc的平面類別；每當選擇墻類別時，都會檢查其相鄰的兩個類別，如果選擇了這些相鄰類別中的任何一個，則計算dice損失以評估這些相鄰平面的預測語義標簽之間的相似性，dice損失超過預定義的閾值δd表示相鄰的預測對應于不同的墻，促使兩者都保留，相反，當dice損失低于δd時，提示僅保留預測值較高的墻類別。
30、進一步，所述步驟4.2進一步包括：具有估計的平面深度參數的選定平面k，第二個參數σk與平面法線的垂直分量成正比，如果比率低于預定義的閾值δq，將平面k歸類為墻，否則，將平面k歸類為非墻；在區分出所有的墻之后，基于與平面語義標簽相關聯的形心的水平坐標從左到右對它們進行排序，平面深度圖被視為由像素坐標和深度軸定義的坐標系中的3d曲面。
31、進一步，所述步驟4.2進一步包括：分析兩個平面深度圖的積分作為該3d坐標系中兩個曲面的交點，使用最左側墻的深度圖開始該過程，逐漸集成后續墻的深度圖，集成新墻時，新平面深度圖和現有平面深度圖之間會形成一條交線；參考從平面語義標簽派生的形心位置來確定每面墻相對于交點的位置，修剪延伸到相交線之外的平面深度圖的區域，從而產生更新的布局深度圖，此過程將反復應用，直到所有墻的平面深度圖都被整合為止。
32、進一步，透視圖像網絡建立在為透視深度估計設計的體系結構之上，該結構采用senet-154作為編碼器，用于完整深度圖預測的輸出分支包括解碼器、多尺度特征融合模塊和細化模塊。
33、本專利技術方法具有如下優點：
34、1)本專利技術引入了c2p變換，這是一種可微的運算方法，專門用于實現穩健的平面深度重建。這一方法建立在推導的平面深度參本文檔來自技高網...
【技術保護點】
1.一種用于房間布局估計的透視圖C2P轉換和布局生成方法，包括：
2.根據權利要求1所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟2引入C2P轉換包括：C2P轉換的目標是導出表示為Pk的平面k的平面深度參數，從而促進平面深度重建；設平面為k，設Z表示透視圖像的完整深度圖，表示平面可見性置信度，Qk表示平面k的目標平面深度參數，分別使用從Z得到的齊次像素坐標及其對應的逆深度值來構造和其公式如下：
3.根據權利要求2所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述平面可見性置信度是自主學習的，無需直接監督，即強迫網絡去擬合所有可見平面區域是不必要的，相反，讓網絡獨立地辨別并關注最可信的可見平面區域，會導致更有利的結果。
4.根據權利要求1所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟3進一步包括：區域形心最接近第i行第j列中的錨點的平面得到一個平面k，其中k＝(i-1)M+j。通過這個標號策略，定義了總共M2個不同的平面范疇；負責預測平面類別的輸出分支產生與錨的分布空間對
5.根據權利要求4所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟3進一步包括：采用解耦的方法，輸出通道的數量從M2減少到2M，其中M個通道專用于預測x軸分量α∈Rh×w×M，其余M個通道專用于預測y軸分量β∈Rh×w×M，將α的第j個通道映射表示為α(j)(j＝1，2，…，M)，這是表示每個像素的平面類別是否與第j列中的一個錨相關聯的概率圖；類似地，β(i)(i＝1，2，…，M)表示每個像素的平面類別是否與第i行中的錨之一相關聯，因此，αj和βi的聯合概率表示與第i行第j列中的錨相關聯的平面的語義標簽，平面類別為(i-1)M+j，定義來表示M2平面類別的所有語義標簽，由于α和β是獨立的，中的每個頻道映射都可以通過α和β中的頻道映射按元素相乘得到：
6.根據權利要求1所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟4進一步包括：
7.根據權利要求6所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟4.1進一步包括：利用平面類別預測C，定義閾值δc，并選擇預測值大于δc的平面類別；每當選擇墻類別時，都會檢查其相鄰的兩個類別，如果選擇了這些相鄰類別中的任何一個，則計算dice損失以評估這些相鄰平面的預測語義標簽之間的相似性，dice損失超過預定義的閾值δd表示相鄰的預測對應于不同的墻，促使兩者都保留，相反，當dice損失低于δd時，提示僅保留預測值較高的墻類別。
8.根據權利要求6所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟4.2進一步包括：具有估計的平面深度參數的選定平面k，第二個參數σk與平面法線的垂直分量成正比，如果比率低于預定義的閾值δq，將平面k歸類為墻，否則，將平面k歸類為非墻；在區分出所有的墻之后，基于與平面語義標簽相關聯的形心的水平坐標從左到右對它們進行排序，平面深度圖被視為由像素坐標和深度軸定義的坐標系中的3D曲面；
9.根據權利要求6所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，所述步驟4.2進一步包括：分析兩個平面深度圖的積分作為該3D坐標系中兩個曲面的交點，使用最左側墻的深度圖開始該過程，逐漸集成后續墻的深度圖，集成新墻時，新平面深度圖和現有平面深度圖之間會形成一條交線；參考從平面語義標簽派生的形心位置來確定每面墻相對于交點的位置，修剪延伸到相交線之外的平面深度圖的區域，從而產生更新的布局深度圖，此過程將反復應用，直到所有墻的平面深度圖都被整合為止。
10.根據權利要求1所述用于房間布局估計的透視圖C2P轉換和布局生成方法，其特征在于，透視圖像網絡建立在為透視深度估計設計的體系結構之上，該結構采用SENET-154作為編碼器，用于完整深度圖預測的輸出分支包括解碼器、多尺度特征融合模塊和細化模塊。
...【技術特征摘要】
1.一種用于房間布局估計的透視圖c2p轉換和布局生成方法，包括：
2.根據權利要求1所述用于房間布局估計的透視圖c2p轉換和布局生成方法，其特征在于，所述步驟2引入c2p轉換包括：c2p轉換的目標是導出表示為pk的平面k的平面深度參數，從而促進平面深度重建；設平面為k，設z表示透視圖像的完整深度圖，表示平面可見性置信度，qk表示平面k的目標平面深度參數，分別使用從z得到的齊次像素坐標及其對應的逆深度值來構造和其公式如下：
3.根據權利要求2所述用于房間布局估計的透視圖c2p轉換和布局生成方法，其特征在于，所述平面可見性置信度是自主學習的，無需直接監督，即強迫網絡去擬合所有可見平面區域是不必要的，相反，讓網絡獨立地辨別并關注最可信的可見平面區域，會導致更有利的結果。
4.根據權利要求1所述用于房間布局估計的透視圖c2p轉換和布局生成方法，其特征在于，所述步驟3進一步包括：區域形心最接近第i行第j列中的錨點的平面得到一個平面k，其中k＝(i-1)m+j。通過這個標號策略，定義了總共m2個不同的平面范疇；負責預測平面類別的輸出分支產生與錨的分布空間對齊的概率圖如果圖像中存在平面k，則的第i行第j列表示為中的值應為1，否則應為0；的學習由地面真實布局分割掩碼生成的二值圖監督，記為考慮到正負樣本之間的顯著不平衡，采用和之間的加權交叉熵損失作為損失函數：
5.根據權利要求4所述用于房間布局估計的透視圖c2p轉換和布局生成方法，其特征在于，所述步驟3進一步包括：采用解耦的方法，輸出通道的數量從m2減少到2m，其中m個通道專用于預測x軸分量α∈rh×w×m，其余m個通道專用于預測y軸分量β∈rh×w×m，將α的第j個通道映射表示為α(j)(j＝1，2，…，m)，這是表示每個像素的平面類別是否與第j列中的一個錨相關聯的概率圖；類似地，β(i)(i＝1，2，…，m)表示每個像素的平面類別是否與第i行中的錨之一相關聯，因此，αj和βi的聯合概率表示與第i行第j列中的錨相關聯的平面的語義標簽，平面類別為(i-1)m+j，定義來表示m2平面類別的所有語義標簽，由于α和β是獨...
【專利技術屬性】
技術研發人員：張偉東，周夢潔，劉穎，房杰，郝羽，何敬魯，
申請(專利權)人：西安郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。