【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于三維點云語義分割領(lǐng)域，具體涉及到一種基于雙分支增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法。
技術(shù)介紹
1、近年來，隨著三維激光掃描技術(shù)的不斷發(fā)展和成熟，基于離散點云表示的室外場景三維感知成為計算機(jī)視覺領(lǐng)域的重要研究方向。大規(guī)模點云場景的高效語義分割在自動駕駛、虛擬現(xiàn)實和智慧城市等領(lǐng)域展現(xiàn)出廣泛的應(yīng)用前景。在智慧城市中，有助于城市規(guī)劃與管理、基礎(chǔ)設(shè)施監(jiān)測與維護(hù)、交通流量分析與管理以及環(huán)境保護(hù)與資源管理；在虛擬現(xiàn)實領(lǐng)域，能提升虛擬環(huán)境真實感與沉浸感、實現(xiàn)高效場景重建與編輯、增強(qiáng)人機(jī)交互自然性與準(zhǔn)確性；在自動駕駛領(lǐng)域，可提高環(huán)境感知能力、增強(qiáng)決策規(guī)劃可靠性、提升系統(tǒng)對不同環(huán)境的魯棒性和適應(yīng)性。
2、點云語義分割是指通過算法將點云數(shù)據(jù)中的點分類。依據(jù)物體特征，為每個點賦予語義類別。近年來，由于計算機(jī)硬件性能的提升和大規(guī)模數(shù)據(jù)集的出現(xiàn)，深度學(xué)習(xí)逐漸成為點云語義分割領(lǐng)域的研究熱點。randla-net是一種基于u-net的深度學(xué)習(xí)點云語義分割方法。該方法首先采用隨機(jī)點采樣方法來減少點云規(guī)模，顯著降低計算和內(nèi)存開銷。并設(shè)計局部空間編碼為每個點及其鄰近點進(jìn)行相對位置編碼，通過mlp將點的幾何信息轉(zhuǎn)換為特征向量，幫助網(wǎng)絡(luò)理解局部幾何結(jié)構(gòu)。但在編碼過程中忽略了點云的顏色信息，并且缺乏點云屬性信息與其語義特征的聯(lián)系。此外，由于大規(guī)模場景中物體種類繁多，不同類別物體之間的尺度差異較大，單純依靠分辨率進(jìn)行簡單的跳躍連接來融合特征，難以完成大規(guī)模場景的語義分割。
技術(shù)實現(xiàn)思路
1、本專
2、本專利技術(shù)所采用的技術(shù)方案是，基于雙分支增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法，具體按照如下步驟實施：
3、步驟1，數(shù)據(jù)預(yù)處理：輸入點云數(shù)據(jù)，使用體素網(wǎng)格濾波對數(shù)據(jù)下采樣，然后構(gòu)建kd樹；
4、步驟2，初始特征提取：將預(yù)處理后的數(shù)據(jù)送入多層感知機(jī)，得到初始特征矩陣f；
5、步驟3，雙分支特征編碼：對語義特征f和點云屬性特征i進(jìn)行k近鄰信息編碼，對語義特征編碼和屬性編碼中的相對特征進(jìn)行交叉增強(qiáng)，分別得到偏移特征foffset和ioffset；
6、步驟4，特征增強(qiáng)：分別將兩個特征分支中的特征矩陣送入多層感知機(jī)，得到增強(qiáng)特征fe、ie；
7、步驟5，特征聚合：計算自適應(yīng)權(quán)重w，再在特征維度使用softmax函數(shù)進(jìn)行歸一化，最后將加權(quán)特征在特征維度進(jìn)行求和，獲得聚合特征fagg；
8、步驟6，構(gòu)建編碼器：重復(fù)步驟3-5，將兩次輸出特征之間使用跳躍連接，將以上內(nèi)容作為一個擴(kuò)張殘差模塊，在每個擴(kuò)張殘差塊后使用隨機(jī)采樣，重復(fù)多次得到包含不同分辨率特征的編碼器；
9、步驟7，多尺度特征融合：結(jié)合編碼器中相鄰層的輸出特征，將上層特征中的語義信息和底層特征中的細(xì)節(jié)進(jìn)行融合；
10、步驟8，構(gòu)建分類器，完成點云語義分割。
11、本專利技術(shù)的特點還在于：
12、步驟1具體為：
13、步驟1.1，輸入三維點云數(shù)據(jù)p＝{p1,p2,…,pn}∈rf，f表示維度信息，每個點表示為
14、步驟1.2，將點云數(shù)據(jù)p使用體素濾波算法進(jìn)行處理，并將結(jié)果保存；
15、步驟1.3，對濾波后數(shù)據(jù)構(gòu)建kd樹，將kd樹和投影文件保存；
16、步驟1.4，將步驟1.2和1.3中得到的數(shù)據(jù)封裝成完整數(shù)據(jù)集，完成預(yù)處理。
17、步驟3具體為：
18、步驟3.1，使用k近鄰算法獲取近鄰特征ik∈rk×6，將中心點屬性信息、近鄰屬性信息和相對屬性信息融合，具體如式(1)所示，
19、
20、式(1)中，it為中心點屬性信息，it-ik為相對屬性信息，代表特征拼接；
21、步驟3.2，對于語義特征，采用與屬性特征相同的編碼方式，利用k近鄰算法獲取近鄰點的語義特征fk∈rk×c并融合三種編碼特征，具體如式(2)所示，
22、
23、式(2)中，ft為中心點屬性信息，ft-fk為相對語義特征，代表特征拼接；
24、步驟3.3，計算偏移特征，增強(qiáng)屬性信息和語義特征間的關(guān)聯(lián)，偏移特征具體計算如式(3)(4)所示，
25、ioffset＝(it-ik)+m(ft-fk)?(3)
26、foffset＝(ft-fk)+m(it-ik)?(4)
27、式(3)中，m表示mlp。
28、步驟4具體為：
29、步驟4.1，利用偏移特征ioffset、foffset對局部特征ic、fc進(jìn)行交叉增強(qiáng)，并完成特征融合，具體如式(5)(6)所示，
30、
31、步驟4.2，融合兩個增強(qiáng)特征，得到融合特征，具體如式(7)所示，
32、
33、步驟5具體為：
34、步驟5.1，計算自適應(yīng)權(quán)重，具體如式(8)所示，
35、weight＝δ(m(ffusion))?(8)
36、式(8)中δ為softmax函數(shù)；
37、步驟5.2，在特征維度使用softmax函數(shù)進(jìn)行歸一化，最后將加權(quán)特征在特征維度進(jìn)行求和，獲得聚合特征fagg，具體如式(9)所示，
38、
39、式(9)中⊙為矩陣點乘。
40、步驟6具體如下：
41、步驟6.1，將步驟3-5所構(gòu)成的結(jié)構(gòu)命名為雙分支增強(qiáng)聚合(dea)模塊，在每個編碼器中，將點云屬性信息和語義特征送入上述模塊，聚合較小范圍的點云特征fs，具體如式(10)所示，
42、fs＝dea(i,f)?(10)
43、式(10)中，dea表示雙分支增強(qiáng)聚合模塊；
44、步驟6.2，將fs經(jīng)過第二個雙分支增強(qiáng)聚合模塊以聚合更大鄰域范圍內(nèi)的特征fl以平衡感受野與局部細(xì)節(jié)，具體如式(11)所示，
45、fl＝dea(i,fs)?(11)
46、步驟6.3將兩種不同感受野下的特征進(jìn)行融合，具體計算如式(12)所示，
47、
48、步驟7具體如下：
49、步驟7.1，將編碼器中第二層特征e2和第四層特征e4作為融合起點，結(jié)合上下兩層編碼器特征，并使用mlp進(jìn)行融合得到f1h、f1l，具體如式(13)(14)所示，
50、
51、式(13)中ds、us分別表示下采樣和上采用操作，conv()表示卷積操作；
52、步驟7.2，將編碼器中間層特征e3與f1h和f1l融合，得到融合了不同尺度特征的全局融合特征f2g，此外，再將編碼器頂層特征e1和底層特征e5分別與f1h、f1l融合得到以保證不同尺度特征間的區(qū)分度，具體如式(15)(16)(17)所示，
53、
54本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.基于雙分支特征增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法，其特征在于，具體按照如下步驟實施：
2.根據(jù)權(quán)利要求1所述的基于雙分支特征增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法，其特征在于，所述步驟1具體為：
3.根據(jù)權(quán)利要求2所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟3具體為：
4.根據(jù)權(quán)利要求3所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟4具體為：
5.根據(jù)權(quán)利要求4所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟5具體為：
6.根據(jù)權(quán)利要求5所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟6具體為：
7.根據(jù)權(quán)利要求6所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟7具體如下：
8.根據(jù)權(quán)利要求7所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟8具體為，將最終解碼特征通過兩個多層感知機(jī)和一個Dropout層，并通過Softmax得到最終分類結(jié)
...【技術(shù)特征摘要】
1.基于雙分支特征增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法，其特征在于，具體按照如下步驟實施：
2.根據(jù)權(quán)利要求1所述的基于雙分支特征增強(qiáng)和多尺度融合的大規(guī)模點云語義分割方法，其特征在于，所述步驟1具體為：
3.根據(jù)權(quán)利要求2所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟3具體為：
4.根據(jù)權(quán)利要求3所述的基于中心點檢測與聚類的重復(fù)性單個物體提取方法，其特征在于，所述步驟4具體為：
5.根據(jù)權(quán)利要求4所述的基于中心點檢測與...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：寧小娟，劉宇樂，李志寰，呂志勇，金海燕，
申請(專利權(quán))人：西安理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。