本發明專利技術公開了一種基于卷積與注意力結合的變電站場景三維語義分割方法，包括以下步驟：S1、對變電站場景中的三維點云數據進行區域和類別劃分，并對不同類別設置語義標簽，根據區域劃分訓練集和測試集，構成三維語義分割數據集；S2、基于卷積和注意力機制結合模塊構建三維語義分割模型，用以預測變電站數據集中點云數據語義標簽；S3、確定損失函數以及參數優化器，結合三維語義分割數據集訓練三維語義分割模型；S4、基于訓練后的三維語義分割模型對變電站場景中點云數據進行語義分割。本發明專利技術相比于現有的三維語義分割方法，可有效提高三維語義分割的準確性，實現對變電站場景點云數據的準確語義分割。
【技術實現步驟摘要】
本專利技術屬于變電站場景點云數據處理，具體涉及一種基于卷積與注意力結合的變電站場景三維語義分割方法。
技術介紹
1、隨著激光雷達、kinect等高精度傳感器的快速發展，三維點云數據已經成為表示現實世界的主要數據格式。經過傳感器獲取場景中的三維點云數據后，需要對三維場景進行深入理解，以便進行精確的物體識別和場景解析。因此需要三維語義分割算法來學習認知大型三維場景。三維語義分割是計算機視覺和計算機圖形學中的一個基本問題，是一個學習感知三維點云數據的過程。三維語義分割的目標是建立映射函數，預測三維場景中對象的細粒度標簽，從而理解場景中每個點的語義含義。三維語義分割有著廣泛的應用，如自動駕駛，移動機器人，工業控制，增強現實和醫學圖像分析等。由于三維語義分割技術在自動駕駛，移動機器人，工業控制，增強現實和醫學圖像分析等應用中起著至關重要的作用，因此迫切需要對三維語義分割技術進行更加深入的研究，以使這些應用受益。
2、近年來，人們對基于深度學習的三維語義分割方法進行了深入廣泛的研究，基于深度學習的三維語義分割方法目前可以分為基于投影的方法、基于體素的方法和基于點的方法。而在基于點的方法中又包含有基于卷積的方法和基于transformer的方法，這兩類方法在點云數據的語義分割任務中都展現出了優異的性能?；诰矸e的方法通過卷積操作在模型提取局部特征方面表現出強大的性能，基于transformer的方法通過注意力機制能夠更好的提取點云的全局上下文信息。然而，現有的許多方法在面對變電站場景中復雜的點云數據時，仍然存在準確性不足的問題。</p>
技術實現思路
1、本專利技術所要解決的技術問題是針對上述現有技術的不足，提供一種基于卷積與注意力結合的變電站場景三維語義分割方法，相比于現有的三維語義分割方法，可有效提高三維語義分割的準確性，實現對變電站場景點云數據的準確語義分割。
2、為實現上述技術目的，本專利技術采取的技術方案為：
3、基于卷積與注意力結合的變電站場景三維語義分割方法，包括以下步驟：
4、s1、對變電站場景中的三維點云數據進行區域和類別劃分，并對不同類別設置語義標簽，根據區域劃分訓練集和測試集，構成三維語義分割數據集；
5、s2、基于卷積和注意力機制結合模塊構建三維語義分割模型，用以預測變電站數據集中點云數據語義標簽；
6、s3、確定損失函數以及參數優化器，結合三維語義分割數據集訓練三維語義分割模型；
7、s4、基于訓練后的三維語義分割模型對變電站場景中點云數據進行語義分割。
8、為優化上述技術方案，采取的具體措施還包括：
9、上述的s1具體包括以下步驟：
10、對除變電設備外的所有點云數據，按照對象的表現形式、功能和分布信息劃分類別，包括電線、建筑、地面；根據變電設備的規模以及對象中包含的點云數量將變電設備點云數據類別劃分為小型設備，中型設備以及大型設備；對不同類別設置語義標簽；
11、根據點云數據的空間信息及特征信息對數據集進行區域劃分，將變電站點云數據劃分為不同大小的區域，并根據區域劃分訓練集和測試集，其中測試集均包括多個不同大小且包含所有類別的區塊。
12、上述的s2采用pointnext網絡作為用于點云數據的特征學習的主干網絡構建三維語義分割模型；所述主干網絡包括一個mlp層和四個下采樣模塊組成，每個下采樣模塊包括卷積和注意力機制結合模塊和pointnext中的倒瓶頸mlp模塊；其中，卷積和注意力機制結合模塊作為特征提取模塊，用于提取點云數據的局部和全局特征；倒瓶頸mlp模塊用于豐富得到的特征。
13、上述的卷積和注意力機制結合模塊提取特征的過程為：對于輸入點云進行采樣和分組：通過最遠點采樣法選取中心點，通過球查詢算法查找每個中心點的鄰域，將輸入點云劃分為若干個大小相同的鄰域；通過局部特征提取模塊lfe提取各個鄰域的局部特征lf；將局部特征lf、鄰域點的特征nf以及鄰域點相對于中心點的相對位置pr輸入到全局特征提取模塊gfe中進一步提取全局信息得到全局特征gf；將局部特征lf和全局特征gf進行逐元素相加得到最終的輸出特征值f。
14、上述的局部特征提取模塊lfe的具體操作為：對于鄰域內的點，首先通過卷積操作提取局部特征，之后通過最大池化操作將特征聚合到各個鄰域中心點上得到局部特征lf。
15、上述的全局特征提取模塊gfe包括線性層和矢量注意力模塊。
16、上述的矢量注意力模塊的編碼過程如下所示：
17、；
18、其中，va表示矢量注意力機制；lf為經過局部特征提取模塊lfe特征聚合后的中心點的特征值；nf為以lf為中心，經過球查詢算法查找到的鄰域點的特征值；pr表示鄰域中鄰域點與中心點之間的相對位置；
19、linear表示線性層；q、k、v、pe分別為查詢矩陣、鍵矩陣、值矩陣、位置編碼；
20、softmax(?，dim=-2)表示對輸入的值在倒數第二個維度上做歸一化；
21、gf表示經過矢量注意力機制后得到的全局特征。
22、上述的s3的損失函數采用交叉熵損失函數，公式為：
23、；
24、其中，n表示類別數量；和為原始輸出logits和真實類別的標簽target通過?softmax?函數分別轉換為概率分布。
25、上述的參數優化器為adamw優化器，其學習率為0.01，權重衰減率為。
26、本專利技術具有以下有益效果：
27、本專利技術通過對卷積和注意力機制進行結合，使模型可以發揮兩種方法的優勢，提高模型提取局部特征和全局特征的能力，增強對變電站數據語義分割的準確性，解決了現有三維語義分割方法在面對變電站場景中復雜的點云數據時準確性不足的技術問題。
28、本專利技術三維語義分割模型采用pointnext網絡作為用于點云數據的特征學習的主干網絡；并在主干網絡的下采樣層中添加對點云數據進行全局上下文信息提取的矢量注意力機制。其中，在生成注意力權重的過程中和獲取最終特征的過程中都添加位置編碼；該三維語義分割模型通過構建合適的卷積和注意力機制結合模塊，提高了模型提取點云數據局部特征和全局特征的能力。其中，注意力機制采用局部注意力機制，作用于以采樣點為中心點，經過球查詢算法得到的局部鄰域中，減少了模型的計算和內存成本。
29、本專利技術的矢量注意力模塊的編碼過程，在原始矢量注意力機制的基礎上，在三維語義分割任務中創新性地使用了交叉矢量注意力，使得全局特征提取模塊gfe能夠以局部特征lf和相應的原始鄰域特征nf為輸入，在進一步提取全局上下文信息的同時，實現局部特征提取模塊lfe和全局特征提取模塊gfe之間的信息交互，從而有效提高模型提取局部特征和全局特征的能力。
本文檔來自技高網...
【技術保護點】
1.基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述S1具體包括以下步驟：
3.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述局部特征提取模塊LFE的具體操作為：對于鄰域內的點，首先通過卷積操作提取局部特征，之后通過最大池化操作將特征聚合到各個鄰域中心點上得到局部特征lf。
4.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述全局特征提取模塊GFE包括線性層和矢量注意力模塊。
5.根據權利要求4所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述矢量注意力模塊的編碼過程如下所示：
6.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述S3的損失函數采用交叉熵損失函數，公式為：
7.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述參數優化器為AdamW優化器，其學習率為0.01，權重衰減率為。
...
【技術特征摘要】
1.基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述s1具體包括以下步驟：
3.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維語義分割方法，其特征在于，所述局部特征提取模塊lfe的具體操作為：對于鄰域內的點，首先通過卷積操作提取局部特征，之后通過最大池化操作將特征聚合到各個鄰域中心點上得到局部特征lf。
4.根據權利要求1所述的基于卷積與注意力結合的變電站場景三維...
【專利技術屬性】
技術研發人員：吳巧云，夏宇，汪俊，易程，
申請(專利權)人：安徽大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。