【技術實現步驟摘要】
本專利技術涉及神經網絡領域，具體地涉及一種用于確定目標語義分割網絡模型的方法、裝置及處理器。
技術介紹
1、以工業智能化領域進行示例說明，語義分割在工業智能化領域有著舉足輕重的作用，比如在安全帽檢測、安全帶檢測等項目上，需要更加精確地去識別、分割不同的部分，使得識別更加精確；同時在化工生產實地場景中，也需要語義分割來實現更加準確的監控，對于巡檢機器人來說，有效地對場景進行語義分割是實現后續功能的基礎。語義分割任務是對圖像中的每一個像素賦予一個標簽，以實現對圖像內容像素級的分類。然而，收集專家標記的數據集尤其是像素級注釋是一個需要耗費極大人力物力的過程，目前常見的解決思路是對源域和目標域進行域適應，使得在帶標注源域上訓練的模型能夠遷移到無標注的目標域上并取得可接受的分割性能。如上所述，目前對于語義分割的域自適應研究，主要是針對單模態(圖像)的域自適應，語義分割網絡模型的分割效果較差。
技術實現思路
1、為了克服現有技術存在的不足，本專利技術實施例提供了一種用于確定目標語義分割網絡模型的方法、裝置及處理器。
2、為了實現上述目的，本專利技術第一方面提供一種用于確定目標語義分割網絡模型的方法，包括：
3、將第一訓練數據集和第二訓練數據集輸入至語義分割網絡模型，得到第一訓練數據集和所述第二訓練數據集的語義分割結果，第一訓練數據集包括源域2d圖像、源域3d點云數據、源域2d圖像的像素級標簽和源域3d點云數據的逐點級標簽，第二訓練數據集包括目標域2d圖像和目標域3d點云
4、將語義分割結果分別輸入至多個判別器，得到語義分割結果的多個分類結果，分類結果包括屬于2d源域、3d源域、2d目標域和3d目標域中的任意一個，判別器包括第一判別器、第二判別器、第三判別器和第四判別器中的至少一個，第一判別器用于判斷語義分割結果屬于2d源域或2d目標域，第二判別器用于判斷語義分割結果屬于3d源域或3d目標域，第三判別器用于判斷語義分割結果屬于2d源域或3d目標域，第四判別器用于判斷語義分割結果屬于3d源域或2d目標域；
5、根據語義分割結果和分類結果，語義分割網絡模型作為生成器分別與多個判別器進行對抗訓練，得到多個待測試的語義分割網絡模型；
6、將測試數據集輸入至多個待測試的語義分割網絡模型，得到多個待測試的語義分割網絡模型各自的測試分割結果，測試數據集包括目標域2d圖像、目標域3d點云數據、目標域2d圖像的像素級標簽和目標域3d點云數據的逐點級標簽；
7、根據各自的測試分割結果確定多個待測試的語義分割網絡模型中的目標語義分割網絡模型。
8、在本專利技術實施例中，語義分割網絡模型包括2d語義分割分支和3d語義分割分支，2d語義分割分支包括u-net網絡、特征提取網絡和真實2d分割頭，3d語義分割分支包括空間稀疏卷積神經網絡和真實3d分割頭；
9、將第一訓練數據集和第二訓練數據集輸入至語義分割網絡模型，得到第一訓練數據集和第二訓練數據集的語義分割結果包括：
10、將第一訓練數據集和第二訓練數據集中的2d圖像輸入至u-net網絡，得到密集像素形式的2d圖像，2d圖像包括源域2d圖像和目標域2d圖像；
11、將密集像素形式的2d圖像輸入至特征提取網絡，得到2d特征圖；
12、將2d特征圖輸入至真實2d分割頭，得到2d圖像的語義分割結果；
13、將第一訓練數據集和第二訓練數據集輸入至語義分割網絡模型，得到第一訓練數據集和第二訓練數據集的語義分割結果還包括：
14、將第一訓練數據集和第二訓練數據集中的3d點云數據輸入至空間稀疏卷積神經網絡，得到稀疏體素形式的3d點云數據，3d點云數據包括源域3d點云數據和目標域3d點云數據；
15、將稀疏體素形式的3d點云數據輸入至真實3d分割頭，得到3d點云數據的語義分割結果。
16、在本專利技術實施例中，方法還包括：
17、對3d點云數據進行投影，得到投影圖像；
18、以投影圖像的大小對2d特征圖進行裁剪和特征采樣，得到裁剪后的2d特征圖；
19、將2d特征圖輸入至真實2d分割頭，得到2d圖像的語義分割結果包括：
20、將裁剪后的2d特征圖輸入至所述真實2d分割頭，得到2d圖像的語義分割結果。
21、在本專利技術實施例中，2d語義分割分支包括模仿3d分割頭，3d語義分割分支包括模仿2d分割頭，方法還包括：
22、將裁剪后的2d特征圖輸入至模仿3d分割頭，得到3d分割預測結果；
23、將稀疏體素形式的3d點云數據輸入至模仿2d分割頭，得到2d分割預測結果；
24、根據3d分割預測結果以及真實3d分割頭的真實3d分割結果的第一分割損失、2d分割預測結果和真實2d分割頭的真實2d分割結果的第二分割損失，對模仿3d分割頭、模仿2d分割頭、真實3d分割頭以及真實2d分割頭進行再訓練。
25、在本專利技術實施例中，模仿3d分割頭和真實3d分割頭的輸出數據的尺寸是相同的，模仿2d分割頭和真實2d分割頭的輸出數據的尺寸是相同的。
26、在本專利技術實施例中，多個判別器和多個待測試的語義分割網絡模型的個數均為15個。
27、本專利技術第二方面提供一種用于確定目標語義分割網絡模型的裝置，裝置包括：
28、第一輸入模塊，用于將第一訓練數據集和第二訓練數據集輸入至語義分割網絡模型，得到第一訓練數據集和第二訓練數據集的語義分割結果，第一訓練數據集包括源域2d圖像、源域3d點云數據、源域2d圖像的像素級標簽和源域3d點云數據的逐點級標簽，第二訓練數據集均包括目標域2d圖像和目標域3d點云數據；
29、第二輸入模塊，用于將語義分割結果分別輸入至多個判別器，得到語義分割結果的多個分類結果，分類結果包括屬于2d源域、3d源域、2d目標域和3d目標域中的任意一個，判別器包括第一判別器、第二判別器、第三判別器和第四判別器中的至少一個，第一判別器用于判斷語義分割結果屬于2d源域或2d目標域，第二判別器用于判斷語義分割結果屬于3d源域或3d目標域，第三判別器用于判斷語義分割結果屬于2d源域或3d目標域，第四判別器用于判斷語義分割結果屬于3d源域或2d目標域；
30、訓練模塊，用于根據語義分割結果和分類結果，語義分割網絡模型作為生成器分別與多個判別器進行對抗訓練，得到多個待測試的語義分割網絡模型；
31、第三輸入模塊，用于將測試數據集輸入至多個待測試的語義分割網絡模型，得到多個待測試的語義分割網絡模型各自的測試分割結果，測試數據集包括目標域2d圖像、目標域3d點云數據、目標域2d圖像的像素級標簽和目標域3d點云數據的逐點級標簽；
32、確定模塊，用于根據各自的測試分割結果確定多個待測試的語義分割網絡模型中的目標語義分割網絡模型。
33、在本專利技術實施例中，語義分割網絡模型包括2d語義分割分支和3d語義分割分支本文檔來自技高網...
【技術保護點】
1.一種用于確定目標語義分割網絡模型的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述語義分割網絡模型包括2D語義分割分支和3D語義分割分支，所述2D語義分割分支包括U-Net網絡、特征提取網絡和真實2D分割頭，所述3D語義分割分支包括空間稀疏卷積神經網絡和真實3D分割頭；
3.根據權利要求2所述的方法，其特征在于，所述方法還包括：
4.根據權利要求3所述的方法，其特征在于，所述2D語義分割分支包括模仿3D分割頭，所述3D語義分割分支包括模仿2D分割頭，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，所述模仿3D分割頭和所述真實3D分割頭的輸出數據的尺寸是相同的，所述模仿2D分割頭和所述真實2D分割頭的輸出數據的尺寸是相同的。
6.根據權利要求1所述的方法，其特征在于，所述多個判別器和所述多個待測試的語義分割網絡模型的個數均為15個。
7.一種用于確定目標語義分割網絡模型的裝置，其特征在于，所述裝置包括：
8.根據權利要求7所述的裝置，其特征在于，所述語
9.一種處理器，其特征在于，被配置成執行根據權利要求1至6中任一項所述的用于確定目標語義分割網絡模型的方法。
10.一種機器可讀存儲介質，該機器可讀存儲介質上存儲有指令，其特征在于，該指令用于使得機器執行根據權利要求1至6任一項所述的用于確定目標語義分割網絡模型的方法。
...【技術特征摘要】
1.一種用于確定目標語義分割網絡模型的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述語義分割網絡模型包括2d語義分割分支和3d語義分割分支，所述2d語義分割分支包括u-net網絡、特征提取網絡和真實2d分割頭，所述3d語義分割分支包括空間稀疏卷積神經網絡和真實3d分割頭；
3.根據權利要求2所述的方法，其特征在于，所述方法還包括：
4.根據權利要求3所述的方法，其特征在于，所述2d語義分割分支包括模仿3d分割頭，所述3d語義分割分支包括模仿2d分割頭，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，所述模仿3d分割頭和所述真實3d分割頭的輸出數據的尺寸是相同的，所述模仿2d分割頭和所述真實2d分割頭的輸出數據的尺寸是相同的。
【專利技術屬性】
技術研發人員：石夢琪，陳雅麗，陶然，施紅勛，李傳坤，常慶濤，于一帆，劉瑾萱，
申請(專利權)人：中國石油化工股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。