【技術實現步驟摘要】
本專利技術涉及自動駕駛車輛場景理解領域，尤其是涉及一種自動駕駛汽車實時語義分割模型構建方法。
技術介紹
1、語義分割是計算機視覺領域中的一項重要任務，它的目標是對圖像中的每個像素進行分類，以實現對圖像的更加全面的理解。在自動駕駛車輛的應用中，基于深度學習的全卷積網絡已經取得了很高的分割準確度。然而，這些模型的推理速度較慢，這在自動駕駛中是一個挑戰。因此，構建一個實時性要求高且具有高分割準確度的語義分割模型對于解析交通場景至關重要，這樣的模型能夠起到減輕計算負擔的作用。
2、隨著深度學習技術的快速發展，卷積神經網絡在圖像分割中得到了廣泛的應用，取代了傳統的人工特征提取方法。自全卷積網絡fcn引入以來，一系列新穎的網絡相繼被提出，如deeplabv3，sfnet等，旨在提高分割精度。這些網絡的不斷發展和完善為圖像分割帶來了更準確和穩健的解決方案。盡管這些模型實現了令人印象深刻的分割精度，但其高昂的計算成本對其在自動駕駛場景中的應用構成了重大障礙。為了滿足實時性的要求，最近，提出了幾種實時語義分割方法。這些方法通常被設計為漸進解碼或多分支網絡，可以有效提高分割準確性。然而，僅使用漸進解碼結構可能不能有效提取圖像的細節信息，相反，僅僅依靠多分支結構可能在不同階段缺乏語義信息的整合，因此對于實時分割方法的設計上需要進一步探索。
技術實現思路
1、根據上述提出的技術問題，本專利技術提出一種結合逐級解碼和多分支的實時語義分割方法，用于解決現有的實時語義分割方法不能有效提取圖像的細節信
2、本專利技術采用的技術手段如下：一種結合逐級解碼和多分支的實時語義分割方法，包括以下步驟：
3、獲取自動駕駛場景原始圖像并進行標注，得到語義分割的標簽圖像，原始圖像和標簽圖像構成數據集；
4、對原始圖像進行實時分割，得到自動駕駛的場景分割結果。
5、所述對原始圖像進行實時分割，包括以下步驟：
6、細節信息提取分支，將原始圖像經過卷積提取到的特征，經過第一卷積后、與語義信息提取分支中第一殘差網絡模塊輸出的特征通過第一特征融合模塊進行特征融合，再經過第二卷積得到包含原始圖像中邊界、紋理的細節信息；所述第一特征融合模塊輸出的特征經過邊緣檢測頭得到原始圖像的邊緣預測圖，與對標簽圖像通過canny算子得到的真實邊緣標簽圖進行交叉熵損失計算，以對特征融合模塊輸出的特征進行優化；
7、語義信息提取分支，將原始圖像經過卷積提取到的特征，依次經第一殘差網絡模塊、第二殘差網絡模塊、第三殘差網絡模塊、多尺度信息提取模塊后，與第二殘差網絡模塊輸出的特征，通過第二特征融合模塊進行特征融合，將融合后的特征，與第一殘差網絡模塊輸出的特征通過第三特征融合模塊進行特征融合后，得到語義信息；
8、多分支信息融合模塊，采用第四特征融合模塊，將細節信息提取分支的細節信息、與語義信息提取分支的語義信息進行融合，得到包含細節信息和語義信息的特征，作為用于預測分割結果的特征，通過分割頭得到自動駕駛的場景分割結果。
9、一種結合逐級解碼和多分支的實時語義分割系統，包括：
10、數據集構建模塊，用于獲取自動駕駛場景原始圖像并進行標注，得到語義分割的標簽圖像，原始圖像和標簽圖像構成數據集；
11、實時語義分割模型構建模塊，用于對原始圖像進行實時分割，得到自動駕駛的場景分割結果。
12、所述實時語義分割模型構建模塊，包括：
13、細節信息提取分支，用于將原始圖像經過卷積提取到的特征，經過第一卷積后、與語義信息提取分支中第一殘差網絡模塊輸出的特征通過第一特征融合模塊進行特征融合，再經過第二卷積得到包含原始圖像中邊界、紋理的細節信息；所述第一特征融合模塊輸出的特征經過邊緣檢測頭得到原始圖像的邊緣預測圖，與對標簽圖像通過canny算子得到的真實邊緣標簽圖進行交叉熵損失計算，以對特征融合模塊輸出的特征進行優化；
14、語義信息提取分支，用于將原始圖像經過卷積提取到的特征，依次經第一殘差網絡模塊、第二殘差網絡模塊、第三殘差網絡模塊、多尺度信息提取模塊后，與第二殘差網絡模塊輸出的特征，通過第二特征融合模塊進行特征融合，將融合后的特征，與第一殘差網絡模塊輸出的特征通過第三特征融合模塊進行特征融合后，得到語義信息；
15、多分支信息融合模塊，用于采用第四特征融合模塊，將細節信息提取分支的細節信息、與語義信息提取分支的語義信息進行融合，得到包含細節信息和語義信息的特征，作為用于預測分割結果的特征，通過分割頭得到自動駕駛的場景分割結果。
16、所述第一特征融合模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊均采用uafm模塊。
17、所述邊緣檢測頭依次由卷積、激活函數、雙線性插值組成。
18、所述分割頭依次由卷積、激活函數、雙線性插值組成。
19、一種結合逐級解碼和多分支的實時語義分割裝置，包括存儲器和處理器；所述存儲器，用于存儲計算機程序；所述處理器，用于當執行所述計算機程序時，實現所述的一種結合逐級解碼和多分支的實時語義分割方法。
20、一種計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現所述的一種結合逐級解碼和多分支的實時語義分割方法。
21、本專利技術的有益效果是：
22、1.本專利技術構建了一種新的實時語義分割模型，同時結合了多分支結構和逐級解碼結構的優點。
23、2.本專利技術提出的網絡結構在速度和精度都取得了很好的平衡，具有較強的魯棒性，適用于自動駕駛車輛交通場景領域，同時也可推廣到語義分割問題中，具有很好的實用性。
24、3.本專利技術建立了一種結合逐級解碼和多分支的實時語義分割方法，能夠較快的推理速度進行高精度分割，具有較強的穩定性。
本文檔來自技高網...【技術保護點】
1.一種結合逐級解碼和多分支的實時語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種結合逐級解碼和多分支的實時語義分割方法，其特征在于，所述對原始圖像進行實時分割，包括以下步驟：
3.一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，包括：
4.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述實時語義分割模型構建模塊，包括：
5.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述第一特征融合模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊均采用UAFM模塊。
6.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述邊緣檢測頭依次由卷積、激活函數、雙線性插值組成。
7.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述分割頭依次由卷積、激活函數、雙線性插值組成。
8.一種結合逐級解碼和多分支的實時語義分割裝置，其特征在于，包括存儲器和處理器；所述
9.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1-2任一項所述的一種結合逐級解碼和多分支的實時語義分割方法。
...【技術特征摘要】
1.一種結合逐級解碼和多分支的實時語義分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種結合逐級解碼和多分支的實時語義分割方法，其特征在于，所述對原始圖像進行實時分割，包括以下步驟：
3.一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，包括：
4.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述實時語義分割模型構建模塊，包括：
5.根據權利要求3所述的一種結合逐級解碼和多分支的實時語義分割系統，其特征在于，所述第一特征融合模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊均采用uafm模塊。
6.根據權利要求3所述的一種結合逐級解碼和多...
【專利技術屬性】
技術研發人員：尹震宇，施曉強，楊東升，張飛青，徐光遠，
申請(專利權)人：中國科學院沈陽計算技術研究所有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。