【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像處理與計算機(jī)視覺，特別涉及一種基于先驗(yàn)掩碼的高精度二分圖像分割方法及裝置。
技術(shù)介紹
1、高精度二分圖像分割(dichotomous?image?segmentation,dis)是指在高分辨率圖像中精確檢測并分割目標(biāo)前景物體的技術(shù)，廣泛應(yīng)用于諸如圖像編輯、3d重建、增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)圖像處理和機(jī)器人操作等領(lǐng)域。隨著現(xiàn)代工業(yè)和技術(shù)的發(fā)展，尤其是在重工業(yè)環(huán)境中，對高分辨率、精細(xì)化圖像處理的需求日益增加。這不僅要求分割算法具備更高的準(zhǔn)確性，還要求其能夠應(yīng)對復(fù)雜的應(yīng)用場景，如動態(tài)環(huán)境、復(fù)雜背景以及多目標(biāo)場景。然而，盡管深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用推動了圖像分割技術(shù)的發(fā)展，高精度二分圖像分割仍面臨一系列亟待解決的技術(shù)難題。
2、首先，現(xiàn)有的圖像分割方法在處理復(fù)雜背景時，目標(biāo)物體的定義往往模糊，導(dǎo)致前景和背景的區(qū)分不夠明確，尤其是在背景復(fù)雜或者前景物體邊緣細(xì)節(jié)較為復(fù)雜時，難以實(shí)現(xiàn)精確的目標(biāo)物體定位。其次，盡管分割算法可以在某些場景中取得較好的分割效果，但往往難以同時保留前景物體的高分辨率細(xì)節(jié)。在許多高精度應(yīng)用中，細(xì)節(jié)的缺失會導(dǎo)致分割結(jié)果不準(zhǔn)確，進(jìn)而影響下游應(yīng)用的性能和效果。
3、目前，大多數(shù)高精度圖像分割方法可分為兩大類：一類基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)，通過多階段架構(gòu)逐步細(xì)化分割結(jié)果。高級特征用于提供全局語義信息，而低級特征則幫助細(xì)化目標(biāo)物體的邊界。然而，這類方法雖然能一定程度上提高分割精度，但多階段的處理架構(gòu)往往導(dǎo)致推理速度較慢，難以滿足實(shí)際應(yīng)用中的實(shí)時性要求。此外，這種方法在處理細(xì)微物體邊緣時仍然存在欠
4、現(xiàn)有技術(shù)還存在著模型對同一任務(wù)理解不一致的問題，即不同方法對相同的分割任務(wù)處理方式不同，導(dǎo)致分割結(jié)果不一致。這種不穩(wěn)定性影響了分割的整體性能和可重復(fù)性。此外，部分方法由于缺乏對高精度和細(xì)節(jié)保留的有效處理，導(dǎo)致模型在面對復(fù)雜場景時性能大幅下降，尤其是在背景較為繁雜或者目標(biāo)物體邊緣細(xì)節(jié)多變的場景中表現(xiàn)不佳。因此，現(xiàn)有的高精度二分圖像分割方法在準(zhǔn)確性、細(xì)節(jié)保留、邊緣處理和推理速度等方面仍有較大改進(jìn)空間。
5、總的來說，高精度二分圖像分割面臨的主要問題包括：復(fù)雜背景下目標(biāo)物體定位不準(zhǔn)、難以同時保留高分辨率細(xì)節(jié)、現(xiàn)有方法的推理速度難以滿足實(shí)時性需求，以及模型對相同任務(wù)的處理結(jié)果不一致。這些問題顯著限制了現(xiàn)有技術(shù)在實(shí)際應(yīng)用中的廣泛性和可靠性，亟需一種能夠同時提升分割精度、保留細(xì)節(jié)并加快推理速度的技術(shù)方案，以更好地應(yīng)對高精度圖像分割的挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在目標(biāo)物體定位不準(zhǔn)確和細(xì)節(jié)分割效果差的問題，本專利技術(shù)提供了一種基于先驗(yàn)掩碼的高精度二分圖像分割方法及裝置。通過將用戶標(biāo)注的先驗(yàn)掩碼與高分辨率rgb圖像相結(jié)合，并使用多階段的融合、解碼和細(xì)化處理的技術(shù)方案，達(dá)到精確定位前景物體并保留高分辨率細(xì)節(jié)的技術(shù)效果。
2、為了實(shí)現(xiàn)上述專利技術(shù)目的，本專利技術(shù)提供了以下技術(shù)方案：
3、一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，包括以下步驟：
4、s1、獲取待分割的rgb圖像；
5、s2、在每個rgb圖像中添加一個覆蓋所需對象的多邊形，生成先驗(yàn)掩碼；
6、所述先驗(yàn)掩碼的生成包括：在所述rgb圖像的基礎(chǔ)上，通過打點(diǎn)標(biāo)注形成多邊形，將多邊形內(nèi)的像素設(shè)置為“1”，多邊形外的像素設(shè)置為“0”，輸出為先驗(yàn)掩碼；
7、s3、將所述rgb圖像與所述先驗(yàn)掩碼輸入至預(yù)先訓(xùn)練好的二分圖像分割模型中，獲取目標(biāo)前景分割結(jié)果；
8、所述二分圖像分割模型包括一個多階段數(shù)據(jù)處理系統(tǒng)，用于結(jié)合先驗(yàn)信息生成分割結(jié)果，該系統(tǒng)由多個數(shù)據(jù)處理模塊構(gòu)成，每個模塊執(zhí)行特定的數(shù)據(jù)操作以提取圖像特征并生成分割結(jié)果。
9、優(yōu)選的，所述二分圖像分割模型包括先驗(yàn)信息融合階段、目標(biāo)識別階段和結(jié)果細(xì)化階段；其中：所述先驗(yàn)信息融合階段將先驗(yàn)信息與所述rgb圖像融合，獲取帶有先驗(yàn)輔助信息的融合圖像特征；將所述融合圖像特征輸入到目標(biāo)識別階段的尺度聚合解碼器中，獲取初步分割預(yù)測結(jié)果；對所述初步分割預(yù)測結(jié)果進(jìn)行結(jié)果細(xì)分，獲取目標(biāo)前景分割結(jié)果。通過先驗(yàn)信息融合階段和尺度聚合解碼器的結(jié)合，使得圖像分割更加精準(zhǔn)。先驗(yàn)信息的引入提升了模型對目標(biāo)物體位置的敏感度，分割效果更加精確，尤其是對復(fù)雜背景的處理。結(jié)果細(xì)化階段進(jìn)一步提升了分割結(jié)果的細(xì)節(jié)保留。
10、優(yōu)選的，所述先驗(yàn)信息融合階段獲取所述rgb圖像和所述先驗(yàn)信息的融合圖像特征，包括以下步驟：
11、s201、將所述rgb圖像和所述先驗(yàn)掩碼進(jìn)行融合池化操作，獲取帶有輔助位置信息的特征向量；
12、s202、將所述特征向量輸入到先驗(yàn)信息融合模塊中進(jìn)行更新，獲取更新后的帶有先驗(yàn)輔助信息的第一數(shù)據(jù)。
13、這樣，通過將先驗(yàn)掩碼和rgb圖像進(jìn)行融合池化操作，能夠有效利用用戶標(biāo)注的信息進(jìn)行前景物體定位。融合后的圖像特征包含了更多的空間位置信息，模型能夠更加準(zhǔn)確地處理復(fù)雜場景中的分割任務(wù)。
14、優(yōu)選的，所述先驗(yàn)信息融合模塊通過如下公式對所述第一數(shù)據(jù)進(jìn)行計算：
15、
16、fpfm＝conv[irgb,im,v]+irgb,
17、其中，gap表示全局平均池化操作，irgb為所述rgb圖像，im為所述先驗(yàn)掩碼，表示逐元素相乘，v為所述帶有輔助位置信息的特征向量，[irgb,im,v]表示irgb、im、v的通道串聯(lián)操作，conv表示卷積層，fpfm為第一數(shù)據(jù)。基于具體公式的融合圖像特征計算方法，能夠有效結(jié)合rgb圖像和先驗(yàn)信息，提升了模型在前景和背景細(xì)節(jié)分割上的能力。全局平均池化操作進(jìn)一步優(yōu)化了特征信息的聚合，提高了分割模型的魯棒性。
18、優(yōu)選的，所述目標(biāo)識別階段通過以下步驟：
19、s301、對所述第一數(shù)據(jù)執(zhí)行圖像特征壓縮處理，獲取第二數(shù)據(jù)；
20、s302、將所述第一數(shù)據(jù)和所述第二數(shù)據(jù)輸入至編碼器，獲取層次化特征；其中，將所述第一數(shù)據(jù)輸入至resnet編碼器，獲取第一數(shù)據(jù)的層次化特征，表示為{ri}，下標(biāo)i∈{1，2，3，4}；將所述第二數(shù)據(jù)輸入至swin-transformer編碼器，獲取第二數(shù)據(jù)的層次化特征，表示為{si}，下標(biāo)i∈{1，2，3，4}；
21、s303、將第二數(shù)據(jù)中相鄰層次的特征對輸入至鄰近聚合模塊，獲取相鄰聚合特征；
22、s304、將第一數(shù)據(jù)與所述相鄰聚合特征輸入至尺度聚合解碼器模塊中，進(jìn)行跨尺度聚合解碼，獲取更新后的尺度聚合特征；
23、s305、根據(jù)所述尺度聚合特征生成初步分割預(yù)測結(jié)果；所述初步分割預(yù)測結(jié)果包括初步預(yù)測特征。
24、通過以上多層次特征壓本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述二分圖像分割模型包括先驗(yàn)信息融合階段、目標(biāo)識別階段和結(jié)果細(xì)化階段；其中：
3.根據(jù)權(quán)利要求2所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述先驗(yàn)信息融合階段獲取所述RGB圖像和所述先驗(yàn)信息的融合圖像特征，包括以下步驟：
4.根據(jù)權(quán)利要求3所述一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述先驗(yàn)信息融合模塊通過如下公式對所述第一數(shù)據(jù)進(jìn)行計算：
5.根據(jù)權(quán)利要求4所述一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述目標(biāo)識別階段通過以下步驟：
6.根據(jù)權(quán)利要求5所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，步驟S304中所述尺度聚合解碼器進(jìn)行跨尺度聚合解碼的公式如下：
7.根據(jù)權(quán)利要求6所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，在所述結(jié)果細(xì)化階段還包括對所述尺度聚合特征進(jìn)行精煉細(xì)化，具體包括：<...
【技術(shù)特征摘要】
1.一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述二分圖像分割模型包括先驗(yàn)信息融合階段、目標(biāo)識別階段和結(jié)果細(xì)化階段；其中：
3.根據(jù)權(quán)利要求2所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述先驗(yàn)信息融合階段獲取所述rgb圖像和所述先驗(yàn)信息的融合圖像特征，包括以下步驟：
4.根據(jù)權(quán)利要求3所述一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述先驗(yàn)信息融合模塊通過如下公式對所述第一數(shù)據(jù)進(jìn)行計算：
5.根據(jù)權(quán)利要求4所述一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，所述目標(biāo)識別階段通過以下步驟：
6.根據(jù)權(quán)利要求5所述的一種基于先驗(yàn)掩碼的高精度二分圖像分割方法，其特征在于，步驟s304中所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：傅可人，肖旻玥，周山豐，趙啟軍，
申請(專利權(quán))人：四川大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。