【技術實現步驟摘要】
本專利技術屬于人工智能領域，涉及圖像處理技術，具體涉及一種基于多粒度原型(mglp)的影像語義分割方法、模型、設備及介質。
技術介紹
1、卷積神經網絡(cnn)和視覺變壓器(vi?ts)均是在“模型+數據+標簽”的框架下，利用先進的網絡結構，在海量數據中挖掘潛在有益的深度特征。這種數據驅動的范式已經帶來了相當大的突破，在各個領域顯著提高了像素級語義分割的準確性和效率。然而這種范式實際上與人類的視覺認知過程之間具有很大的不同。
2、人類從感知空間到認知空間的視覺認知過程有抽象化和結構化兩個固有特征。其中，前者可以將相似的實例壓縮成一個共享的抽象表征，其可以還原所有的共同特征，但被認為非常簡潔。例如，通過信息的保留和去除，將不同類型的摩托車抽象成一個單一的表征，這種抽象化過程在不同的粒度層次上同時發生，例如，摩托車、卡車和汽車可以在較粗的粒度層次上統一抽象為“車輛”。后者是指以遵循邏輯結構的方式組織不同粒度層次上類別的能力，這些邏輯結構通常具有明顯的層次化特點。例如，可以先在粗粒度層次上區分車輛、基礎設施和人，然后在細粒度層次上進一步識別不同種類的車輛、不同類型的設施和具有不同行為的人。在每個粒度層次上，不同類別之間具有充分的可分離性。上述兩個固有特征相互促進的，共同構成了人類視覺相對于機器視覺的顯著優勢。
3、顯然，只擬合“數據-標簽”關系的學習范式很難使機器獲得抽象化和結構化的能力，這阻礙了現有方法分割表現的進一步提高。因此，近年來，人們提出了以下幾種策略：
4、(1)對于抽象化能力，建立原型
5、(2)對于結構化能力，現有的方法對網絡結構的大幅度修改，過度關注已經獲取的類別層次結構，缺乏對不同層次類別之間邏輯關系的表達。
6、再者，現有方法中對于上述抽象化和結構化兩個固有特征都是分別研究，沒有將其統一泛化到不同的模型和場景，阻礙了機器視覺向人類視覺的進一步飛躍。
7、總來的來說，現有的影像語義分割方法僅僅以數據驅動方式擬合數據-標簽的對應關系，無法完全符合人類視覺認知過程的抽象化和結構化特點，限制了它們的性能上限。
技術實現思路
1、為了解決現有的影像語義分割方法僅僅以數據驅動方式擬合數據-標簽的對應關系，無法完全符合人類視覺認知過程的抽象化和結構化特點的技術問題，本專利技術公開了一種基于多粒度原型的影像語義分割方法，所述方法包括以下步驟：
2、s1、基于特征相似性聚類方法，依據細粒度標簽生成目標影像的粗粒度標簽，采用所述粗粒度標簽和所述細粒度標簽構建多粒度標簽空間；
3、s2、將所述目標影像劃分為訓練集和測試集，通過所述訓練集和建立的結構化邏輯，對所述多粒度標簽空間的所述粗粒度標簽和所述細粒度標簽進行原型學習，得到訓練后的第一骨干網絡、細粒度分割頭和粗粒度分割頭；
4、s3、使用訓練后的所述第一骨干網絡和所述細粒度分割頭對所述測試集進行預測得到第一預測結果，使用訓練后的所述第一骨干網絡和所述粗粒度分割頭對所述測試集進行預測得到第二預測結果；
5、s4、融合所述第一預測結果和所述第二預測結果，得到所述目標影像的分割結果，所述分割結果包括所述目標影像中每個像素點的類別。
6、本專利技術實施例還提供了一種基于多粒度原型的影像語義分割模型，包括多粒度標簽空間構建模塊、第一骨干網絡、細粒度分割頭、粗粒度分割頭和融合模塊。
7、其中，所述多粒度標簽空間構建模塊用于基于特征相似性聚類方法，依據細粒度標簽生成目標影像的粗粒度標簽，采用所述粗粒度標簽和所述細粒度標簽構建多粒度標簽空間；
8、所述第一骨干網絡用于提取所述目標影像的特征圖；
9、所述細粒度分割頭用于對所述特征圖進行預測得到第一預測結果；
10、所述粗粒度分割頭用于對所述特征圖進行預測得到第二預測結果；
11、所述融合模塊用于融合所述第一預測結果和所述第二預測結果，得到所述目標影像的分割結果，所述分割結果包括所述目標影像中每個像素點的類別。
12、本專利技術實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述任意的基于多粒度原型的影像語義分割方法，以解決現有的影像語義分割方法僅僅以數據驅動方式擬合數據-標簽的對應關系，無法完全符合人類視覺認知過程的抽象化和結構化特點的技術問題。
13、本專利技術實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有執行上述任意的基于多粒度原型的影像語義分割方法的計算機程序，以解決現有的影像語義分割方法僅僅以數據驅動方式擬合數據-標簽的對應關系，無法完全符合人類視覺認知過程的抽象化和結構化特點的技術問題。
14、與現有技術相比，本說明書實施例采用的上述至少一個技術方案能夠達到的有益效果至少包括：本專利技術的基于多粒度原型的影像語義分割方法，首先，通過在原有的細粒度標簽的基礎上，通過特征聚類方法生成粗粒度標簽，采用粗粒度標簽和細粒度標簽構建了多粒度標簽空間；其次，通過粗粒度分割頭和細粒度分割頭對訓練集的特征圖進行分割特征提取，得到的細粒度特征和粗粒度特征；然后，通過細粒度特征和粗粒度特征，采用損失函數，粗粒度標簽與細粒度標簽間的邏輯關系，以及設計的結構化約束對多粒度標簽空間中粗粒度標簽原型和細粒度標簽原型進行迭代計算、學習，得到訓練后的粗粒度分割頭和細粒度分割頭；最后，用訓練后的粗粒度分割頭和細粒度分割頭分別對測試集進行預測得到兩個預測結果，對兩個預測結果融合得到最終的分割結果。
15、本專利技術的方法及模型能夠更好地將抽象化和結構化這兩個關鍵能力融入至分割模型中，進一步提高現有分割模型的性能。
本文檔來自技高網...【技術保護點】
1.一種基于多粒度原型的影像語義分割方法，其特征在于，包括：
2.根據權利要求1所述的基于多粒度原型的影像語義分割方法，其特征在于，所述基于特征相似性聚類方法，依據細粒度標簽生成目標影像的粗粒度標簽，采用所述粗粒度標簽和所述細粒度標簽構建多粒度標簽空間，包括：
3.根據權利要求1所述的基于多粒度原型的影像語義分割方法，其特征在于，所述通過所述訓練集和建立的結構化邏輯，對所述多粒度標簽空間的所述粗粒度標簽和所述細粒度標簽進行原型學習，得到訓練后的第一骨干網絡、細粒度分割頭和粗粒度分割頭，包括：
4.根據權利要求3所述的基于多粒度原型的影像語義分割方法，其特征在于，通過交叉熵損失函數，使用所述細粒度特征和所述粗粒度特征分別計算所述粗粒度標簽原型、所述細粒度標簽原型和構建的結構化邏輯的損失，依據計算的損失分別對所述粗粒度標簽原型、所述細粒度標簽原型和構建的結構化邏輯迭代學習，包括：
5.根據權利要求3所述的基于多粒度原型的影像語義分割方法，其特征在于，通過交叉熵損失函數，使用所述細粒度特征和所述粗粒度特征計算所述結構化邏輯的損失，根據計算
6.根據權利要求5所述的基于多粒度原型的影像語義分割方法，其特征在于，所述垂直邏輯約束包括從粗粒度層至細粒度層的負向約束和從細粒度層至粗粒度層的正向約束，所述負向約束包括未分配給所述粗粒度標簽原型的像素一定不能分配其所包含的細粒度標簽原型，所述正向約束包括分配給所述細粒度標簽原型的像素必須分配與其對應的粗粒度標簽原型。
7.根據權利要求1所述的基于多粒度原型的影像語義分割方法，其特征在于，所述融合所述第一預測結果和所述第二預測結果，得到所述目標影像的分割結果，所述分割結果包括所述目標影像中每個像素點的類別，包括：
8.一種基于多粒度原型的影像語義分割模型，其特征在于，包括：
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的基于多粒度原型的影像語義分割方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執行權利要求1至7中任一項所述的基于多粒度原型的影像語義分割方法的計算機程序。
...【技術特征摘要】
1.一種基于多粒度原型的影像語義分割方法，其特征在于，包括：
2.根據權利要求1所述的基于多粒度原型的影像語義分割方法，其特征在于，所述基于特征相似性聚類方法，依據細粒度標簽生成目標影像的粗粒度標簽，采用所述粗粒度標簽和所述細粒度標簽構建多粒度標簽空間，包括：
3.根據權利要求1所述的基于多粒度原型的影像語義分割方法，其特征在于，所述通過所述訓練集和建立的結構化邏輯，對所述多粒度標簽空間的所述粗粒度標簽和所述細粒度標簽進行原型學習，得到訓練后的第一骨干網絡、細粒度分割頭和粗粒度分割頭，包括：
4.根據權利要求3所述的基于多粒度原型的影像語義分割方法，其特征在于，通過交叉熵損失函數，使用所述細粒度特征和所述粗粒度特征分別計算所述粗粒度標簽原型、所述細粒度標簽原型和構建的結構化邏輯的損失，依據計算的損失分別對所述粗粒度標簽原型、所述細粒度標簽原型和構建的結構化邏輯迭代學習，包括：
5.根據權利要求3所述的基于多粒度原型的影像語義分割方法，其特征在于，通過交叉熵損失函數，使用所述細粒度特征和所述粗粒度特征計算所述結構化邏輯的損失，根據計算得到的損失和建立的結構化邏輯約...
【專利技術屬性】
技術研發人員：高奎亮，余岸竹，游雄，洪丹陽，曹月，權雨君，朱廣陽，徐連瑞，劉冰，
申請(專利權)人：中國人民解放軍網絡空間部隊信息工程大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。