【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及橋梁檢測，具體涉及一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法和裝置。
技術(shù)介紹
1、鋼結(jié)構(gòu)橋梁因其良好的力學(xué)性能和耐久性，被廣泛應(yīng)用于各類橋梁建設(shè)中。然而，由于長期暴露在自然環(huán)境中，橋梁的鋼結(jié)構(gòu)部分容易受到濕氣、鹽分、工業(yè)污染等因素的影響，導(dǎo)致出現(xiàn)銹蝕現(xiàn)象。銹蝕不僅影響橋梁的美觀，還會削弱其承載能力，威脅交通安全。傳統(tǒng)的銹蝕檢測方法主要依賴人工檢查和簡單的儀器檢測，這些方法存在著主觀性強(qiáng)、效率低、準(zhǔn)確性差等問題。
2、由于傳統(tǒng)的橋梁基礎(chǔ)設(shè)施病害檢測主要以人工為主，從而導(dǎo)致存在以下一些缺陷：1、效率低下，人工檢測通常需要大量的時(shí)間來完成，特別是對于大型結(jié)構(gòu)或廣泛的區(qū)域，檢測過程可能非常緩慢；2、人力成本高昂，由于檢測過程耗時(shí)且需要專業(yè)技術(shù)人員參與，因此人力成本較高；3、檢測盲區(qū)大，人工檢測很難覆蓋到所有區(qū)域，特別是對于難以到達(dá)或視線受阻的部位，容易出現(xiàn)檢測盲區(qū)；4、主觀性強(qiáng)，人工檢測的結(jié)果很大程度上取決于檢測人員的經(jīng)驗(yàn)和技能，可能存在主觀判斷的偏差；5、數(shù)據(jù)記錄不便，人工檢測過程中的數(shù)據(jù)記錄和整理通常較為繁瑣，不利于后續(xù)的分析和存檔。
技術(shù)實(shí)現(xiàn)思路
1、本申請?zhí)峁┮环N鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法和裝置，能夠顯著提高檢測的準(zhǔn)確性和整體效率。
2、第一方面，本申請實(shí)施例提供一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，所述鋼結(jié)構(gòu)橋梁銹蝕檢測處理方法包括：
3、基于文本編碼器、yolo主干檢測器和repvl-pan，構(gòu)建鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)yolo-world；p>
4、給定圖像樣本和銹蝕文本，對構(gòu)建的鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)yolo-world進(jìn)行訓(xùn)練；
5、基于圖像編碼器、提示編碼器、掩碼解碼器，構(gòu)建分割模型efficientsam，從而實(shí)現(xiàn)鋼結(jié)構(gòu)橋梁銹蝕圖像的檢測和分割。
6、結(jié)合第一方面，在一實(shí)施例中，
7、所述文本編碼器用于將輸入的文本序列轉(zhuǎn)換為固定維度的向量表示；
8、所述yolo主干檢測器用于進(jìn)行圖像特征的提取；
9、所述repvl-pan用于利用圖像特征和文本嵌入之間的跨模態(tài)融合，增強(qiáng)文本和圖像的表示。
10、結(jié)合第一方面，在一實(shí)施例中，對于yolo主干檢測器進(jìn)行圖像特征的提取，具體實(shí)現(xiàn)步驟包括：
11、經(jīng)過stem?layer并通過3*3卷積模塊對特征圖進(jìn)行初步的特征提取和降維；
12、通過c2f模塊對特征圖進(jìn)行四次下采樣，生成c2f模塊最終的輸出特征圖；
13、通過sppf模塊捕捉多尺度信息，并融合不同尺度的特征，生成最終的輸出特征圖。
14、結(jié)合第一方面，在一實(shí)施例中，對于repvl-pan利用圖像特征和文本嵌入之間的跨模態(tài)融合來增強(qiáng)文本和圖像的表示，具體實(shí)現(xiàn)步驟包括：
15、repvl-pan基于自上而下或自下而上的路徑，通過多尺度圖像特征建立特征金字塔；
16、在自上而下或自下而上融合后，采用改進(jìn)的文本引導(dǎo)的跨級部分層，將文本引導(dǎo)加入到多尺度圖像特征中；
17、利用圖像感知信息增強(qiáng)文本嵌入，引入image-pooling注意力，聚合圖像特征以更新文本嵌入。
18、結(jié)合第一方面，在一實(shí)施例中，所述給定圖像樣本和銹蝕文本，對構(gòu)建的鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)yolo-world進(jìn)行訓(xùn)練，具體包括：
19、給定圖像樣本和銹蝕文本，對構(gòu)建的鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)yolo-world進(jìn)行訓(xùn)練，yolo-world輸出預(yù)測結(jié)果和注釋；
20、基于任務(wù)對齊標(biāo)簽分配，將預(yù)測結(jié)果與真實(shí)標(biāo)注進(jìn)行匹配，并對每個正面預(yù)測結(jié)果均分配一文本索引作為分類標(biāo)簽。
21、結(jié)合第一方面，在一實(shí)施例中，
22、所述圖像編碼器用于輸出image?embedding；
23、所述提示編碼器用于接收來自yolo-world的box編碼信息，并與圖像編碼器輸出的image?embedding組合后送入掩碼解碼器中；
24、所述掩碼解碼器用于將圖像編碼器和提示編碼器的編碼信息轉(zhuǎn)化為mask輸出。
25、結(jié)合第一方面，在一實(shí)施例中，對于圖像編碼器輸出image?embedding，具體實(shí)現(xiàn)步驟包括：
26、對于待處理原圖，按照最大邊長補(bǔ)充成方形，再resize到1024*1024，得到1024*1024*3的圖片；
27、對于1024*1024*3的圖片，使用一個16*16，stride＝16，輸出channel數(shù)為patchembedding維度的二維卷積，得到768*64*64的feature?map，再調(diào)整維度得到64*64*768的feature?map；
28、通過global_atten_indexex參數(shù)，指定需使用全局注意力的block，以及需使用局部窗口注意力的block；
29、其中，圖像編碼器的neck部分由兩個卷積層組成，分別是256*768*1*1和256*256*3*3，且圖像編碼器輸出的image?embedding的尺寸為1*256*64*64。
30、結(jié)合第一方面，在一實(shí)施例中，對于提示編碼器接收來自yolo-world的box編碼信息，并與圖像編碼器輸出的image?embedding組合后送入掩碼解碼器中，具體包括：
31、提示編碼器接收來自yolo-world的box編碼信息，采用embed_boxes方法對來自yolo-world的框prompt進(jìn)行embedding；
32、將得到的框prompt的embedding，與圖像編碼器輸出的image?embedding組合后送入掩碼解碼器中；
33、其中，采用embed_boxes方法對來自yolo-world的框prompt進(jìn)行embedding，具體包括：
34、將boxes中的坐標(biāo)增加0.5，并將boxes移至像素中心；
35、將boxes處理為形狀為(-1,2,2)的張量coords，并對張量coords進(jìn)行位置編碼，得到corner_embedding；
36、對corner_embedding中的第0維增加point_embedding[2]的權(quán)重，對corner_embedding中的第1維增加point_embedding[3]的權(quán)重，返回corner_embedding作為框prompt的embedding。
37、結(jié)合第一方面，在一實(shí)施例中，對于將圖像編碼器和提示編碼器的編碼信息轉(zhuǎn)化為mask輸出，具體包括：
38、根據(jù)圖像編碼器的輸出和提示編碼器的輸出，預(yù)測掩碼；
39、調(diào)用predict_masks方法，根據(jù)框prompt的embedding的預(yù)測掩碼和掩碼質(zhì)量，若返回多個掩碼，則選擇mask的第1個維度后的全部切片，反之，則選擇mask的第1個維度的切片，最后輸出返回的掩碼和掩本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，所述鋼結(jié)構(gòu)橋梁銹蝕檢測處理方法包括：
2.如權(quán)利要求1所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，
3.如權(quán)利要求2所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于YOLO主干檢測器進(jìn)行圖像特征的提取，具體實(shí)現(xiàn)步驟包括：
4.如權(quán)利要求2所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于RepVL-PAN利用圖像特征和文本嵌入之間的跨模態(tài)融合來增強(qiáng)文本和圖像的表示，具體實(shí)現(xiàn)步驟包括：
5.如權(quán)利要求1所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，所述給定圖像樣本和銹蝕文本，對構(gòu)建的鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)YOLO-World進(jìn)行訓(xùn)練，具體包括：
6.如權(quán)利要求1所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，
7.如權(quán)利要求6所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于圖像編碼器輸出image?embedding，具體實(shí)現(xiàn)步驟包括：
8.如權(quán)利要求7所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于提示編碼器接收
9.如權(quán)利要求8所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于將圖像編碼器和提示編碼器的編碼信息轉(zhuǎn)化為mask輸出，具體包括：
10.一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割裝置，其特征在于，所述鋼結(jié)構(gòu)橋梁銹蝕檢測分割裝置包括：
...【技術(shù)特征摘要】
1.一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，所述鋼結(jié)構(gòu)橋梁銹蝕檢測處理方法包括：
2.如權(quán)利要求1所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，
3.如權(quán)利要求2所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于yolo主干檢測器進(jìn)行圖像特征的提取，具體實(shí)現(xiàn)步驟包括：
4.如權(quán)利要求2所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，對于repvl-pan利用圖像特征和文本嵌入之間的跨模態(tài)融合來增強(qiáng)文本和圖像的表示，具體實(shí)現(xiàn)步驟包括：
5.如權(quán)利要求1所述的一種鋼結(jié)構(gòu)橋梁銹蝕檢測分割方法，其特征在于，所述給定圖像樣本和銹蝕文本，對構(gòu)建的鋼結(jié)構(gòu)橋梁銹蝕目標(biāo)檢測網(wǎng)絡(luò)yolo-world進(jìn)行訓(xùn)練，具體包括：
6...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：姚金鑫，趙訓(xùn)剛，鐘繼衛(wèi)，吳巨峰，彭旭民，周強(qiáng)，劉詩洋，孫鶴鳴，舒昕，李贊，彭彥蓉，王錦麗，
申請(專利權(quán))人：中鐵大橋局集團(tuán)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。