【技術實現步驟摘要】
本專利技術涉及信息化與智能建造，具體地說，涉及一種混凝土結構病害實時視覺感知方法及手持式設備。
技術介紹
1、伴隨經濟的快速發展和城市化進程的逐步推進，橋梁建設體量日益擴大?；炷两Y構在施工期間容易產生露筋、蜂窩、孔洞、夾渣、疏松、裂縫、連接部位缺陷、外形缺陷、外表缺陷等外觀質量缺陷。混凝土質量的好壞，不但對建筑結構的安全，也對建筑工程的造價有很大影響，因此混凝土質量檢測是整個檢測工作中尤為重要的一環。傳統方法依靠專業檢測人員與目視檢測，費時費力、檢測成本高且受人為主觀性影響大。近年來，隨著以卷積神經網絡為代表的深度學習模型在諸多計算機視覺領域成功應用，不少基于深度學習的缺陷檢測方法也廣泛應用在各種工業場景中，但在收集數據與后續處理方面仍需大量人力物力。因此，亟須一種混凝土結構多類型病害移動感知及實時檢測方法，以高效、高精度識別隱蔽部位病害。
技術實現思路
1、本專利技術的內容是提供一種混凝土結構病害實時視覺感知方法及手持式設備，其具有非接觸、自動化、高精度、便捷式攜帶的優勢，可用于混凝土建造質量的檢測與評估。
2、根據本專利技術的一種混凝土結構病害實時視覺感知的手持式設備，其包括數據采集系統與數據分析系統；數據采集系統包括視覺傳感器、微型工控機、激光位移計、無線傳輸模塊、小功率照明燈及電源模塊；視覺傳感器用于拍攝建筑結構質量缺陷以及記錄缺陷類型、尺寸信息，微型工控機用于接收視覺傳感器記錄的圖像，實現各類型的質量缺陷實時檢測，激光位移計用于確定缺陷的位置信息，無線傳輸模
3、數據分析系統包括多類型病害識別模塊與細微裂縫高精度量化模塊；多類型病害識別模塊采用輕量級faster-rtdetr深度學習模型，該模型包括repgelan-vgg輕量化主干網絡、caa-fpn特征融合模塊以及aifi-hilo模塊；細微裂縫高精度量化模塊采用細微裂縫高精度分割half-au2模型，包括圖像特征高效提取ircga模塊、池化hwd模塊和half-net結構，并采用八方向搜索法計算裂縫寬度、長度和面積信息。
4、作為優選，repgelan-vgg輕量化主干網絡由elan模塊、repconv模塊和ghostnet網絡思想設計而成；對于輸入的640×640×3的rgb圖像，repgelan-vgg首先通過一個大小為3×3、步長為2的卷積操作改變通道數為64，然后依此通過3×3卷積層和repgelan模塊實現下采樣與特征提取，并進行relu激活，最后實現對原圖像的32倍下采樣。
5、作為優選，caa-fpn特征融合模塊中，在特征提取部分，首先將repgelan-vgg輕量化主干網絡提取的特征圖輸入caa模塊進一步提取遠距離像素間的上下文相互依賴性，通過1×1卷積改變特征圖通道匹配維度；接著進行特征融合，為了進一步提高模型對不同層次特征圖關聯度的學習能力，將高級特征上采樣擴張尺寸后經過caa模塊生成注意力權重，并和低級特征圖相乘來過濾低級特征中的必要語義信息，實現不同尺度特征融合，提高模型特征學習能力。
6、作為優選，aifi-hilo模塊中，引入了hilo注意力機制，具有提取高低頻信息的能力，能考慮不同底層頻率的特征。
7、作為優選，圖像特征高效提取ircga模塊結合了元移動模塊mmb與級聯群體注意力cga模塊；圖像特征高效提取ircga模塊中包含三條分支，第一條用于殘差模塊中的直連，第二條路徑首先經過1×1卷積層改變通道數，然后與第三條路徑中cga模塊產生的注意力權重進行計算，得到經過注意力加權的特征輸出，再經過3×3卷積層提取局部特征，并進行shortcut以緩解深層網絡中的梯度消失問題，之后再進行1×1卷積改變通道數，最后和第一條分支中的直連特征圖拼接形成該模塊的最終輸出。
8、作為優選，池化hwd模塊中，圖像進入hwd模塊時，首先經過hwt過程壓縮圖像大小為原先的一半，同時經過四條分支將通道數擴充為4倍，再經過3×3或1×1卷積層改變圖像通道數為輸出尺寸，從而實現特征圖的無損壓縮。
9、作為優選，half-net結構中，保留u2net的encode部分，優化了decoder模塊；首先輸入圖片依次經過rsu7、rsu6、rsu5、rsu4、rsu4f模塊，得到對應層級的特征圖；在decoder部分，采用一個1×1卷積改變通道數后直接輸出，得到六個顯著性預測概率圖d6、d5、d4、d3、d2、d1，再將這六個特征圖concat拼接，最后通過1×1卷積改變通道并用sigmoid函數激活得到最終的顯著性預測概率圖。
10、本專利技術提供了一種混凝土結構病害實時視覺感知方法，其采用上述的一種混凝土結構病害實時視覺感知的手持式設備，并包括以下步驟：
11、1)數據采集系統拍攝圖像；
12、2)多類型病害的實時檢測；
13、首先，輸入圖像通過repgelan-vgg輕量化主干網絡，依此通過3×3卷積和repgelan模塊進行卷積下采樣和高效特征提取，將p3、p4、p5三個特征層輸入caa-fpn特征融合網絡中；然后，在caa-fpn特征融合模塊中，對每個輸入特征層首先經過caa注意力模塊加強對上下文信息的關注，經過1×1卷積匹配通道后與鄰近特征層相乘以過濾出低級特征中的必要的語義信息，實現不同尺度特征融合；最后將融合表征后的三個特征層進行concat拼接，輸入decoder部分的輔助預測頭解碼器進行檢測目標的概率評估與輸出；
14、3)混凝土結構裂縫的高精度分割與量化；
15、首先在搭建的混凝土結構細微裂縫數據集上訓練half-au2分割模型，得到最優訓練權重；將圖像交與分割模型進行實時識別，并返回分割結果；最后，提取識別出的裂縫骨架及邊緣，并量化裂縫寬度、長度及面積。
16、作為優選，步驟3)中，具體為：
17、在細微裂縫高精度分割half-au2模型中，對于輸入的圖像，首先經過rsu模塊高效提取圖像特征，然后一條分支用于卷積后輸出過程特征圖，另一條分支則經過igcra注意力模塊增強圖像特征的表達。將上述流程重復四次后，特征圖進入rsu4f模塊，此時不再提取特征不再改變圖像大小而只增加通道數以減少小特征圖上的細節損失。最后將每條分支的過程特征圖改變尺寸與通道后拼接進行最終輸出；
18、對語義分割后的裂縫掩碼圖像進行高精度提取其骨架及邊緣，用于對裂縫的長度和寬度進行量化；使用zhang-suen算法提取裂縫的骨架，使用sobel算法提取裂縫的邊緣；然后，裂縫的寬度使用八方向搜索法計算，長度則近似等于裂縫骨架長度；
19、裂縫的分割結果為僅包含黑白兩色的灰度圖，根據微元法即可近似計算裂縫的面積sc,p，公式如下：
20、
21、式中，ds表示面積微元，可近似認為是一個像素的面積；h、w分別表示圖像的高度和寬度，p(i,j)表示(i,j)位置像素點的歸一化本文檔來自技高網...
【技術保護點】
1.一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：包括數據采集系統與數據分析系統；數據采集系統包括視覺傳感器、微型工控機、激光位移計、無線傳輸模塊、小功率照明燈及電源模塊；視覺傳感器用于拍攝建筑結構質量缺陷以及記錄缺陷類型、尺寸信息，微型工控機用于接收視覺傳感器記錄的圖像，實現各類型的質量缺陷實時檢測，激光位移計用于確定缺陷的位置信息，無線傳輸模塊用于視覺傳感器和微型工控機之間的信息傳輸，電源模塊用于提供能源供應；
2.根據權利要求1所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：RepGELAN-VGG輕量化主干網絡由ELAN模塊、Repconv模塊和Ghostnet網絡思想設計而成；對于輸入的640×640×3的RGB圖像，RepGELAN-VGG首先通過一個大小為3×3、步長為2的卷積操作改變通道數為64，然后依此通過3×3卷積層和RepGELAN模塊實現下采樣與特征提取，并進行ReLu激活，最后實現對原圖像的32倍下采樣。
3.根據權利要求2所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：CAA-FPN特征融合
4.根據權利要求3所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：AIFI-HiLo模塊中，引入了HiLo注意力機制，具有提取高低頻信息的能力，能考慮不同底層頻率的特征。
5.根據權利要求4所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：圖像特征高效提取IRCGA模塊結合了元移動模塊MMB與級聯群體注意力CGA模塊；圖像特征高效提取IRCGA模塊中包含三條分支，第一條用于殘差模塊中的直連，第二條路徑首先經過1×1卷積層改變通道數，然后與第三條路徑中CGA模塊產生的注意力權重進行計算，得到經過注意力加權的特征輸出，再經過3×3卷積層提取局部特征，并進行shortcut以緩解深層網絡中的梯度消失問題，之后再進行1×1卷積改變通道數，最后和第一條分支中的直連特征圖拼接形成該模塊的最終輸出。
6.根據權利要求5所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：池化HWD模塊中，圖像進入HWD模塊時，首先經過HWT過程壓縮圖像大小為原先的一半，同時經過四條分支將通道數擴充為4倍，再經過3×3或1×1卷積層改變圖像通道數為輸出尺寸，從而實現特征圖的無損壓縮。
7.根據權利要求6所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：Half-Net結構中，保留U2Net的Encode部分，優化了Decoder模塊；首先輸入圖片依次經過RSU7、RSU6、RSU5、RSU4、RSU4F模塊，得到對應層級的特征圖；在Decoder部分，采用一個1×1卷積改變通道數后直接輸出，得到六個顯著性預測概率圖d6、d5、d4、d3、d2、d1，再將這六個特征圖concat拼接，最后通過1×1卷積改變通道并用sigmoid函數激活得到最終的顯著性預測概率圖。
8.一種混凝土結構病害實時視覺感知方法，其特征在于：其采用如權利要求7所述的一種混凝土結構病害實時視覺感知的手持式設備，并包括以下步驟：
9.根據權利要求8所述的一種混凝土結構病害實時視覺感知方法，其特征在于：步驟3)中，具體為：
...【技術特征摘要】
1.一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：包括數據采集系統與數據分析系統；數據采集系統包括視覺傳感器、微型工控機、激光位移計、無線傳輸模塊、小功率照明燈及電源模塊；視覺傳感器用于拍攝建筑結構質量缺陷以及記錄缺陷類型、尺寸信息，微型工控機用于接收視覺傳感器記錄的圖像，實現各類型的質量缺陷實時檢測，激光位移計用于確定缺陷的位置信息，無線傳輸模塊用于視覺傳感器和微型工控機之間的信息傳輸，電源模塊用于提供能源供應；
2.根據權利要求1所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：repgelan-vgg輕量化主干網絡由elan模塊、repconv模塊和ghostnet網絡思想設計而成；對于輸入的640×640×3的rgb圖像，repgelan-vgg首先通過一個大小為3×3、步長為2的卷積操作改變通道數為64，然后依此通過3×3卷積層和repgelan模塊實現下采樣與特征提取，并進行relu激活，最后實現對原圖像的32倍下采樣。
3.根據權利要求2所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：caa-fpn特征融合模塊中，在特征提取部分，首先將repgelan-vgg輕量化主干網絡提取的特征圖輸入caa模塊進一步提取遠距離像素間的上下文相互依賴性，通過1×1卷積改變特征圖通道匹配維度；接著進行特征融合，為了進一步提高模型對不同層次特征圖關聯度的學習能力，將高級特征上采樣擴張尺寸后經過caa模塊生成注意力權重，并和低級特征圖相乘來過濾低級特征中的必要語義信息，實現不同尺度特征融合，提高模型特征學習能力。
4.根據權利要求3所述的一種混凝土結構病害實時視覺感知的手持式設備，其特征在于：aifi-hilo模塊中，引入了hilo注意力機制，具有提取高低頻信息的能力，能考慮不同底層頻率的特征。
【專利技術屬性】
技術研發人員：田永丁，曹俊博，劉語涵，陳佳鑫，
申請(專利權)人：西南交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。