【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機視覺與深度學習，具體涉及一種基于無人機視頻流的橋梁裂縫識別方法、設(shè)備及存儲介質(zhì)。
技術(shù)介紹
1、在傳統(tǒng)的橋梁維護與安全評估中，橋梁裂縫的檢測是一項至關(guān)重要的任務(wù)。然而，橋梁結(jié)構(gòu)的復雜性、裂縫形態(tài)的多樣性以及圖像背景中的諸多干擾因素，如光照變化、表面污漬、紋理差異等，給裂縫檢測帶來了巨大挑戰(zhàn)。傳統(tǒng)的人工檢測方法依賴于專業(yè)人員的視覺檢查，不僅耗時費力，且易受主觀因素影響，難以保證檢測的一致性和準確性。而數(shù)字圖像處理技術(shù)雖然在一定程度上提升了自動化程度，但由于算法對復雜場景和多變裂縫形態(tài)的適應(yīng)性有限，其檢測效果仍難以滿足大規(guī)模橋梁檢測工程的需求。
2、隨著無人機技術(shù)的快速發(fā)展與成熟，以及高清相機、紅外熱像儀等新型圖像獲取裝置的普及，為橋梁裂縫檢測提供了新的解決方案。無人機能夠靈活穿梭于橋梁的各個部位，特別是難以到達的區(qū)域，實現(xiàn)全方位的圖像采集。然而，當前基于無人機的檢測方法大多采用全獲取策略，即不加區(qū)分地對整個橋梁結(jié)構(gòu)進行拍攝，導致獲取的圖像數(shù)據(jù)中包含了大量不含裂縫的背景圖像。這不僅極大地增加了后續(xù)圖像處理和數(shù)據(jù)分析的工作量，降低了處理效率，還因處理時間的延長而影響了檢測的實時性。
3、為了克服這些局限，深度學習技術(shù)因其強大的特征提取能力和對復雜場景的適應(yīng)性，逐漸被引入到橋梁裂縫檢測領(lǐng)域。深度學習模型，特別是卷積神經(jīng)網(wǎng)絡(luò)(cnn)，能夠自動從大量數(shù)據(jù)中學習裂縫的特征表示，并實現(xiàn)對裂縫的準確識別與定位。在目標檢測領(lǐng)域，基于深度學習的算法主要分為兩類：兩階段目標檢測算法和單階段目標檢測算法。前者
4、盡管yolo系列算法在目標檢測任務(wù)中展現(xiàn)了卓越的性能，但直接將yolo系列用于橋梁裂縫檢測的精度較低，還需要進一步對模型結(jié)構(gòu)進行修改，提高模型對橋梁裂縫的檢測精度。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在的不足，本專利技術(shù)提出一種基于無人機視頻流的橋梁裂縫識別方法，解決針對傳統(tǒng)人工檢測和數(shù)字圖像識別橋梁裂縫所出現(xiàn)效率低、效果不佳和實時性不強的技術(shù)問題，本專利技術(shù)采用動態(tài)蛇形卷積核和上下文信息增強模塊以及focal-giou對yolov8進行改進，旨在提升模型識別裂縫的準確率，同時，采用參數(shù)最少的n模型進行改進，旨在提升準確率的前提下，使得參數(shù)量盡量少，保證模型識別裂縫的速度。最后，將訓練后最佳模型搭載到無人機上，實現(xiàn)基于無人機視頻流的橋梁裂縫快速識別，提升橋梁裂縫檢測的時效性和安全性。
2、本專利技術(shù)采用的技術(shù)方案如下：
3、第一方面，提供了一種基于無人機視頻流的橋梁裂縫識別方法，包括：
4、構(gòu)建裂縫檢測模型的訓練數(shù)據(jù)集；
5、將所述訓練數(shù)據(jù)集輸入改進的yolov8n-seg深度學習模型進行訓練；
6、將經(jīng)過訓練的yolov8n-seg深度學習模型集成到無人機系統(tǒng)中，采用預設(shè)巡檢航線依次對橋梁表觀數(shù)據(jù)進行采集，同時使用經(jīng)過訓練的yolov8n-seg深度學習模型對采集的橋梁表觀數(shù)據(jù)進行即時分析，檢測并識別出橋梁表面存在的裂縫。
7、進一步的，利用圖像標注工具，通過篩選不同種類的裂縫圖像、進行instancesegmentation格式標記、通過旋轉(zhuǎn)數(shù)據(jù)增強技術(shù)擴大數(shù)據(jù)集，并以yolov8格式輸出包含80％訓練集和20％驗證集圖像及其對應(yīng)標簽文檔，最終構(gòu)建得到裂縫檢測模型的訓練數(shù)據(jù)集。
8、進一步的，所述改進的yolov8n-seg深度學習模型，包括：將backbone中c2f模塊組成部分bottleneck中的方形卷積核conv替換為動態(tài)蛇形卷積核dsconv，得到一個新的模塊，所述新的模塊為ds_bottleneck；將backbone中sppf模塊替換為上下文信息增強模塊cam模塊；將focal?loss和giou?loss耦合為focal-giou作為模型的損失函數(shù)。
9、進一步的，所述動態(tài)蛇形卷積核是在方形卷積核基礎(chǔ)上,引入偏置量，并在x軸和y軸方向上拉直，同時，在卷積核中加入連續(xù)性約束。
10、進一步的，所述連續(xù)性約束，是通過前一步卷積核位置對后一步卷積核位置進行約束。
11、進一步的，所述cam模塊，首先，將backbone輸出的圖像分別經(jīng)過卷積速率為1、3、5的空洞卷積，獲得不同感受野的上下文信息，并生成具有不同感受野的三個特征圖；其次，通過三個大小為1×1的卷積將所述生成的三個特征圖進行卷積；最后，使用concat函數(shù)將經(jīng)過卷積的三個特征圖進行拼接后輸入網(wǎng)絡(luò)結(jié)構(gòu)的下一層進行處理。
12、進一步的，所述focal-giou損失函數(shù)的表達式，表示為：
13、lfocal-giou＝iouγlgiou
14、其中，γ為控制曲線弧度的超參，lgiou＝1-giou，c為最小包閉框，a為預測檢測框，b為真實框，“\”表示相減。
15、進一步的，將所述訓練數(shù)據(jù)集輸入改進的yolov8n-seg深度學習模型進行訓練，包括以下步驟：
16、特征提取，將卷積模塊conv分別與c2f模塊以及ds_c2f模塊分別組合串行2次共4次，然后采用cam模塊通過3個并行的空洞卷積后進行憑借，增強模型對裂縫的理解能力；
17、特征融合，采用pan-fpn的思想，通過fpn自頂向下將高層的強語義特征向下傳遞，并在fpn尾部添加一個自底向上的金字塔，將強定位特征向上傳遞，增強多尺度特征的表達能力；
18、使用三個不同尺寸的檢測頭來對不同大小的目標物體進行檢測輸出。
19、第二方面，提供了一種電子設(shè)備，其特征在于，包括：
20、一個或多個處理器；
21、存儲裝置，用于存儲一個或多個程序；
22、當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)第一方面所述的一種基于無人機視頻流的橋梁裂縫識別方法。
23、第三方面，提供了一種存儲有計算機程序的計算機可讀存儲介質(zhì)，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所述的一種基于無人機視頻流的橋梁裂縫識別方法。
24、由上述技術(shù)方案可知，本專利技術(shù)的有益技術(shù)效果如下：
25、1..本專利技術(shù)基于yolov8n-seg進行橋梁裂縫快速檢測時，為應(yīng)對橋梁裂縫目標小，結(jié)合動態(tài)蛇形卷積提出了新的c2f模塊，增強模型對裂縫特征的提取能力；同時，為解決背景干擾問題，引入了上下文信息增強模塊cam對模型進行改進，該模塊加入了上下文思想，進一步增強了裂縫特征以便于模型提取；最后，對模型損失函數(shù)進行改進，新?lián)p失函數(shù)由focal?loss和giou?loss耦合得來，該損失函數(shù)可以動態(tài)降低訓練過程中易區(qū)分樣本的權(quán)重，從而快速將中心聚焦在難以區(qū)分的樣本。
26、2.本專利技術(shù)僅采用參數(shù)量最小的yolon模型進本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，利用圖像標注工具，通過篩選不同種類的裂縫圖像、進行Instance?Segmentation格式標記、通過旋轉(zhuǎn)數(shù)據(jù)增強技術(shù)擴大數(shù)據(jù)集，并以YOLOv8格式輸出包含80％訓練集和20％驗證集圖像及其對應(yīng)標簽文檔，最終構(gòu)建得到裂縫檢測模型的訓練數(shù)據(jù)集。
3.根據(jù)權(quán)利要求1所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述改進的YOLOv8n-seg深度學習模型，包括：將Backbone中C2f模塊組成部分Bottleneck中的方形卷積核Conv替換為動態(tài)蛇形卷積核DSConv，得到一個新的模塊，所述新的模塊為DS_Bottleneck；將Backbone中SPPF模塊替換為上下文信息增強模塊CAM模塊；將Focal?Loss和GIoU?Loss耦合為Focal-GIoU作為模型的損失函數(shù)。
4.根據(jù)權(quán)利要求3所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述動態(tài)蛇形卷積核是在方形卷積核
5.根據(jù)權(quán)利要求4所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述連續(xù)性約束，是通過前一步卷積核位置對后一步卷積核位置進行約束。
6.根據(jù)權(quán)利要求5所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述CAM模塊，首先，將Backbone輸出的圖像分別經(jīng)過卷積速率為1、3、5的空洞卷積，獲得不同感受野的上下文信息，并生成具有不同感受野的三個特征圖；其次，通過三個大小為1×1的卷積將所述生成的三個特征圖進行卷積；最后，使用Concat函數(shù)將經(jīng)過卷積的三個特征圖進行拼接后輸入網(wǎng)絡(luò)結(jié)構(gòu)的下一層進行處理。
7.根據(jù)權(quán)利要求6所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述Focal-GIoU損失函數(shù)的表達式，表示為：
8.根據(jù)權(quán)利要求7所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，將所述訓練數(shù)據(jù)集輸入改進的YOLOv8n-seg深度學習模型進行訓練，包括以下步驟：
9.一種電子設(shè)備，其特征在于，包括：
10.一種存儲有計算機程序的計算機可讀存儲介質(zhì)，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-8任一項所述的一種基于無人機視頻流的橋梁裂縫識別方法。
...【技術(shù)特征摘要】
1.一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，利用圖像標注工具，通過篩選不同種類的裂縫圖像、進行instance?segmentation格式標記、通過旋轉(zhuǎn)數(shù)據(jù)增強技術(shù)擴大數(shù)據(jù)集，并以yolov8格式輸出包含80％訓練集和20％驗證集圖像及其對應(yīng)標簽文檔，最終構(gòu)建得到裂縫檢測模型的訓練數(shù)據(jù)集。
3.根據(jù)權(quán)利要求1所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述改進的yolov8n-seg深度學習模型，包括：將backbone中c2f模塊組成部分bottleneck中的方形卷積核conv替換為動態(tài)蛇形卷積核dsconv，得到一個新的模塊，所述新的模塊為ds_bottleneck；將backbone中sppf模塊替換為上下文信息增強模塊cam模塊；將focal?loss和giou?loss耦合為focal-giou作為模型的損失函數(shù)。
4.根據(jù)權(quán)利要求3所述的一種基于無人機視頻流的橋梁裂縫識別方法，其特征在于，所述動態(tài)蛇形卷積核是在方形卷積核基礎(chǔ)上,引入偏置量，并在x軸和y軸方向上拉直，同時，在卷積核中加入連續(xù)性約束。
...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：唐菲菲，楊浩，李坤洋，唐芳，周俊哲，戚衛(wèi)家，羅琪，
申請(專利權(quán))人：重慶交通大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。