【技術實現步驟摘要】
本專利技術涉及智慧城市、計算機視覺和實例分割的，特別涉及一種視頻內澇識別模擬方法、裝置及系統和存儲介質。
技術介紹
1、隨著全球氣候變化的不斷加劇，極端天氣事件頻發，內澇問題在城市管理中顯得更加緊迫和復雜。傳統方法使用水位傳感器檢測積水深度，但傳感器安裝成本高、施工與維護難度較大，且在實際使用過程中，受環境影響，容易發生損壞。因此，尋求更為經濟、高效的解決方案，成為了當前城市內澇防治工作的重中之重。
2、近年來，深度學習在內澇檢測中的應用逐漸增多，利用深度學習模型對城市監控視頻進行內澇識別更加快速便捷。然而，現有的模型在內澇檢測任務中還存在一定的局限性。如語義分割模型容易混淆地濕和積水，造成虛警率過高。圖片分類模型檢測信息量過少，無法根據積水區域面積區分小水坑和內澇。部分實例分割模型在檢測精度和實時性上還存在不足。此外，單張圖片的檢測結果可能出現錯誤，根據連續多張圖片的檢測結果作出判斷能夠減小誤差，基于視頻的內澇檢測比基于單張圖片的內澇檢測能夠提供更高的的準確率。
技術實現思路
1、為了解決上述問題，本專利技術提供了一種視頻內澇識別模擬方法、裝置及系統和存儲介質，以有效提升內澇檢測的準確率，在保證模型低漏警率的同時，減輕地濕和內澇的混淆，從而降低虛警率。此外，極大提高內澇檢測效率。
2、為了達到上述目的，本專利技術采用的技術方案如下：
3、根據本專利技術的第一方案，提供一種視頻內澇識別模擬方法，所述方法包括：
4、獲取多個包含內澇的圖
5、對rtmdet進行改進以構建內澇檢測模型；其中，對rtmdet進行改進包括：將骨干網絡的c2層特征在使用空間注意力機制后融合到c3層特征上；引入mgd蒸餾學習，使用rtmdet-x作為教師模型指導rtmdet-m學生模型的訓練；
6、將訓練集輸入內澇檢測模型訓練，得到模型的權重文件；
7、將訓練好的內澇檢測模型部署至推理框架中；
8、利用得到的權重文件對城市攝像監控視頻的幀進行檢測，并結合實時雨量信息對單幀的檢測結果進行校正；
9、基于檢測出內澇的幀的數量，來判斷對應視頻點是否發生內澇。
10、進一步地，獲取多個包含內澇的圖片，對各個圖片進行內澇輪廓標注后，制作標注數據集，并將所述標注數據集劃分為訓練集和測試集，包括：
11、基于多個包含內澇的圖片，對圖片中存在的積水區域進行標注，得到標注文件，所述標注文件包含圖像中目標的類別、位置和輪廓信息；將標注文件和對應的原圖片文件按設定比例劃分為訓練集和測試集后，轉換統一格式的數據集。
12、進一步地，對rtmdet進行改進以構建內澇檢測模型，包括：
13、從rtmdet的骨干網絡cspnext中提取原本不被使用的c2層特征，并對所述c2層特征應用空間注意力機制；所述空間注意力機制包括：對特征圖進行分組，在分組后的特征圖上使用groupnorm進行空間注意力處理，將處理后的特征圖重新合并后與c3層特征融合；
14、引入mgd蒸餾學習方法來進一步構建內澇檢測模型；在蒸餾過程中，采用參數量和計算量小的rtmdet-m模型作為學生模型，參數量和計算量大的rtmdet-x模型作為教師模型；隨機選取rtmdet-m模型的neck層特征圖中的部分像素進行掩碼操作，使用一個包含卷積層和激活層的簡單模塊處理被掩碼后的特征，將處理后的學生特征與rtmdet-x模型的neck層特征圖計算均方誤差，并乘以一個系數后加入到總損失函數中，以指導學生模型生成與教師模型相似的特征表示。
15、進一步地，將訓練集輸入內澇檢測模型訓練，得到模型的權重文件，包括：
16、將輸入圖片調整到指定大小，并采用隨機尺度變換、隨機裁剪、顏色空間增強、隨機水平翻轉、mosaic、mixup方式進行數據增強。
17、加載訓練集；
18、設置訓練次數、學習率參數開始訓練模型；
19、計算分類損失、檢測框損失、掩膜損失和蒸餾損失并進行反向傳播更新權值，訓練結束后存儲最終的模型權值得到權重文件；其中，損失函數表示為：
20、loss＝lcls+lbbox+lmask+αldistill
21、
22、式中，loss表示損失值，lcls表示分類損失，lbbox表示檢測框回歸損失，lmask表示像素分割掩膜損失；i為錨框的索引，pi*表示第i個錨框中是否含有目標，當第i個錨框中含有目標時，pi*等于1；當第i個錨框中是背景時，pi*為0；pi表示第i個錨框中目標的概率值；vi代表第i個錨框預測的中心點坐標及寬高的參數化向量，vi*是第i個標簽邊框的參數化向量；nc是分類數，此處只有積水和背景兩種類別，nij為像素中屬于第i類而預測為第j類的數目，nii代表像素中屬于第i類并預測為第i類的數目，即第i類預測正確的數目，ni代表預測的第i類損傷的檢測框總數目；ncls、nbbox均為用于歸一化的常數；nlevel為使用的特征融合層的層數；ti為教師網絡neck部分特征，si為學生網絡neck部分特征；lmask表示掩膜損失，ldistill表示蒸餾損失。
23、進一步地，將訓練好的內澇檢測模型部署至推理框架中，包括：
24、將模型權重轉換成onnx格式，服務器上部署onnxruntime-gpu框架，內澇檢測模型在onnxruntime-gpu框架下進行檢測。
25、進一步地，利用得到的權重文件對城市攝像監控視頻的幀進行檢測，并結合實時雨量信息對單幀的檢測結果進行校正，包括：
26、基于設定幀率，從城市攝像監控系統的實時視頻流中提取幀，將提取的幀輸入訓練好的模型中進行內澇檢測；
27、提取出檢測結果中內澇區域的位置、輪廓信息和置信度，并根據設定的分數閾值過濾掉置信度低于閾值的檢測。
28、計算檢測出的積水面積占整張圖片面積之比，去除面積占比小于0.05的小水坑，剩余的檢測框及對應的分類置信度score、積水掩膜mask加載到原圖片上，得到單幀的檢測結果圖片；
29、聯合攝像頭附近的自動站雨量數據對檢測結果做進一步篩選訂正，若自動站6小時累計雨量小于28mm而圖片檢測出內澇，則確定模型檢測有誤，去除錯誤結果。
30、進一步地，基于檢測出內澇的幀的數量，來判斷對應視頻點是否發生內澇，包括：
31、對實時視頻流中提取的幀快速檢測，統計檢測出內澇的幀的數量，若連續5幀中累計檢測到4幀顯示出現內澇，則判斷該視頻點確實發生了內澇，并發出預警。
32、根據本專利技術的第二技術方案，提供一種視頻內澇識別模擬裝置，所述裝置包括：
33、數據集構建模塊，被配置為獲取多個包含內澇的圖片，對各個圖片進行內澇輪廓標注后，制作標注數據集，并將所述標注數據集劃分為訓練本文檔來自技高網...
【技術保護點】
1.一種視頻內澇識別模擬方法，其特征在于，所述方法包括；
2.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，獲取多個包含內澇的圖片，對各個圖片進行內澇輪廓標注后，制作標注數據集，并將所述標注數據集劃分為訓練集和測試集，包括：
3.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，對RTMDet進行改進以構建內澇檢測模型，包括：
4.如權利要求3所述的視頻內澇識別模擬方法，其特征在于，將訓練集輸入內澇檢測模型訓練，得到模型的權重文件，包括：
5.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，將訓練好的內澇檢測模型部署至推理框架中，包括：
6.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，利用得到的權重文件對城市攝像監控視頻的幀進行檢測，并結合實時雨量信息對單幀的檢測結果進行校正，包括：
7.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，基于檢測出內澇的幀的數量，來判斷對應視頻點是否發生內澇，包括：
8.一種視頻內澇識別模擬裝置，其特征在于，所述裝置包括：
9.一
10.一種存儲有指令的非暫時性計算機可讀存儲介質，當所述指令由處理器執行時，執行根據權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種視頻內澇識別模擬方法，其特征在于，所述方法包括；
2.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，獲取多個包含內澇的圖片，對各個圖片進行內澇輪廓標注后，制作標注數據集，并將所述標注數據集劃分為訓練集和測試集，包括：
3.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，對rtmdet進行改進以構建內澇檢測模型，包括：
4.如權利要求3所述的視頻內澇識別模擬方法，其特征在于，將訓練集輸入內澇檢測模型訓練，得到模型的權重文件，包括：
5.如權利要求1所述的視頻內澇識別模擬方法，其特征在于，將訓練好的內澇檢測模型部署至推理...
【專利技術屬性】
技術研發人員：陳雨欣，伍光勝，張志堅，孫偉忠，張毅，
申請(專利權)人：廣州市突發事件預警信息發布中心廣州市氣象探測數據中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。