【技術實現步驟摘要】
本專利技術涉及工地違規行為檢測領域，具體涉及一種工地違規行為檢測管理方法、系統、終端及介質。
技術介紹
1、建筑工地的安全管理至關重要，然而傳統的工地安全管理方式存在諸多不足。一方面，對于工地違規行為的檢測往往依賴人工巡查，這種方式不僅效率低下，而且容易出現遺漏和誤判。人工巡查難以做到對工地各個角落的實時監控，無法及時發現潛在的安全違規行為。同時，人工檢測的覆蓋面有限，難以實現對工地安全風險點的全覆蓋檢測。另一方面，在進行安全管理要求的匹配時，通常需要管理人員憑借經驗和記憶去查找相應的規定文件，這一過程耗時費力且準確性難以保證。不同的違規行為可能對應不同的安全管理要求，人工匹配容易出現錯誤，導致安全管理措施無法準確落實。
2、隨著科技的不斷發展，部分圖像識別技術已被應用于工地安全管理，但是單一的圖像特征提取技術往往只能識別出部分明顯的違規行為，對于潛在的安全違規行為難以挖掘。同時，現有的技術在將檢測到的違規行為與安全管理要求進行匹配時缺乏高效、準確的方法，無法滿足工地安全管理日益增長的需求。
技術實現思路
1、為解決上述問題，本專利技術提供一種工地違規行為檢測管理方法、系統、終端及介質，通過從圖像實體和圖像特征向量兩個方便充分挖掘工地圖片中潛在的違規行為，提高違規行為挖掘的準確性，同時進行安全管理要求的匹配，提高工作效率，降低安全風險。
2、第一方面，本專利技術的技術方案提供一種工地違規行為檢測管理方法，包括以下步驟：
3、構建圖譜知識庫和圖文向
4、使用預先訓練的目標檢測模型對待測圖像進行處理，提取到待測圖像中的目標物理實體；
5、根據圖譜知識庫檢索與目標物理實體對應的違規管理信息，記為第一違規管理信息；
6、使用預先訓練的深度學習卷積神經網絡模型對待測圖像進行處理，提取到待測圖像的目標特征向量；
7、根據圖文向量庫檢索與目標特征向量對應的違規管理信息，記為第二違規管理信息；
8、使用多模態大模型對第一違規管理信息、第二違規管理信息進行處理獲得最終的違規管理信息。
9、在一個可選的實施方式中，構建圖譜知識庫包括：
10、構建工地圖譜知識圖譜，所述工地圖譜知識圖譜包括節點和邊關系，節點包括物理實體節點和違規管理信息節點，物理實體節點包含物理實體的實體屬性、名稱，違規管理信息節點包含文件名稱；
11、將工地圖譜知識圖譜存儲到neo4j數據庫。
12、在一個可選的實施方式中，工地圖譜知識圖譜的邊關系包括空間關系和語義關系，空間關系用于描述物理實體節點之間的相對位置、大小比例、顏色相似性，語義關系用于描述違規管理信息節點之間的文本描述和語義信息。
13、在一個可選的實施方式中，使用預先訓練的目標檢測模型對待測圖像進行處理，提取到待測圖像中的目標物理實體，具體包括：
14、使用預先訓練的grounding?dino模型對待測圖像進行處理，提取到待測圖像中的第一物理實體；
15、使用預先訓練的faster?rcnn神經網絡模型對待測圖像進行處理，提取到待測圖像中的第二物理實體；
16、使用yolo算法對待測圖像進行處理，提取到待測圖像中的第三物理實體；
17、將第一物理實體、第二物理實體、第三物理實體進行融合獲得目標物理實體。
18、在一個可選的實施方式中，使用預先訓練的grounding?dino模型對待測圖像進行處理，提取到待測圖像中的第一物理實體，具體包括：
19、將待測圖片輸入圖片骨干網絡進行特征提取獲得圖像特征；
20、將相關文本描述輸入文本骨干網絡進行特征提取獲得文本特征；
21、通過以下公式構建文本引導，
22、
23、式中，指文本引導，指文本引導網絡，指相近的k個圖片特征向量，指圖像特征，指文本特征；
24、將圖像特征、文本特征、文本引導輸入多模態編碼器獲得第一物理實體。
25、在一個可選的實施方式中，預先訓練的深度學習卷積神經網絡模型包含13個卷積層、4個池化層、1個全連接層以及1個softmax激活層。
26、在一個可選的實施方式中，使用多模態大模型對第一違規管理信息、第二違規管理信息進行處理獲得最終的違規管理信息，具體包括：
27、通過多路召回第一違規管理信息、第二違規管理信息構成候選集；
28、構建prompt提示信息；
29、根據prompt提示信息，使用graphrag模型對候選集進行檢索精排處理獲得最終的違規管理信息。
30、第二方面，本專利技術的技術方案提供一種工地違規行為檢測管理系統，包括，
31、數據庫構建模塊：構建圖譜知識庫和圖文向量庫，圖譜知識庫中存儲物理實體與違規管理信息之間的關系，圖文向量庫中存儲圖片特征向量與違規管理信息之間的關系；
32、目標物理實體提取模塊：使用預先訓練的目標檢測模型對待測圖像進行處理，提取到待測圖像中的目標物理實體；
33、第一信息檢索模塊：根據圖譜知識庫檢索與目標物理實體對應的違規管理信息，記為第一違規管理信息；
34、目標特征向量提取模塊：使用預先訓練的深度學習卷積神經網絡模型對待測圖像進行處理，提取到待測圖像的目標特征向量；
35、第二信息檢索模塊：根據圖文向量庫檢索與目標特征向量對應的違規管理信息，記為第二違規管理信息；
36、違規管理信息獲取模塊：使用多模態大模型對第一違規管理信息、第二違規管理信息進行處理獲得最終的違規管理信息。
37、第三方面，本專利技術的技術方案提供一種終端，包括：
38、存儲器，用于存儲工地違規行為檢測管理程序；
39、處理器，用于執行所述工地違規行為檢測管理程序時實現如上述任一項所述工地違規行為檢測管理方法的步驟。
40、第四方面，本專利技術的技術方案提供一種計算機可讀存儲介質，所述可讀存儲介質上存儲有工地違規行為檢測管理程序，所述工地違規行為檢測管理程序被處理器執行時實現如上述任一項所述工地違規行為檢測管理方法的步驟。
41、本專利技術提供的一種工地違規行為檢測管理方法、系統、終端及介質，相對于現有技術，具有以下有益效果：首先構建圖譜知識庫和圖文向量庫，然后利用預先構建的模型提取目標物理實體和目標特征向量，基于構建圖譜知識庫和圖文向量庫獲取相應的違規管理信息，最后通過多模態大模型獲取最終的違規管理信息。本專利技術通過從圖像實體和圖像特征向量兩個方便充分挖掘工地圖片中潛在的違規行為，提高違規行為挖掘的準確性，同時進行安全管理要求的匹配，提高工作效率，降低安全風險。
本文檔來自技高網...【技術保護點】
1.一種工地違規行為檢測管理方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的工地違規行為檢測管理方法，其特征在于，構建圖譜知識庫包括：
3.根據權利要求2所述的工地違規行為檢測管理方法，其特征在于，工地圖譜知識圖譜的邊關系包括空間關系和語義關系，空間關系用于描述物理實體節點之間的相對位置、大小比例、顏色相似性，語義關系用于描述違規管理信息節點之間的文本描述和語義信息。
4.根據權利要求1所述的工地違規行為檢測管理方法，其特征在于，使用預先訓練的目標檢測模型對待測圖像進行處理，提取到待測圖像中的目標物理實體，具體包括：
5.根據權利要求4所述的工地違規行為檢測管理方法，其特征在于，使用預先訓練的Grounding?DINO模型對待測圖像進行處理，提取到待測圖像中的第一物理實體，具體包括：
6.根據權利要求1所述的工地違規行為檢測管理方法，其特征在于，預先訓練的深度學習卷積神經網絡模型包含13個卷積層、4個池化層、1個全連接層以及1個Softmax激活層。
7.根據權利要求1所述的工地違規行為檢測管理方
8.一種工地違規行為檢測管理系統，其特征在于，包括，
9.一種終端，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有工地違規行為檢測管理程序，所述工地違規行為檢測管理程序被處理器執行時實現如權利要求1-7任一項所述工地違規行為檢測管理方法的步驟。
...【技術特征摘要】
1.一種工地違規行為檢測管理方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的工地違規行為檢測管理方法，其特征在于，構建圖譜知識庫包括：
3.根據權利要求2所述的工地違規行為檢測管理方法，其特征在于，工地圖譜知識圖譜的邊關系包括空間關系和語義關系，空間關系用于描述物理實體節點之間的相對位置、大小比例、顏色相似性，語義關系用于描述違規管理信息節點之間的文本描述和語義信息。
4.根據權利要求1所述的工地違規行為檢測管理方法，其特征在于，使用預先訓練的目標檢測模型對待測圖像進行處理，提取到待測圖像中的目標物理實體，具體包括：
5.根據權利要求4所述的工地違規行為檢測管理方法，其特征在于，使用預先訓練的grounding?dino模型對待測圖像進行處理，提取...
【專利技術屬性】
技術研發人員：單則安，李啟凱，徐昆，李亮，楊宇坤，
申請(專利權)人：山東浪潮智慧建筑科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。