【技術實現步驟摘要】
本專利技術屬于機器人巡檢，涉及巡檢點異物檢測技術，具體涉及一種基于隨機負樣本合成的通用型區域異物檢測方法。
技術介紹
1、目前，計算機視覺技術在處理區域異物檢測時，通常需要事先對異物種類進行一定的判斷，采集素材并進行多種異物種類的目標檢測訓練。然后，通過模型推理來尋找訓練數據集內的幾種異物。這種方式的局限性在于提前限定了異物的種類，對于訓練類別之外的異物侵入，難以有效地進行檢測。然而，在日常的生產工作中，可能入侵異物的種類是不可預測的。采用有限類別的目標檢測來判斷是否存在異物顯然存在一定的安全隱患。由于在實際應用中，針對異物檢測的需求可能并不會限定異物的具體種類。這種情況下，任何類型的物體在本不應該存在的區域都應該被視為異物。
2、現有的許多產品主要基于目標檢測網絡進行異物檢測。通過調整網絡結構和模型轉換，以提升網絡的精度或輕量化，以期提高異物識別效果。然而，許多產品都依賴于人工標注采集的圖片中的異物，這限定了異物的種類，導致訓練的模型難以具備通用性。由于人工標注的原因，訓練數據量與人力投入成正比，難以形成大規模的數據集用于模型訓練。目前有一些產品采用了不同種類異物合成圖片的方法來構建訓練數據。盡管這在一定程度上通過較少的人力投入獲取了較大數量的合成圖片數據，并自動生成標簽文件，但仍然存在一些問題：
3、1.盡管采用了多種不同的異物，擴展了異物的種類，但仍然存在一定的限定性，使得異物檢測的通用性難以取得突破性進展；
4、2.使用合成圖片作為訓練數據可以減少采集和標注的工作量，降低成本，實現大規
技術實現思路
1、技術目的：針對上述技術問題，本專利技術提出了一種基于隨機負樣本合成的通用型區域異物檢測方法和裝置。
2、技術方案：為實現上述技術目的，本專利技術采用了如下技術方案：
3、一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，包括步驟：
4、設置巡檢機器人的巡檢路徑和巡檢點，將具有異物檢測需求的巡檢點設置為目標巡檢點，并為目標巡檢點創建異物檢測任務；
5、由巡檢機器人上的圖片采集裝置拍攝目標巡檢點的實時圖片；
6、由預先部署在巡檢機器人上的通用型區域異物檢測網絡對所述實時圖片進行處理，輸出判斷目標巡檢點是否存在異物的判別結果，其中，所述通用型區域異物檢測網絡包括負樣本生成模塊、數據增強模塊和ghostnet分類網絡模型。
7、優選地，所述通用型區域異物檢測網絡通過以下步驟訓練獲得：
8、a1、獲取預設數量的異物貼圖，構成異物貼圖數據，所述異物貼圖取自通用異物貼圖庫，是帶有透明通道的png圖片，異物貼圖中異物本體保留原像素，除異物本體外的背景區域設置為透明通道；獲取預設數量的無異物的定點區域背景圖，構成無異物正樣本背景數據，其中，所述定點區域背景圖是預先采集的所有目標巡檢點在全天不同時間段的無異物背景圖片；
9、a2、將所述異物貼圖數據和無異物正樣本背景數據輸入負樣本生成模塊，由負樣本生成模塊隨機抽取多個異物類型的異物貼圖，隨機調整長和寬，插入無異物的定點區域背景圖中，并隨機進行動態模糊、亮度、色調調整，生成負樣本，為無異物背景圖片設置正常標簽，表示無異常情況；
10、a3、將所述無異物正樣本背景數據與負樣本生成模塊生成的負樣本，以及對應的正常標簽和異常標簽共同輸入到圖片增強模塊，由圖片增強模塊對所有圖片執行歸一化處理和隨機程度的gamma校正處理，gamma校正后，再還原至0～255范圍，然后向圖片中添加噪聲，得到增強化的背景圖片和負樣本；
11、a4、將增強化的背景圖片和負樣本賦予不同標簽后，輸入到ghostnet分類網絡模型中，進行二分類任務訓練，訓練完成后，本輪迭代訓練結束；
12、a5、返回步驟a2，進入下一輪迭代，直至總迭代次數達到預設次數，結束迭代，生成通用型異物檢測模型。
13、優選地，所述步驟a3中，根據式(1)進行gamma校正：
14、
15、其中，g表示原圖片素點像素值，g’表示校正后的像素值，γ是gamma值并影響校正強度；
16、根據式(2)向圖片中添加高斯噪聲：
17、
18、其中表示正態分布，mean表示均值，std_dev表示標準差。
19、優選地，所述步驟a4中，所述ghostnet分類網絡模型的損失函數采用聯合損失函數表示為式(4)：
20、
21、其中，crossentropyloss表示交叉熵損失函數，α和β分別表示crossentropyloss和focalloss的權重；focal?loss表示為式(3)：
22、focalloss＝-(1-pt)δ·log(p)?????????????(3)
23、δ為調節參數，用于調節容易被分類錯誤的樣本權重，pt表示模型預測的樣本屬于正樣本的概率。
24、一種基于隨機負樣本合成的通用型區域異物檢測裝置，包括：
25、異物檢測任務設置模塊，用于設置巡檢機器人的巡檢路徑和巡檢點，將具有異物檢測需求的巡檢點設置為目標巡檢點，并為目標巡檢點創建異物檢測任務；
26、數據載入裝置，用于獲取安裝于巡檢機器人上的圖片采集裝置拍攝的目標巡檢點的實時圖片；
27、通用型區域異物檢測網絡，預先部署在巡檢機器人上，用于對所述實時圖片進行處理，輸出判斷目標巡檢點是否存在異物的判別結果，所述通用型區域異物檢測網絡包括負樣本生成模塊、數據增強模塊和ghostnet分類網絡模型。
28、優選地，所述數據載入模塊，還用于獲取預設數量的異物貼圖，構成異物貼圖數據，所述異物貼圖取自通用異物貼圖庫，是帶有透明通道的png圖片，異物貼圖中異物本體保留原像素，除異物本體外的背景區域設置為透明通道，以及，用于獲取預設數量的無異物的定點區域背景圖，構成無異物正樣本背景數據，其中，所述定點區域背景圖是預先采集的所有目標巡檢點在全天不同時間段的無異物背景圖片，為無異物背景圖片設置正常標簽，表示無異常情況；
29、所述通用型區域異物檢測網絡中，負樣本生成模塊，用于隨機抽取多個異物類型的異物貼圖，隨機調整長和寬，插入無異物的定點區域背景圖中，并隨機進行動態模糊、亮度、色調調整，生成負樣本，為無異物背景圖片設置正常標簽，表示無異常情況；
30、圖片增強模塊，用于接收所述無異物正樣本背景數據與負樣本生成模塊生成的負樣本，以及對應的正常標簽和異常標簽，并對所有圖片執行歸一化處理和隨機程度的gamma校正處理，gamma校正后，再還原至0～255范圍，然后向圖片中添加噪聲，得到增強化的背景圖片和負樣本；
31、ghostn本文檔來自技高網...
【技術保護點】
1.一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，包括步驟：
2.根據權利要求1所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述通用型區域異物檢測網絡通過以下步驟訓練獲得：
3.根據權利要求2所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述步驟A3中，根據式(1)進行gamma校正：
4.根據權利要求2所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述步驟A4中，所述GhostNet分類網絡模型的損失函數采用聯合損失函數表示為式(4)：
5.一種基于隨機負樣本合成的通用型區域異物檢測裝置，其特征在于，包括：
6.根據權利要求5所述的一種基于隨機負樣本合成的通用型區域異物檢測裝置，其特征在于：所述數據載入模塊，還用于獲取預設數量的異物貼圖，構成異物貼圖數據，所述異物貼圖取自通用異物貼圖庫，是帶有透明通道的PNG圖片，異物貼圖中異物本體保留原像素，除異物本體外的背景區域設置為透明通道，以及，用于獲取預設數量的無異物的定點區域背景圖，構成無異物正樣本
...【技術特征摘要】
1.一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，包括步驟：
2.根據權利要求1所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述通用型區域異物檢測網絡通過以下步驟訓練獲得：
3.根據權利要求2所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述步驟a3中，根據式(1)進行gamma校正：
4.根據權利要求2所述的一種基于隨機負樣本合成的通用型區域異物檢測方法，其特征在于，所述步驟a4中，所述ghostnet分類網絡模型的損失函數采用聯合損失函數表示為式(4)：
...
【專利技術屬性】
技術研發人員：陳麟偉，張兆珩，劉爽，閔濟海，
申請(專利權)人：南京天創電子技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。