一種庫存或陳列場景下的條煙檢測識別方法技術

本發明專利技術公開一種庫存或陳列場景下的條煙檢測識別方法，它包括如下步驟：采集條煙圖像，對合格圖像預處理，根據預處理的圖像得到中心點是煙盒的概率以及四個偏移點坐標，對于符合概率條件的圖像，根據四個偏移點坐標確定四邊形檢測框，并仿射變換成矩形圖像，通過建立多個神經網絡模型對矩形圖像進行識別，輸出預測結果，對預測結果進行信息融合得到識別結果，根據識別結果梳理出結構化信息，統計出圖像中條煙的數量、種類和品牌信息。本發明專利技術提供的條煙檢測識別方法適應性能好、檢測識別準確率高，識別速度快。

【技術實現步驟摘要】
一種庫存或陳列場景下的條煙檢測識別方法
本專利技術屬于計算機視覺領域，具體來說，涉及一種基于機器學習技術的條煙檢測方法。
技術介紹
卷煙市場的信息采集是建立現代卷煙營銷體系的重要基礎性工作。市場信息的采集、分析與利用驅動著卷煙需求預測、貨源組織、貨源供應和品牌培育等營銷關鍵業務的開展。與傳統行業不同，煙草行業的推廣不能通過傳媒廣告展開，因此主動搜集香煙銷售情況，了解掌握消費者的消費動向是煙草行業研發新品、制定銷售方案的重要手段。條煙的庫存信息是指在煙草零售終端的倉庫中存儲的各類條煙的品種與數量信息；條煙的陳列信息是指柜臺上的擺放銷售的各類條煙的品種與數量信息。通過分析條煙的庫存和陳列信息，得到香煙零售終端的庫存總量、單品庫存量、陳列總量、消費結構等數據。定期統計這些消費數據就可以準確預測市場的需求。在傳統做法中，條煙庫存與陳列信息的后期識別與統計過程全靠人工完成，效率十分低下。因此近些年來，隨著人工智能的不斷發展，自動檢測技術開始越來越多地應用到工業生產、社會安防和生活消費等各個方面。由于機器具備速度快、無疲勞、能適應惡劣環境等優點，自動檢測識別技術的普及極大地提高了工業生產水平，改善了人們的生活質量。但在香煙條盒的庫存與陳列信息捕獲方面，目前國際國內仍然沒有對相應信息進行自動化識別的技術。
技術實現思路
本專利技術旨在提供一種自動化的、高精度高魯棒性的庫存及陳列場景下的條煙檢測識別方法，通過該識別發方法并統計香煙零售終端的條煙庫存信息與條煙陳列信息，能夠代替目前的人工統計方式，從而提高工作效率。為實現上述技術目的，本專利技術采用的技術方案如下：一種庫存或陳列場景下的條煙檢測識別方法，包括如下步驟：采集儲存條煙的倉庫或條煙展示柜臺的圖像；判斷采集的圖像質量是否合格，如果圖像質量不合格，則重新采集圖像，如果圖像質量合格，則將圖像進行預處理；將預處理后的圖像送入具有目標檢測功能的神經網絡，輸出煙盒某一面的中心點坐標以及該中心點是煙盒的得分，同時輸出每個中心點對應的四個偏移點坐標；根據得到每個中心點是煙盒的得分，判斷中心點是否保留，若該得分大于設定閾值，則保留該中心點；根據保留的中心點以及該中心點對應的四個偏移點坐標，在每張圖像中確定對應的不規則四邊形檢測框；通過圖像仿射變換將不規則四邊形檢測框在內的圖像仿射為矩形圖像；通過建立多個條煙識別神經網絡模型對矩形圖像進行識別，輸出預測結果；對預測結果進行信息融合得到識別結果，根據識別結果梳理出結構化信息，統計出圖像中條煙的數量、種類和品牌信息；檢測是否有新的采集圖像出現，對新圖片重復上述條煙檢測識別的過程。進一步限定，所述判斷采集的圖像質量是否合格具體為：將圖像送入基于輕量移動網絡框架訓練的目標檢測神經網絡進行判斷。進一步限定，所述將圖像進行預處理具體包括：調整較暗或較亮的圖像使其顏色更鮮明；自動識別過度拉伸的圖像，將圖像內容恢復成正常比例；自動識別輸入分辨率不滿足條件的圖像，將圖像在長寬方向放大且保持圖像的。進一步限定，設定閾值為0.8。進一步限定，所述圖像仿射變換具體為：記(x0,y0)為變換前不規則四邊形圖像上的點坐標，(x1,y1)為變換后矩形圖像上的點坐標，則其中，為仿射變換矩陣。進一步限定，所述條煙識別神經網絡模型是根據收集的低分辨率、高分辨率、反光和遮擋共四種不同場景的訓練樣本，通過殘差網絡結構訓練出來的四個不同場景的神經網絡。本專利技術相比現有技術，具有如下有益效果：1.本專利技術可以處理多種視角下拍攝的倉庫堆放的條煙或香煙展示柜臺拍攝的照片，能夠自動對待識別圖像做增強處理，對場景的光照和不同拍攝設備的性能均有很好的適應能力。2.本專利技術提供的條煙檢測識別方法精度高，檢測準確率高達99％，識別準確率高達98％。3.本專利技術的識別方法只檢測識別香煙條煙，不檢測香煙的煙包，且每條煙只檢測出一個面，就能夠統計出一張圖片中香煙條盒的數量，種類和品牌信息。4.本專利技術提供的識別方法識別速度快，處理一張圖片到統計出結構化信息總體耗時在4秒以內。附圖說明圖1為本申請一種庫存或陳列場景下的條煙檢測識別方法的流程圖。具體實施方式為了便于本領域技術人員的理解，下面結合實施例與附圖對本專利技術作進一步的說明，實施方式提及的內容并非對本專利技術的限定。考慮到拍攝視角的不同以及應用場景可能存在的反光、遮擋、分辨率低等情況，本申請通過如下的實施例將基于深度學習的檢測與識別，以及信息融合等技術結合在一起，實現了一種高精度的庫存或陳列場景下的條煙檢測識別方法，具體步驟如下，如圖1所示：一種庫存或陳列場景下的條煙檢測識別方法，包括如下步驟：S10：通過高清攝像設備在儲存條煙的倉庫或條煙展示柜臺采集圖像，采集過程中需要保持每次采集時拍攝設備的穩定，確保采集圖像的質量。至于具體采集的方法，可以在儲存條煙的倉庫或條煙展示柜臺假設相機，也可以直接用手機等手持設備進行拍攝。S20：判斷采集的圖像質量是否符合要求，比如存在模糊不利于識別等情況，如果圖像質量不符合，則需要攝像設備重新采集條煙圖像，如果圖像質量合格，則將采集的圖片進行預處理。對于圖像質量是否合格，可以將采集的圖像送入基于輕量移動網絡(LWMNet)框架訓練的一個目標檢測神經網絡中，由于該網絡模型參數量較小，能快速判斷出圖片質量是否符合后續檢測識別條件。而圖像的預處理過程包括三個操作，這三個操作的順序可以任意調整：圖像對比度增強：即將較暗圖像提高亮度，將較亮的圖像降低亮度，從而使圖像顏色更為鮮明。圖像拉伸恢復：對過度拉伸的圖像進行自動識別，將圖像內容恢復成正常比例。圖像放大：對輸入分辨率較低的采集圖像在長度和寬度兩個方向進行放大，放大過程中確保圖像的質量無明顯損失。S30：將預處理后的圖像送入具有目標檢測功能的神經網絡，用于檢測條煙，輸出煙盒某一面的中心點坐標以及該中心點是煙盒的得分，此得分即表示該中心點是煙盒的概率P，同時輸出每個中心點所對應的四個偏移點坐標。上述用于檢測條煙的神經網絡根據中心點偏移網絡(CPONet)框架訓練得到，具有更高的檢測精度和計算速度。訓練該神經網絡時，本申請提前收集了各種情況的庫存場景和陳列場景的圖像作為訓練樣本，同時使用blender虛擬引擎生成了大量類似真實場景的虛擬圖像以增加訓練樣本的豐度，還可以加入光線調整來增強數據類型。標注數據時采用嚴格的標注規則，區分出條煙和煙包，并使用了煙包的圖像數據作為負樣本，最終使用于檢測條煙的神經網絡只檢測圖片中的條煙，而不檢測煙包。同時為了實現統計畫面中條煙數量的功能，該神經網絡對每一條煙只檢測其中的一個面。需要說明的是，訓練樣本可以通過點角坐標信息，利用數字圖像處理中的透射變換方法，將虛擬圖像與真實采集的圖像進行結合得到。...

【技術保護點】
1.一種庫存或陳列場景下的條煙檢測識別方法，其特征在于，包括如下步驟：/n采集儲存條煙的倉庫或條煙展示柜臺的圖像；/n判斷采集的圖像質量是否合格，如果圖像質量不合格，則重新采集圖像，如果圖像質量合格，則將圖像進行預處理；/n將預處理后的圖像送入具有目標檢測功能的神經網絡，輸出煙盒某一面的中心點坐標以及該中心點是煙盒的得分，同時輸出每個中心點對應的四個偏移點坐標；/n根據得到每個中心點是煙盒的得分，判斷中心點是否保留，若該得分大于設定閾值，則保留該中心點；/n根據保留的中心點以及該中心點對應的四個偏移點坐標，在每張圖像中確定對應的不規則四邊形檢測框；/n通過圖像仿射變換將不規則四邊形檢測框在內的圖像仿射為矩形圖像；/n通過建立多個條煙識別神經網絡模型對矩形圖像進行識別，輸出預測結果；/n對預測結果進行信息融合得到識別結果，根據識別結果梳理出結構化信息，統計出圖像中條煙的數量、種類和品牌信息；/n檢測是否有新的采集圖像出現，對新圖片重復上述條煙檢測識別的過程。/n

【技術特征摘要】
1.一種庫存或陳列場景下的條煙檢測識別方法，其特征在于，包括如下步驟：
采集儲存條煙的倉庫或條煙展示柜臺的圖像；
判斷采集的圖像質量是否合格，如果圖像質量不合格，則重新采集圖像，如果圖像質量合格，則將圖像進行預處理；
將預處理后的圖像送入具有目標檢測功能的神經網絡，輸出煙盒某一面的中心點坐標以及該中心點是煙盒的得分，同時輸出每個中心點對應的四個偏移點坐標；
根據得到每個中心點是煙盒的得分，判斷中心點是否保留，若該得分大于設定閾值，則保留該中心點；
根據保留的中心點以及該中心點對應的四個偏移點坐標，在每張圖像中確定對應的不規則四邊形檢測框；
通過圖像仿射變換將不規則四邊形檢測框在內的圖像仿射為矩形圖像；
通過建立多個條煙識別神經網絡模型對矩形圖像進行識別，輸出預測結果；
對預測結果進行信息融合得到識別結果，根據識別結果梳理出結構化信息，統計出圖像中條煙的數量、種類和品牌信息；
檢測是否有新的采集圖像出現，對新圖片重復上述條煙檢測識別的過程。


2.根據權利要求1所述的一種庫存或陳列場景下的條煙檢測識別方法，其特征在于，所述判斷采集的圖像質量是否合格具體為...

【專利技術屬性】
技術研發人員：楊恒，龍濤，
申請(專利權)人：深圳愛莫科技有限公司，
類型：發明
國別省市：廣東;44