【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于圖像處理。
技術(shù)介紹
1、智能購(gòu)物車(chē)是一種新型的超市購(gòu)物手推車(chē)，除了具備普通購(gòu)物車(chē)裝載貨物的功能，還具有支持用戶(hù)自助掃碼購(gòu)物，快速自助結(jié)賬離開(kāi)超市等功能。
2、智能購(gòu)物車(chē)基于其自身配置的前置攝像頭、雙重?cái)z像頭、重量傳感器等硬件設(shè)備，配合場(chǎng)內(nèi)的燈光設(shè)備、藍(lán)牙設(shè)備等技術(shù)手段，可以采集到用車(chē)顧客從進(jìn)店到離店的所有消費(fèi)行為數(shù)據(jù)，包括用戶(hù)的游逛軌跡、商品取放記錄、區(qū)域購(gòu)物時(shí)間等信息。
3、對(duì)于智能購(gòu)物車(chē)而言，利用購(gòu)物車(chē)上的攝像頭檢測(cè)車(chē)內(nèi)變化區(qū)域，直接關(guān)系自助結(jié)賬的準(zhǔn)確性，目前，在購(gòu)物車(chē)中檢測(cè)變化區(qū)域通常有以下幾種方法。
4、1、方法一采用對(duì)前后幀的rgb圖像作差分處理，直接計(jì)算出當(dāng)前一幀圖像與前一幀圖像的變化區(qū)域。
5、2、方法二采用基于rgb圖像運(yùn)用深度學(xué)習(xí)的方式直接對(duì)購(gòu)物車(chē)內(nèi)的物品先做目標(biāo)檢測(cè)，同樣的如果需要對(duì)視頻前后幀做變化區(qū)域定位處理，先做完目標(biāo)檢測(cè)后再計(jì)算變化區(qū)域。
6、3、方法三采用基于光流的計(jì)算方法針對(duì)每一幀圖像做運(yùn)算，通過(guò)分析圖像序列中的像素運(yùn)動(dòng)，估計(jì)每個(gè)像素的運(yùn)動(dòng)矢量場(chǎng)，通過(guò)分析運(yùn)動(dòng)矢量場(chǎng)，檢測(cè)出圖像中的運(yùn)動(dòng)物體及其位置，最終定位到變化區(qū)域。
7、現(xiàn)有方法有以下幾個(gè)缺陷：
8、1、方法一運(yùn)算簡(jiǎn)單，直接處理兩張圖片即可得到變化區(qū)域，但是該方法局限性較大，在超市燈光環(huán)境復(fù)雜時(shí)常因?yàn)樯錈粢约捌渌庠串a(chǎn)生重陰影，該方法無(wú)法較好的濾除這種干擾。
9、2、方法二基于
10、3、方法三基于光流計(jì)算運(yùn)動(dòng)物體，最終確定購(gòu)物車(chē)變化區(qū)域，該方法相較于方法一抗干擾能力略強(qiáng)，但依舊會(huì)收到陰影影響，同時(shí)需要處理每個(gè)像素的運(yùn)動(dòng)矢量同樣需要不小的算力。
11、基于以上現(xiàn)有方法的不足，本專(zhuān)利技術(shù)要解決在有限的算力的條件下，應(yīng)對(duì)超市復(fù)雜的燈光環(huán)境，如何快速準(zhǔn)確的定位購(gòu)物車(chē)在使用過(guò)程中車(chē)內(nèi)的變化區(qū)域的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、目的：為了克服現(xiàn)有技術(shù)中存在的不足，本專(zhuān)利技術(shù)提供一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法、電子設(shè)備及存儲(chǔ)介質(zhì)。
2、技術(shù)方案：為解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)采用的技術(shù)方案為：
3、第一方面，一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，具體包括：
4、步驟1：根據(jù)購(gòu)物車(chē)的深度圖和購(gòu)物車(chē)的rgb圖像，獲取擬合好的單應(yīng)性變換模型。
5、步驟2：當(dāng)重量傳感器的輸出值變化前，獲取購(gòu)物車(chē)的第一深度圖；當(dāng)重量傳感器的輸出值變化后，獲取購(gòu)物車(chē)的第二深度圖，同時(shí)獲取購(gòu)物車(chē)的第二rgb圖像；根據(jù)購(gòu)物車(chē)的第一深度圖和第二深度圖獲取深度圖的變化區(qū)域。
6、步驟3：將深度圖的變化區(qū)域利用擬合好的單應(yīng)性變換模型映射到購(gòu)物車(chē)的第二rgb圖像上，得到第二rgb圖像上變化區(qū)域w1。
7、作為優(yōu)選方案，還包括，
8、步驟4：當(dāng)重量傳感器的輸出值再次變化后，獲取購(gòu)物車(chē)的第三深度圖,同時(shí)獲取購(gòu)物車(chē)的第三rgb圖像；根據(jù)購(gòu)物車(chē)的第二深度圖和第三深度圖獲取深度圖的第二變化區(qū)域。
9、步驟5：將深度圖的第二變化區(qū)域利用單應(yīng)性變換模型映射到第三rgb圖像上，得到第三rgb圖像上變化區(qū)域w2,變化區(qū)域w3，計(jì)算變化區(qū)域w1與變化區(qū)域w2，變化區(qū)域w1與變化區(qū)域w3的交并比以及相似度，根據(jù)交并比以及相似度，獲取新的變化區(qū)域。
10、作為優(yōu)選方案，還包括，
11、步驟6：對(duì)變化區(qū)域w1和新的變化區(qū)域進(jìn)行錨框定位。
12、作為優(yōu)選方案，所述步驟1，具體包括：
13、步驟1.1，獲取購(gòu)物車(chē)的深度圖，將購(gòu)物車(chē)的深度圖歸一化后轉(zhuǎn)換為深度圖對(duì)應(yīng)的灰度圖。
14、步驟1.2，對(duì)深度圖對(duì)應(yīng)的灰度圖進(jìn)行預(yù)處理，得到預(yù)處理后的深度圖對(duì)應(yīng)的灰度圖。
15、步驟1.3，將預(yù)處理后的深度圖對(duì)應(yīng)的灰度圖進(jìn)行二值化處理，得到深度圖對(duì)應(yīng)的二值圖。
16、步驟1.4，獲取購(gòu)物車(chē)的rgb圖像,對(duì)購(gòu)物車(chē)的rgb圖像進(jìn)行色彩檢測(cè)，獲取購(gòu)物車(chē)車(chē)框的邊緣圖像。
17、步驟1.5，對(duì)購(gòu)物車(chē)車(chē)框的邊緣圖像進(jìn)行預(yù)處理，得到預(yù)處理后的購(gòu)物車(chē)車(chē)框的邊緣圖像，將預(yù)處理后的購(gòu)物車(chē)車(chē)框的邊緣圖像進(jìn)行二值化處理，得到購(gòu)物車(chē)車(chē)框的邊緣圖像對(duì)應(yīng)的二值圖。
18、步驟1.6，將深度圖對(duì)應(yīng)的二值圖的分辨率進(jìn)行擴(kuò)展，將購(gòu)物車(chē)車(chē)框的邊緣圖像對(duì)應(yīng)的二值圖的分辨率進(jìn)行縮小，得到分辨率相同的深度圖對(duì)應(yīng)的二值圖和購(gòu)物車(chē)車(chē)框的邊緣圖像對(duì)應(yīng)的二值圖。
19、步驟1.7，對(duì)分辨率相同的深度圖對(duì)應(yīng)的二值圖和購(gòu)物車(chē)車(chē)框的邊緣圖像對(duì)應(yīng)的二值圖分別進(jìn)行角點(diǎn)檢測(cè)，結(jié)合角點(diǎn)的坐標(biāo)選取深度圖的最外圍的角點(diǎn)以及rgb圖像的最外圍的角點(diǎn)，將深度圖的最外圍的角點(diǎn)以及rgb圖像的最外圍的角點(diǎn)代入單應(yīng)性變換模型，得到擬合好的單應(yīng)性變換模型。
20、作為優(yōu)選方案，所述單應(yīng)性變換模型表達(dá)式如下：
21、
22、其中，為rgb圖像上角點(diǎn)的坐標(biāo)，為深度圖像上的角點(diǎn)的坐標(biāo)，為尺度變換，為旋轉(zhuǎn)角度，為笛卡爾坐標(biāo)系下x與y軸方向的偏移量。
23、作為優(yōu)選方案，所述步驟2，具體包括：
24、步驟2.1：當(dāng)重量傳感器的輸出值變化前，獲取購(gòu)物車(chē)的第一深度圖。
25、步驟2.2：當(dāng)重量傳感器的輸出值變化后，獲取購(gòu)物車(chē)的第二深度圖，購(gòu)物車(chē)的第二rgb圖像。
26、步驟2.3：將購(gòu)物車(chē)的第一深度圖和購(gòu)物車(chē)的第二深度圖做差分處理，得到深度差分圖。
27、步驟2.4：對(duì)深度差分圖歸一化后轉(zhuǎn)換為深度差分圖對(duì)應(yīng)的灰度圖。
28、步驟2.5：對(duì)深度差分圖對(duì)應(yīng)的灰度圖進(jìn)行預(yù)處理，得到預(yù)處理后的灰度圖。
29、步驟2.6：對(duì)預(yù)處理后的灰度圖進(jìn)行二值化處理，得到深度圖的變化區(qū)域。
30、作為優(yōu)選方案，所述步驟5，具體包括：
31、將深度圖的第二變化區(qū)域利用單應(yīng)性變換模型映射到第三rgb圖像上，得到第三rgb圖像上變化區(qū)域w2,變化區(qū)域w3。
32、計(jì)算變化區(qū)域w1與變化區(qū)域w2的diou作為diou（w1，w2），計(jì)算變化區(qū)域w1與變化區(qū)域w2的直方圖相似度作為d（w1，w2）。
33、計(jì)算變化區(qū)域w1與變化區(qū)域w3的diou作為diou（w1，w3），計(jì)算變化區(qū)域w1與變化區(qū)域w3的直方圖相似度作為d（w1，w3）。
34、如果diou（w1，w2）大于第一閾值，則刪除變化區(qū)域w2。
35、如果diou（w1，w3）小于第一閾值，且d（w1，w3）大于第二閾值，保留變化區(qū)域w3，輸出原商品發(fā)生移動(dòng)。
36、或者，如果diou（w1，w2）小于第一閾值，且d（w1，w2）大于第二閾值，保留變化區(qū)域w2，輸出原商品發(fā)生移動(dòng)。
37、本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：具體包括：
2.根據(jù)權(quán)利要求1所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：還包括，
3.根據(jù)權(quán)利要求2所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：還包括，步驟6：對(duì)變化區(qū)域W1和新的變化區(qū)域進(jìn)行錨框定位。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述步驟1，具體包括：
5.根據(jù)權(quán)利要求4所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述單應(yīng)性變換模型表達(dá)式如下：
6.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述步驟2，具體包括：
7.根據(jù)權(quán)利要求2至3任一項(xiàng)所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述步驟5，具體包括：
8.根據(jù)權(quán)利要求7所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述第一閾值設(shè)置為0.5，所述第二閾值設(shè)置為0.5。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程
10.一種計(jì)算機(jī)設(shè)備，其特征在于：包括：
...【技術(shù)特征摘要】
1.一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：具體包括：
2.根據(jù)權(quán)利要求1所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：還包括，
3.根據(jù)權(quán)利要求2所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：還包括，步驟6：對(duì)變化區(qū)域w1和新的變化區(qū)域進(jìn)行錨框定位。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述步驟1，具體包括：
5.根據(jù)權(quán)利要求4所述的一種用于定位購(gòu)物車(chē)內(nèi)變化區(qū)域的方法，其特征在于：所述單應(yīng)性變換模型表達(dá)式如下：
6.根據(jù)權(quán)利要求1至...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：李晨，王慶剛，余佳，趙奇，
申請(qǐng)(專(zhuān)利權(quán))人：南京億貓信息技術(shù)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。