【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及目標(biāo)檢測(cè)跟蹤，尤其涉及一種目標(biāo)檢測(cè)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、安全區(qū)域監(jiān)測(cè)在倉(cāng)庫(kù)、高壓變電站、停機(jī)坪等關(guān)鍵場(chǎng)景中扮演著舉足輕重的角色。在這些特定環(huán)境中，實(shí)施對(duì)闖入目標(biāo)的持續(xù)、高效監(jiān)測(cè)，是構(gòu)筑安全防護(hù)網(wǎng)不可或缺的一環(huán)。傳統(tǒng)的安全區(qū)域監(jiān)測(cè)使用單目相機(jī)獲取安全區(qū)域圖像，使用目標(biāo)識(shí)別算法識(shí)別所獲取安全區(qū)域圖像中是否存在闖入對(duì)象，但現(xiàn)有技術(shù)中，由于單目相機(jī)攝取視場(chǎng)有限，需要配置多個(gè)相機(jī)，增加監(jiān)控成本，并且，由于傳統(tǒng)目標(biāo)識(shí)別算法所述目標(biāo)識(shí)別精度較低，只能識(shí)別出較大對(duì)象，對(duì)于遠(yuǎn)景圖像中的對(duì)象或者尺寸較小的對(duì)象無(wú)法準(zhǔn)確識(shí)別，存在發(fā)生安全事故的隱患。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)提供一種目標(biāo)檢測(cè)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決傳統(tǒng)目標(biāo)檢測(cè)跟蹤方法監(jiān)控成本高，對(duì)于遠(yuǎn)景圖像中的對(duì)象或者尺寸較小的對(duì)象無(wú)法準(zhǔn)確識(shí)別，存在發(fā)生安全事故的隱患的缺陷。
2、本專(zhuān)利技術(shù)提供一種目標(biāo)檢測(cè)跟蹤方法，包括：
3、通過(guò)一個(gè)或多個(gè)球形相機(jī)實(shí)時(shí)獲取目標(biāo)區(qū)域的廣角視場(chǎng)視頻流；
4、對(duì)所述廣角視場(chǎng)視頻流分解為多張連續(xù)幀圖像，對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)；
5、對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤，更新所述運(yùn)動(dòng)目標(biāo)的軌跡信息；
6、將檢測(cè)到的運(yùn)動(dòng)目標(biāo)及其對(duì)應(yīng)的軌跡信息疊加在所述廣角視場(chǎng)視頻流上，并將疊加后的廣角視場(chǎng)視頻流實(shí)時(shí)顯示在用戶(hù)界面上。
7、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)
8、通過(guò)所述球形相機(jī)的開(kāi)發(fā)工具包解碼所述視頻流，調(diào)取多張連續(xù)幀的yuv格式圖片數(shù)據(jù)；
9、利用ffmpeg工具將所述yuv格式圖片數(shù)據(jù)轉(zhuǎn)換為bgr格式的圖片數(shù)據(jù)；
10、對(duì)bgr格式的圖片數(shù)據(jù)進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)。
11、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法，所述一個(gè)或多個(gè)球形相機(jī)的控制方法包括：
12、通過(guò)與所述球形相機(jī)連接的http接口，根據(jù)每個(gè)球形相機(jī)的位置和參數(shù)對(duì)對(duì)應(yīng)球形相機(jī)進(jìn)行開(kāi)啟或關(guān)機(jī)操作。
13、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法，所述對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤后，還包括：
14、獲取運(yùn)動(dòng)目標(biāo)當(dāng)前所述球形相機(jī)廣角視場(chǎng)中的位置、運(yùn)動(dòng)方向和速度；
15、基于所述運(yùn)動(dòng)目標(biāo)當(dāng)前所述球形相機(jī)廣角視場(chǎng)中的位置、運(yùn)動(dòng)方向和速度通過(guò)kalman算法估計(jì)所述運(yùn)動(dòng)目標(biāo)未來(lái)的可能位置；
16、根據(jù)所述運(yùn)動(dòng)目標(biāo)未來(lái)的可能位置生成控制指令，以根據(jù)所述控制指令調(diào)整所述球形相機(jī)的方向和角度。
17、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法，所述控制指令包括旋轉(zhuǎn)角度、俯仰角度和變焦中的至少一種，所述根據(jù)所述控制指令調(diào)整所述球形相機(jī)的方向和角度，包括：
18、結(jié)合所述球形相機(jī)的物理限制、拍攝需求和所述控制指令調(diào)整所述球形相機(jī)的方向和角度；
19、在所述控制指令為旋轉(zhuǎn)角度時(shí)，判斷所述控制指令中的待旋轉(zhuǎn)角度與當(dāng)前水平角度疊加后是否超出了所述球形相機(jī)的最大水平角度范圍，若未超出，則根據(jù)所述控制指令進(jìn)行旋轉(zhuǎn)，否則，重置球形相機(jī)到預(yù)置位；
20、在所述控制指令為俯仰角度時(shí)，判斷所述控制指令中的待俯仰角度與當(dāng)前俯仰角度疊加后是否超出了所述球形相機(jī)的最大俯仰角度范圍，若未超出，則根據(jù)所述控制指令進(jìn)行調(diào)整，否則，重置球形相機(jī)到預(yù)置位；
21、在所述控制指令為變焦時(shí)，判斷所述控制指令中變焦參數(shù)是否超出所述球形相機(jī)的變焦速度和分辨率限制，若未超出，則根據(jù)所述控制指令進(jìn)行調(diào)整，否則，不調(diào)整所述球形相機(jī)的焦點(diǎn)。
22、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法，所述對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)，包括：
23、將多張連續(xù)幀圖像輸入基于yolov8的目標(biāo)檢測(cè)模型，輸出不同尺寸大小的運(yùn)動(dòng)目標(biāo)；
24、其中，所述基于yolov8的目標(biāo)檢測(cè)模型基于多個(gè)闖入安全區(qū)域的歷史對(duì)象進(jìn)行訓(xùn)練得到。
25、根據(jù)本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法，所述基于yolov8的目標(biāo)檢測(cè)模型的訓(xùn)練方法包括：
26、對(duì)訓(xùn)練數(shù)據(jù)中的目標(biāo)尺寸大于預(yù)設(shè)閾值的圖像直接輸入所述基于yolov8的目標(biāo)檢測(cè)模型，輸出大目標(biāo)預(yù)測(cè)結(jié)果；
27、計(jì)算所述大目標(biāo)預(yù)測(cè)結(jié)果與大目標(biāo)標(biāo)定結(jié)果之間的第一損失，根據(jù)所述第一損失優(yōu)化所述基于yolov8的目標(biāo)檢測(cè)模型的參數(shù)，輸出大目標(biāo)訓(xùn)練完成模型；
28、對(duì)所述目標(biāo)尺寸大于預(yù)設(shè)尺寸閾值的圖像進(jìn)行裁剪，以放大所述目標(biāo)在裁剪后圖像中的占比；
29、將所述目標(biāo)在裁剪后圖像中的占比大于預(yù)設(shè)占比閾值的圖像進(jìn)行填充，將填充后圖像輸入所述大目標(biāo)訓(xùn)練完成模型，輸出小目標(biāo)預(yù)測(cè)結(jié)果；
30、計(jì)算所述小目標(biāo)預(yù)測(cè)結(jié)果與小目標(biāo)標(biāo)定結(jié)果之間的第二損失，根據(jù)所述第二損失優(yōu)化所述基于yolov8的目標(biāo)檢測(cè)模型的參數(shù)，輸出小目標(biāo)訓(xùn)練完成模型，將所述小目標(biāo)訓(xùn)練完成模型作為訓(xùn)練好的所述基于yolov8的目標(biāo)檢測(cè)模型。
31、本專(zhuān)利技術(shù)還提供一種目標(biāo)檢測(cè)跟蹤裝置，包括：
32、獲取模塊，用于通過(guò)一個(gè)或多個(gè)球形相機(jī)實(shí)時(shí)獲取目標(biāo)區(qū)域的廣角視場(chǎng)視頻流；
33、識(shí)別模塊，用于對(duì)所述廣角視場(chǎng)視頻流分解為多張連續(xù)幀圖像，對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)；
34、更新模塊，用于對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤，更新所述運(yùn)動(dòng)目標(biāo)的軌跡信息；
35、顯示模塊，用于將檢測(cè)到的運(yùn)動(dòng)目標(biāo)及其對(duì)應(yīng)的軌跡信息疊加在所述廣角視場(chǎng)視頻流上，并將疊加后的廣角視場(chǎng)視頻流實(shí)時(shí)顯示在用戶(hù)界面上。
36、本專(zhuān)利技術(shù)還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述的目標(biāo)檢測(cè)跟蹤方法。
37、本專(zhuān)利技術(shù)還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的目標(biāo)檢測(cè)跟蹤方法。
38、本專(zhuān)利技術(shù)提供的目標(biāo)檢測(cè)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)一個(gè)或多個(gè)球形相機(jī)實(shí)時(shí)獲取目標(biāo)區(qū)域的廣角視場(chǎng)視頻流；對(duì)所述廣角視場(chǎng)視頻流分解為多張連續(xù)幀圖像，對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)；對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤，更新所述運(yùn)動(dòng)目標(biāo)的軌跡信息；將檢測(cè)到的運(yùn)動(dòng)目標(biāo)及其對(duì)應(yīng)的軌跡信息疊加在所述廣角視場(chǎng)視頻流上，并將疊加后的廣角視場(chǎng)視頻流實(shí)時(shí)顯示在用戶(hù)界面上，本專(zhuān)利技術(shù)使用球形相機(jī)可以降低相機(jī)個(gè)數(shù)，從而減少監(jiān)控成本，通過(guò)對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)，對(duì)于遠(yuǎn)景圖像中的對(duì)象或者尺寸較小的對(duì)象也能準(zhǔn)確識(shí)別，提升安全性。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種目標(biāo)檢測(cè)跟蹤方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，包括：
3.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述一個(gè)或多個(gè)球形相機(jī)的控制方法包括：
4.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤后，還包括：
5.根據(jù)權(quán)利要求4所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述控制指令包括旋轉(zhuǎn)角度、俯仰角度和變焦中的至少一種，所述根據(jù)所述控制指令調(diào)整所述球形相機(jī)的方向和角度，包括：
6.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，識(shí)別出不同尺寸大小的運(yùn)動(dòng)目標(biāo)，包括：
7.根據(jù)權(quán)利要求6所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述基于YOLOv8的目標(biāo)檢測(cè)模型的訓(xùn)練方法包括：
8.一種目標(biāo)檢測(cè)跟蹤裝置，其特征在于，包括：
9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，
10.一種非暫態(tài)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的目標(biāo)檢測(cè)跟蹤方法。
...【技術(shù)特征摘要】
1.一種目標(biāo)檢測(cè)跟蹤方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述對(duì)每張圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，包括：
3.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述一個(gè)或多個(gè)球形相機(jī)的控制方法包括：
4.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述對(duì)連續(xù)幀圖像內(nèi)存在的同一運(yùn)動(dòng)目標(biāo)進(jìn)行關(guān)聯(lián)和跟蹤后，還包括：
5.根據(jù)權(quán)利要求4所述的目標(biāo)檢測(cè)跟蹤方法，其特征在于，所述控制指令包括旋轉(zhuǎn)角度、俯仰角度和變焦中的至少一種，所述根據(jù)所述控制指令調(diào)整所述球形相機(jī)的方向和角度，包括：
6.根據(jù)權(quán)利要求1所述的目標(biāo)檢測(cè)跟...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：呂金旭，孫宏耀，魏晉，錢(qián)佳怡，徐旺，高龍飛，
申請(qǐng)(專(zhuān)利權(quán))人：商飛智能技術(shù)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。