【技術(shù)實(shí)現(xiàn)步驟摘要】
本技術(shù)方案涉及一種動(dòng)物跟蹤方法，尤其是一種基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法，及其應(yīng)用于野外場(chǎng)景下鹿的多目標(biāo)跟蹤方法。
技術(shù)介紹
1、動(dòng)物追蹤對(duì)于野生動(dòng)物保護(hù)和管理具有重要的意義，將追蹤技術(shù)應(yīng)用于記錄遷徙動(dòng)物的遷徙路徑和行為模式識(shí)別，有助于深入了解種群活動(dòng)和棲息地利用情況，這可為監(jiān)測(cè)瀕危物種、評(píng)估生態(tài)系統(tǒng)健康狀況提供數(shù)據(jù)支持。研究人員也可利用動(dòng)物跟蹤技術(shù)獲取種群數(shù)量、分布及活動(dòng)范圍等信息，以便在野生動(dòng)物保護(hù)區(qū)制定保護(hù)措施、避免某些物種的過度繁殖和其他物種的過度捕食。此外，動(dòng)物跟蹤有助于及時(shí)了解圈養(yǎng)野生動(dòng)物的生活習(xí)性和健康狀況，以便改善動(dòng)物福利。
2、早期的動(dòng)物跟蹤技術(shù)主要通過給動(dòng)物攜帶電子項(xiàng)圈，雖然這些方法能夠準(zhǔn)確定位和跟蹤動(dòng)物，但會(huì)對(duì)動(dòng)物造成傷害，或引起一些健康問題，如導(dǎo)致動(dòng)物產(chǎn)生應(yīng)激反應(yīng)等，此外，項(xiàng)圈也會(huì)對(duì)動(dòng)物的呼吸、進(jìn)食造成干擾。深度學(xué)習(xí)也被應(yīng)用于動(dòng)物多目標(biāo)跟蹤，與傳統(tǒng)方法相比，取得了更優(yōu)異的性能。目前深度學(xué)習(xí)的方法多數(shù)基于cnn，但由于卷積神經(jīng)網(wǎng)絡(luò)長期依賴關(guān)系的建模能力的受限，難以勝任長時(shí)監(jiān)控視頻的動(dòng)物目標(biāo)跟蹤任務(wù)。近年來，transformer在機(jī)器視覺領(lǐng)域逐漸興起，通過引入多頭注意力，transformer理解和處理遠(yuǎn)距離的語義關(guān)系，能夠應(yīng)對(duì)復(fù)雜應(yīng)用場(chǎng)景的多目標(biāo)跟蹤任務(wù),motr是這類方法的代表之一，它是一個(gè)完全端到端多目標(biāo)跟蹤框架,但該方法計(jì)算量較大，處理小目標(biāo)的能力較差，且無法應(yīng)對(duì)動(dòng)物的皮毛顏色與背景相似的情況。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提出
2、小目標(biāo)檢測(cè)能力是在野外進(jìn)行動(dòng)物目標(biāo)跟蹤的關(guān)鍵，傳統(tǒng)的cnn網(wǎng)絡(luò)只能提取動(dòng)物目標(biāo)的局部特征，而忽略了全局上下文信息，因此，在野外的復(fù)雜場(chǎng)景下難以跟蹤小的動(dòng)物目標(biāo)。
3、motr(multi-object?tracking?and?segmentation)是一種基于transformer的端到端的多目標(biāo)跟蹤框架。motr的編碼器采用transformer結(jié)構(gòu)，雖然可以捕獲全局特征，但是隨著特征序列長度的增加，計(jì)算量也會(huì)隨之倍增。
4、在motr的解碼器階段，由上一幀的檢測(cè)結(jié)果生成的跟蹤查詢與當(dāng)前幀的檢測(cè)查詢拼接起來送入解碼器中進(jìn)行交互，由于檢測(cè)查詢中的內(nèi)容和其對(duì)應(yīng)的參考點(diǎn)坐標(biāo)都是隨機(jī)初始化的，缺乏先驗(yàn)知識(shí)，導(dǎo)致對(duì)象查詢盲目地在特征圖中搜索目標(biāo)。在野外環(huán)境下，經(jīng)常會(huì)出現(xiàn)動(dòng)物的皮毛與環(huán)境的顏色非常相似的現(xiàn)象，motr模型無法很好地區(qū)分動(dòng)物目標(biāo)和背景，因此，會(huì)出現(xiàn)漏檢的現(xiàn)象。此外，motr模型應(yīng)用于在不同野外場(chǎng)景的泛化能力較差。
5、解碼器的交叉注意力模塊可以被理解為“匹配+信息提取”的過程，每個(gè)查詢先匹配與之對(duì)應(yīng)的區(qū)域，再提取特征以供后續(xù)的預(yù)測(cè)，但由于自注意力和前饋神經(jīng)網(wǎng)絡(luò)ffn對(duì)查詢進(jìn)行了多次映射，查詢與特征被映射到了不同的嵌入空間，這使得查詢很難匹配到其對(duì)應(yīng)的區(qū)域，無法很好地從對(duì)應(yīng)的區(qū)域提取動(dòng)物的特征。
6、為了解決上述問題，進(jìn)一步提升動(dòng)物跟蹤的準(zhǔn)確率，本專利技術(shù)作如下技術(shù)改進(jìn)：
7、1、將高效混合編碼器efficient?hybrid?encoder、特征增強(qiáng)模塊rfem、se注意力結(jié)合，改進(jìn)了efficient?hybrid?encoder的特征金字塔部分，用改進(jìn)后的編碼器代替motr原有的編碼器，實(shí)現(xiàn)低計(jì)算量的同時(shí)提升小目標(biāo)跟蹤能力；
8、2、為了從視覺相似的背景中區(qū)分鹿目標(biāo)，本專利技術(shù)建立了一個(gè)基于先驗(yàn)知識(shí)的初始化檢測(cè)查詢策略，減少復(fù)雜背景的影響，降低了漏檢現(xiàn)象，并提高了改進(jìn)的motr模型的應(yīng)用于不同野外場(chǎng)景的泛化能力；
9、3、為了更好地區(qū)分視覺上相似的不同尺寸大小的鹿個(gè)體，改善模型的鹿id識(shí)別性能，提出一個(gè)多尺度語義對(duì)齊模塊，語義對(duì)齊模塊通過將檢測(cè)查詢與特征圖投影到相同的嵌入空間，使檢測(cè)查詢快速正確地匹配特征圖中相應(yīng)的位置。
10、本專利技術(shù)的基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法的具體步驟如下：
11、步驟1，采集野外場(chǎng)景下的鹿視頻序列；
12、步驟2，利用卷積神經(jīng)網(wǎng)絡(luò)(resnet50)對(duì)采集到的鹿視頻進(jìn)行處理，提取三種不同分辨率的多尺度鹿特征；
13、步驟3，利用改進(jìn)后的高效混合編碼器(efficient?hybrid?encoder)替換原有的編碼器對(duì)前述的多尺度特征進(jìn)行特征融合，輸出融合后的多尺度特征，構(gòu)建改進(jìn)的高效混合編碼器的步驟包括：
14、步驟3.1，特征融合分為內(nèi)尺度交互部分和跨尺度交互部分，在內(nèi)尺度交互部分，將步驟2)得到的三個(gè)不同分辨率特征圖記作{s3,s4,s5}，其中分辨率最小的特征圖s5送入transformer做注意力計(jì)算以捕獲全局特征,輸出記作f5；
15、步驟3.2，跨尺度交互部分的fusion模塊將需要融合的兩個(gè)特征圖會(huì)在通道維度上拼接起來，fusion模塊的執(zhí)行步驟包括；
16、步驟3.2.1，利用兩個(gè)并聯(lián)的1x1的卷積分別對(duì)需要融合的兩個(gè)輸入特征圖進(jìn)行降維；
17、步驟3.2.2，一個(gè)1x1卷積卷積降維后的特征圖將經(jīng)過一個(gè)由1x1的卷積和3x3的卷積組成的并聯(lián)結(jié)構(gòu)，兩個(gè)卷積的輸出會(huì)逐元素相加，相加后的特征圖會(huì)經(jīng)過squeeze-and-excitation(se)注意力機(jī)制進(jìn)行膨脹擠壓操作，提升模型特征表達(dá)的精細(xì)度和全局信息的整合能力；
18、步驟3.2.3，另一個(gè)1x1卷積卷積降維后的特征將會(huì)和步驟3.2.2)中逐元素相加后的特征圖再次逐元素相加；
19、步驟3.3，跨尺度交互部分又分為自上而下和自下而上兩個(gè)融合部分，在自上而下的融合部分，f5會(huì)經(jīng)過rfem特征增強(qiáng)模塊處理，具體來說，f5特征圖將經(jīng)過三個(gè)不同空洞率(1，2，3)的空洞卷積，并依次進(jìn)行拼接，得到特征圖f6，f6再被上采樣成與s4特征分辨率大小相同的特征圖，該特征圖與s4一起送入fusion1模塊進(jìn)行融合；
20、步驟3.4，步驟3.3)中fusion1模塊的輸出特征圖經(jīng)過rfem模塊處理后，得到特征圖f7，f7再被上采樣成與s3特征圖分辨率大小相同的特征圖，該特征圖與s3一起進(jìn)入fusion2模塊進(jìn)行融合；
21、步驟3.5，在自下而上的融合部分，步驟3.4)中fusion2模塊的輸出被3x3的gsconv卷積下采樣成與步驟3.4)中f7分辨率大小相同的特征圖，該特征圖與特征圖f7一起進(jìn)入fusion3模塊中進(jìn)行融合；
22、步驟3.6，步驟3.5)中fusion3模塊的輸出被3x3的gsconv卷積下采樣成與步驟3.3)中f6分辨率大小相同的特征圖，該特征圖與特征圖f6一起進(jìn)入fusion4模塊中進(jìn)行融合；
23、步驟3.7，第fusion2、fusion3和fusion4融合的特征會(huì)作為最終的多尺度特征輸出；
24、步驟4，步驟3.7)融合后的多尺度特征會(huì)被送入構(gòu)建的基于先驗(yàn)知識(shí)的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是步驟包括：
2.根據(jù)權(quán)利要求1所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟3)中，改進(jìn)后的高效混合編碼器中的Fusion模塊用來將跨尺度交互部分需要融合的兩個(gè)輸入特征圖進(jìn)行融合；Fusion模塊的結(jié)構(gòu)為：
3.根據(jù)權(quán)利要求1或2所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟3)中，特征融合的具體步驟為：
4.根據(jù)權(quán)利要求1所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟4)中，檢測(cè)查詢初始化模塊采用Deformable-DETR中Two-Stage變體的方法來初始化查詢向量。
5.根據(jù)權(quán)利要求4所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟4)中，檢測(cè)查詢初始化模塊是基于先驗(yàn)知識(shí)的檢測(cè)查詢初始化模塊，利用兩階段的方法來初始化檢測(cè)查詢；
6.根據(jù)權(quán)利要求1所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟5)中，解碼器的執(zhí)行步驟為：
7.根據(jù)權(quán)利要求6所述的基于改進(jìn)的
8.根據(jù)權(quán)利要求1所述的基于改進(jìn)的MOTR的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟6)中，QIM模塊用于管理新生目標(biāo)的出現(xiàn)和已跟蹤目標(biāo)的消失，從而篩選新生目標(biāo)、已經(jīng)跟蹤上的目標(biāo)和消亡的目標(biāo)，并將新生目標(biāo)和已經(jīng)跟蹤上的目標(biāo)作為下一幀的跟蹤查詢輸出。
...【技術(shù)特征摘要】
1.一種基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是步驟包括：
2.根據(jù)權(quán)利要求1所述的基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟3)中，改進(jìn)后的高效混合編碼器中的fusion模塊用來將跨尺度交互部分需要融合的兩個(gè)輸入特征圖進(jìn)行融合；fusion模塊的結(jié)構(gòu)為：
3.根據(jù)權(quán)利要求1或2所述的基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟3)中，特征融合的具體步驟為：
4.根據(jù)權(quán)利要求1所述的基于改進(jìn)的motr的野生動(dòng)物多目標(biāo)跟蹤方法，其特征是在步驟4)中，檢測(cè)查詢初始化模塊采用deformable-detr中two-stage變體的方法來初始化查詢向量。
5.根據(jù)權(quán)利要求4所述的基于改...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙亞琴，馬昊，
申請(qǐng)(專利權(quán))人：南京林業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。