時序動作檢測方法、裝置、電子設(shè)備及存儲介質(zhì)制造方法及圖紙

本申請實施例提供了一種時序動作檢測方法、裝置、電子設(shè)備機(jī)存儲介質(zhì)，涉及計算機(jī)視覺技術(shù)領(lǐng)域。其中，該方法包括：獲取待檢測視頻；所述待檢測視頻包括多個視頻幀；提取所述待檢測視頻中的原始特征和殘差特征；將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行融合，得到融合特征；根據(jù)所述融合特征對所述待檢測視頻中動作的類別和時序邊界進(jìn)行檢測，得到時序動作檢測結(jié)果。本申請實施例解決了相關(guān)技術(shù)中時間建模特征不足，特征的時序特性缺乏遷移性，時序動作判定精度低的問題。動作判定精度低的問題。動作判定精度低的問題。

【技術(shù)實現(xiàn)步驟摘要】
時序動作檢測方法、裝置、電子設(shè)備及存儲介質(zhì)


[0001]本申請涉及計算機(jī)視覺
，具體而言，本申請涉及一種時序動作檢測方法、裝置、電子設(shè)備及存儲介質(zhì)。

技術(shù)介紹

[0002]隨著具有視頻記錄能力的設(shè)備快速發(fā)展，視頻存儲也在不斷增加，如何對視頻內(nèi)容進(jìn)行分析變得越來越迫切，并且由于視頻中往往只有小部分包含感興趣的事件，大部分都是背景，導(dǎo)致視頻中動作判定的精度較低。在連續(xù)視頻中，時序動作檢測(TAD，Temporal Action Detection)是指同時識別動作并及時精確定位的技術(shù)，通過準(zhǔn)確的定位視頻中每個動作的發(fā)生片段和類別來識別視頻。
[0003]現(xiàn)有主流的時序動作檢測方法使用TSN(temporal segment networks，時間段網(wǎng)絡(luò))對視頻進(jìn)行特征提取從而獲得視頻的雙流特征(RGB流+光流)，然后使用不同的網(wǎng)絡(luò)模型對其進(jìn)行建模以生成邊界和動作分類。
[0004]然而，現(xiàn)有方法在提取原始雙流特征時考慮的僅僅是相鄰幀之間的動作變化(外形變化和動作時序變化)，但是動作通常會持續(xù)較長幀數(shù)，長動作甚至?xí)掷m(xù)上千幀，單純的使用原始特征流并不能充分的表示動作在整個時間序列上的變化。對時序信息進(jìn)行建模時，關(guān)注的都是網(wǎng)絡(luò)模塊層面，所設(shè)計的網(wǎng)絡(luò)模型不具有遷移性且沒有充分利用特征本身的時序性，導(dǎo)致時序動作判定精度不高，時序動作檢測準(zhǔn)確率低的問題。
[0005]由上可知，如何提升時序動作檢測的準(zhǔn)確率仍有待解決。

技術(shù)實現(xiàn)思路

[0006]本申請各實施例提供了一種時序動作檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，可以解決相關(guān)技術(shù)中存在的時序動作檢測準(zhǔn)確率低的問題。所述技術(shù)方案如下：
[0007]根據(jù)本申請實施例的一個方面，一種時序動作檢測方法，所述方法包括：獲取待檢測視頻；所述待檢測視頻包括多個視頻幀；提取所述待檢測視頻中當(dāng)前視頻幀的原始特征和殘差特征；將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行融合，得到融合特征；根據(jù)所述融合特征對所述待檢測視頻中動作的類別和時序邊界進(jìn)行檢測，得到時序動作檢測結(jié)果。
[0008]根據(jù)本申請實施例的一個方面，一種時序動作檢測裝置，所述裝置包括：視頻獲取模塊，用于獲取待檢測視頻；特征提取模塊，用于提取待檢測視頻中當(dāng)前視頻幀的原始特征和殘差特征；特征融合模塊，用于將當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行融合，得到融合特征；動作檢測模塊，用于根據(jù)融合特征對待檢測視頻中動作的類別和時序邊界進(jìn)行檢測，得到時序動作檢測結(jié)果。
[0009]根據(jù)本申請實施例的一個方面，一種存儲介質(zhì)，其上存儲有計算機(jī)程序，計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如上所述的時序動作檢測方法。
[0010]根據(jù)本申請實施例的一個方面，一種計算機(jī)程序產(chǎn)品，計算機(jī)程序產(chǎn)品包括計算機(jī)程序，計算機(jī)程序存儲在存儲介質(zhì)中，計算機(jī)設(shè)備的處理器從存儲介質(zhì)讀取計算機(jī)程序，
處理器執(zhí)行計算機(jī)程序，使得計算機(jī)設(shè)備執(zhí)行時實現(xiàn)如上所述的時序動作檢測方法。
[0011]本申請?zhí)峁┑募夹g(shù)方案帶來的有益效果是：
[0012]在上述技術(shù)方案中，通過提取待檢測視頻中當(dāng)前視頻幀的原始特征和殘差特征，所述殘差特征是通過計算當(dāng)前視頻幀的原始特征和間隔視頻幀的原始特征的差值，并取絕對值得到的，并將當(dāng)前視頻幀的原始特征和殘差特征進(jìn)行融合得到融合特征，利用時序動作檢測模型對該融合特征進(jìn)行檢測，得到時序動作檢測結(jié)果。從而能夠有效地解決相關(guān)技術(shù)中特征提取不具有遷移性且沒有充分利用特征本身的時序性，導(dǎo)致時序動作判定精度不高，時序動作檢測準(zhǔn)確率低的問題。
附圖說明
[0013]為了更清楚地說明本申請實施例中的技術(shù)方案，下面將對本申請實施例描述中所需要使用的附圖簡單地介紹。
[0014]圖1是根據(jù)一示例性實施例示出的本申請所涉及的實施環(huán)境的示意圖；
[0015]圖2是根據(jù)一示例性實施例示出的一種時序動作檢測方法的流程圖；
[0016]圖3是根據(jù)一示例性實施例示出的步驟330的流程圖；
[0017]圖4是根據(jù)一示例性實施例示出的另一種時序動作檢測方法的流程圖；
[0018]圖5是根據(jù)一示例性實施例示出的一種時序動作檢測裝置的結(jié)構(gòu)框圖；
[0019]圖6是根據(jù)一示例性實施例示出的一種電子設(shè)備的硬件結(jié)構(gòu)圖；
[0020]圖7是根據(jù)一示例性實施例示出的一種電子設(shè)備的結(jié)構(gòu)框圖。
具體實施方式
[0021]下面詳細(xì)描述本申請的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本申請，而不能解釋為對本申請的限制。
[0022]本
技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本申請的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個或更多個相關(guān)聯(lián)的列出項的全部或任一單元和全部組合。
[0023]如前所述，相關(guān)技術(shù)在提取原始特征流的時候僅僅考慮相鄰幀之間的動作變化(外形變化和動作時序變化)，但是動作通常會持續(xù)較長幀數(shù)，長動作甚至?xí)掷m(xù)上千幀，單純的使用原始特征流并不能充分的表示動作在整個時間序列上的變化，造成時序信息建模不足，從而導(dǎo)致時序動作檢測準(zhǔn)確率低的問題。
[0024]可見，相關(guān)技術(shù)中仍存在時序動作檢測準(zhǔn)確率低的問題。
[0025]為此，本申請?zhí)峁┑臅r序動作檢測方法，能夠有效地提取特征的時序特性而且具有很好的遷移性，從而提升時序動作的檢測準(zhǔn)確率，相應(yīng)地，該時序動作檢測方法適用于時序動作檢測裝置，該時序動作檢測裝置可部署于智能設(shè)備，例如，該智能設(shè)備可以是部署馮
諾依曼體系結(jié)構(gòu)的計算機(jī)設(shè)備，例如，該計算機(jī)設(shè)備可以是臺式設(shè)備、筆記本電腦、服務(wù)器等。
[0026]為使本申請的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本申請實施方式作進(jìn)一步地詳細(xì)描述。
[0027]圖1為一種時序動作檢測方法所的涉及的實施環(huán)境的示意圖。該實施環(huán)境包括采集端110、服務(wù)器端130。
[0028]具體地，采集端110進(jìn)行待檢測視頻的采集，該采集端可以是智能手機(jī)、平板電腦、筆記本電腦、臺式電腦、其他具有視頻采集功能的設(shè)備等電子設(shè)備，在此不進(jìn)行限定。
[0029]采集端110與服務(wù)器端130之間可以通過有線或者無線等方式建立的通信連接，以實現(xiàn)二者之間的數(shù)據(jù)傳輸。例如，傳輸?shù)臄?shù)據(jù)可以是待檢測視頻。
[0030]其中，服務(wù)器端130，也可以認(rèn)為是云端、云平臺、平臺端、服務(wù)端等等，此服務(wù)器端130可以是一臺服務(wù)器，也可以本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種時序動作檢測方法，其特征在于，所述方法包括：獲取待檢測視頻；所述待檢測視頻包括多個視頻幀；提取所述待檢測視頻中視頻幀的原始特征和殘差特征；將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行融合，得到融合特征；根據(jù)所述融合特征對所述待檢測視頻中動作的類別和時序邊界進(jìn)行檢測，得到時序動作檢測結(jié)果。2.如權(quán)利要求1所述的方法，其特征在于，所述提取所述待檢測視頻中當(dāng)前視頻幀的原始特征和殘差特征，包括：基于所述待檢測視頻中的多個視頻幀，將與當(dāng)前視頻幀的距離為設(shè)定窗長的視頻幀作為間隔視頻幀；采用TSN網(wǎng)絡(luò)和I3D網(wǎng)絡(luò)，對當(dāng)前視頻幀和間隔視頻幀中的時空信息進(jìn)行提取，得到當(dāng)前視頻幀的原始特征和間隔視頻幀的原始特征；計算當(dāng)前視頻幀的原始特征和間隔視頻幀的原始特征的差值，并取絕對值，得到當(dāng)前視頻幀的殘差特征。3.如權(quán)利要求1所述的方法，其特征在于，所述原始特征包括雙流特征，所述雙流特征包括RGB流特征和光流特征。4.如權(quán)利要求1所述的方法，其特征在于，所述將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行融合，得到融合特征，包括：將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行拼接，得到所述融合特征。5.如權(quán)利要求4所述的方法，其特征在于，所述將所述當(dāng)前視頻幀的原始特征與殘差特征進(jìn)行拼接，得到所述融合特征，包括：將多個注意力編碼模塊提取得到的多個原始特征分別與殘差特征進(jìn)行特征通道拼接，得到輸入特征；將所述輸入特征經(jīng)由注意力解碼模塊進(jìn)行解碼，得到融合特征。6.如權(quán)利要求1所述的...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁常見，李娜，
申請(專利權(quán))人：深圳理工大學(xué)籌，
類型：發(fā)明
國別省市：