【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像識別領(lǐng)域，特別涉及一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法及系統(tǒng)。
技術(shù)介紹
1、隨著鐵路產(chǎn)業(yè)的快速發(fā)展，鐵路檢修的需求度和重要性也逐漸提高，因為鐵路檢修過程中進行檢修作業(yè)的工作人員眾多，且需要相互配合完成復(fù)雜的檢修流程，所以對于檢修工作和檢修作業(yè)的工作人員的監(jiān)督監(jiān)測就尤為重要，其中，特別是對于檢修過程中的安全性監(jiān)測，是鐵路檢修過程中的重要一環(huán)。
2、現(xiàn)有技術(shù)中，對鐵路檢修過程進行監(jiān)測往往是采用人工巡查和視頻監(jiān)控結(jié)合的方法，但是人工巡查和監(jiān)控的成本過大，且效率不高，無法全面監(jiān)控，所以計算機視覺技術(shù)成為了重要的監(jiān)測識別手段，但是現(xiàn)有的計算機視覺技術(shù)受限于硬件設(shè)備條件和復(fù)雜檢修環(huán)境的多種因素，無法滿足鐵路檢修過程的監(jiān)測要求，特別是檢修過程中工作人員眾多且工作人員之間會進行復(fù)雜的交互配合，導(dǎo)致工作人員與交互的工作人員之間及工作人員與檢修交互對象之間出現(xiàn)重疊、遮擋，大大增加了監(jiān)測識別的難度，極大地影響了識別的準確性。
3、因此，如何設(shè)計一種識別方法，避免復(fù)雜環(huán)境下，眾多檢修工作人員交互行為的影響，成為了亟待解決的問題。
技術(shù)實現(xiàn)思路
1、基于此，本專利技術(shù)提出的一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法及系統(tǒng)，通過設(shè)計一種多模態(tài)群體行為識別網(wǎng)絡(luò)，包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)，分別進行多模態(tài)特征處理，以避免通過單一模態(tài)信息進行識別時，由于群體間的交互行為和復(fù)雜的交互環(huán)境的因素，造成識別精度較低的問題，進一步符合實
2、本專利技術(shù)提出的一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，包括：
3、實時采集目標視頻圖像并進行預(yù)處理，將預(yù)處理后的所述目標視頻圖像輸入多模態(tài)群體行為識別網(wǎng)絡(luò)，所述多模態(tài)群體行為識別網(wǎng)絡(luò)包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)，所述圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)之間的網(wǎng)絡(luò)結(jié)構(gòu)為相互并行結(jié)構(gòu)；
4、所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對所述目標視頻圖像進行特征提取，獲取基礎(chǔ)目標群體圖像特征，再根據(jù)時空雙流交互的群體關(guān)系增強模塊進行特征關(guān)系增強，以獲取關(guān)系增強圖像特征；
5、所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動作標簽獲取動作文本特征，再根據(jù)輕量化注意力增強模塊對所述基礎(chǔ)目標群體圖像特征進行注意力增強操作，以獲取注意力增強圖像特征，根據(jù)知識蒸餾算法對所述動作文本特征和所述注意力增強圖像特征進行信息交互處理，以獲取交互文本特征，再根據(jù)群體關(guān)系調(diào)參模塊對所述交互文本特征進行特征關(guān)系增強和調(diào)參操作，以獲取關(guān)系增強文本特征，所述群體關(guān)系調(diào)參模塊包括關(guān)系增強子模塊和調(diào)參子模塊，所述關(guān)系增強子模塊與所述群體關(guān)系增強模塊的參數(shù)共享；
6、所述關(guān)鍵點分支子網(wǎng)絡(luò)對所述目標視頻圖像進行關(guān)鍵點特征提取，以獲取關(guān)鍵點特征，再根據(jù)交互模塊對所述關(guān)鍵點特征進行交互增強，以獲取交互增強關(guān)鍵點特征；
7、根據(jù)所述關(guān)系增強圖像特征、所述關(guān)系增強文本特征和所述交互增強關(guān)鍵點特征，進行群體行為識別，以獲取最終分類結(jié)果。
8、綜上，根據(jù)上述基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，通過設(shè)計一種多模態(tài)群體行為識別網(wǎng)絡(luò)，包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)，分別進行多模態(tài)特征處理，以避免通過單一模態(tài)信息進行識別時，由于群體間的交互行為和復(fù)雜的交互環(huán)境的因素，造成識別精度較低的問題，進一步符合實際檢修情況，提高了整體識別的精度，又通過輕量化設(shè)計，提高了識別的效率，再進行群體之間和群體與交互目標之間的關(guān)系和交互增強，進一步的提高了識別的精度，避免了因為遮擋重疊造成的識別障礙，本專利技術(shù)提高了群體目標交互行為的識別準確性和效率。具體為實時采集目標視頻圖像并進行預(yù)處理，將預(yù)處理后的所述目標視頻圖像輸入多模態(tài)群體行為識別網(wǎng)絡(luò)，所述多模態(tài)群體行為識別網(wǎng)絡(luò)包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)，所述圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點分支子網(wǎng)絡(luò)之間的網(wǎng)絡(luò)結(jié)構(gòu)為相互并行結(jié)構(gòu)，結(jié)合了多模態(tài)信息，豐富了識別的特征，進一步的提高了識別的準確性，所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對所述目標視頻圖像進行特征提取，獲取基礎(chǔ)目標群體圖像特征，再根據(jù)時空雙流交互的群體關(guān)系增強模塊進行特征關(guān)系增強，以獲取關(guān)系增強圖像特征，輕量化設(shè)計加快了處理速度，提高了整體識別效率，所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動作標簽獲取動作文本特征，再根據(jù)輕量化注意力增強模塊對所述基礎(chǔ)目標群體圖像特征進行注意力增強操作，以獲取注意力增強圖像特征，根據(jù)知識蒸餾算法對所述動作文本特征和所述注意力增強圖像特征進行信息交互處理，以獲取交互文本特征，再根據(jù)群體關(guān)系調(diào)參模塊對所述交互文本特征進行特征關(guān)系增強和調(diào)參操作，以獲取關(guān)系增強文本特征，所述群體關(guān)系調(diào)參模塊包括關(guān)系增強子模塊和調(diào)參子模塊，所述關(guān)系增強子模塊與所述群體關(guān)系增強模塊的參數(shù)共享，根據(jù)文本和圖像特征之間的信息交互傳遞，避免了重復(fù)處理，提高了處理速度，提高了識別效率，同時增強了群體目標之間的關(guān)系信息，避免了因目標群體之間的復(fù)雜關(guān)系造成的識別障礙，提高了識別的準確性，所述關(guān)鍵點分支子網(wǎng)絡(luò)對所述目標視頻圖像進行關(guān)鍵點特征提取，以獲取關(guān)鍵點特征，再根據(jù)交互模塊對所述關(guān)鍵點特征進行交互增強，以獲取交互增強關(guān)鍵點特征，增強了目標群體與交互對象之間的關(guān)系，進一步提高了識別的準確性，根據(jù)所述關(guān)系增強圖像特征、所述關(guān)系增強文本特征和所述交互增強關(guān)鍵點特征，進行群體行為識別，以獲取最終分類結(jié)果，本專利技術(shù)提高了群體目標交互行為的識別準確性和效率。
9、進一步的，所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對所述目標視頻圖像進行特征提取，獲取基礎(chǔ)目標群體圖像特征的步驟，具體包括：
10、圖像分支子網(wǎng)絡(luò)包括輕量化圖像特征處理模塊，所述輕量化圖像特征處理模塊包括輕量化網(wǎng)絡(luò)層和邊界框特征對齊塊；
11、所述輕量化網(wǎng)絡(luò)層中包括深度可分離卷積塊、倒殘差塊和擠壓激勵塊，以進行基礎(chǔ)特征提取，并根據(jù)空間縮放算法進行特征圖邊界框坐標調(diào)整，所述特征圖邊界框坐標調(diào)整的算法關(guān)系具體如下：
12、，
13、，
14、所述邊界框特征對齊塊對調(diào)整后的邊界框坐標和提取的基礎(chǔ)特征進行對齊操作，以獲取基礎(chǔ)目標群體圖像特征。
15、進一步的，所述再根據(jù)時空雙流交互的群體關(guān)系增強模塊進行特征關(guān)系增強，以獲取關(guān)系增強圖像特征的步驟，具體包括：
16、圖像分支子網(wǎng)絡(luò)包括群體關(guān)系增強模塊，所述群體關(guān)系增強模塊包括空間-時間分支路徑和時間-空間分支路徑；
17、所述空間-時間分支路徑中包括空間注意力殘差子模塊，所述空間注意力殘差子模塊包括空間注意力塊、多層感知塊和殘差分路；
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對所述目標視頻圖像進行特征提取，獲取基礎(chǔ)目標群體圖像特征的步驟，具體包括：
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述再根據(jù)時空雙流交互的群體關(guān)系增強模塊進行特征關(guān)系增強，以獲取關(guān)系增強圖像特征的步驟，具體包括：
4.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動作標簽獲取動作文本特征，再根據(jù)輕量化注意力增強模塊對所述基礎(chǔ)目標群體圖像特征進行注意力增強操作，以獲取注意力增強圖像特征的步驟，具體包括：
5.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述根據(jù)知識蒸餾算法對所述動作文本特征和所述注意力增強圖像特征進行信息交互處理，以獲取交互文本特征，再根據(jù)群體關(guān)系調(diào)參模塊對所述交互文本特征進行特征關(guān)系增強
6.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述關(guān)鍵點分支子網(wǎng)絡(luò)對所述目標視頻圖像進行關(guān)鍵點特征提取，以獲取關(guān)鍵點特征的步驟，具體包括：
7.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述再根據(jù)交互模塊對所述關(guān)鍵點特征進行交互增強，以獲取交互增強關(guān)鍵點特征的步驟，具體包括：
8.一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，包括：
9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲一個或多個程序，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法。
10.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括存儲器和處理器，其中：
...【技術(shù)特征摘要】
1.一種基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對所述目標視頻圖像進行特征提取，獲取基礎(chǔ)目標群體圖像特征的步驟，具體包括：
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述再根據(jù)時空雙流交互的群體關(guān)系增強模塊進行特征關(guān)系增強，以獲取關(guān)系增強圖像特征的步驟，具體包括：
4.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動作標簽獲取動作文本特征，再根據(jù)輕量化注意力增強模塊對所述基礎(chǔ)目標群體圖像特征進行注意力增強操作，以獲取注意力增強圖像特征的步驟，具體包括：
5.根據(jù)權(quán)利要求1所述的基于多模態(tài)群體行為識別技術(shù)的交互行為識別方法，其特征在于，所述根據(jù)知識蒸餾算法對所述動作文本特征和所述注...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：涂宏斌，許坤林，羅會源，彭圓圓，陶丹，李啟翔，馬偉龍，劉暢，羅家駿，高爾涵，何城，
申請(專利權(quán))人：華東交通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。