【技術實現步驟摘要】
本公開的實施例涉及計算機，具體涉及基于自然語言的產業領域監控視頻查詢定位方法和裝置。
技術介紹
1、在機械零配件產品生產或海關進出口產品過程中，往往需要進行監控錄像，以便后續查看。但是視頻數據中存在大量冗余且分布稀疏的信息，這給視頻檢索和細粒度的定位任務帶來了挑戰。目前，在對監控視頻進行查詢定位時，通常采用的方式為：通過自然語言視頻定位技術來解決視頻檢索和定位任務，其中，自然語言視頻定位技術的目標是根據查詢語句準確定位到對應的視頻時間戳。
2、然而，當采用上述方式對監控視頻進行查詢定位操作時，經常會存在如下技術問題：
3、自然語言視頻定位模型可能會受到背景欺騙的負面影響，更關注背景而容易忽略了前景實體，導致難以學習魯棒的前景實體特征表示，抗背景干擾能力較弱，以至于難以根據查詢語句精確定位到對應的監控視頻時間戳，從而增加了人工干預和數據處理時間，進而降低了監控視頻查詢定位任務的效率和準確度。
4、該
技術介紹
部分中所公開的以上信息僅用于增強對本公開構思的背景的理解，并因此，其可包含并不形成本國的本領域普通技術人員已知的現有技術的信息。
技術實現思路
1、本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了基于自然語言的產業領域監控視頻查詢定位方法和裝置，來解決以
3、第一方面，本公開的一些實施例提供了一種基于自然語言的產業領域監控視頻查詢定位方法，該方法包括：響應于接收到用戶針對監控視頻輸入的查詢文本，對上述查詢文本進行文字特征提取，得到查詢文字特征，其中，上述查詢文本是對監控視頻中實體的動作描述；對上述監控視頻中連續幀的視頻圖像進行特征提取，得到視頻幀特征向量序列；根據上述查詢文字特征，對上述視頻幀特征向量序列中的每個視頻幀特征向量進行前后景分離，得到視頻幀前景特征向量序列；對上述視頻幀特征向量序列中的每個視頻幀特征向量進行全局信息提取，得到視頻幀空間特征向量序列；根據上述視頻幀前景特征向量序列，對上述視頻幀空間特征向量序列中的每個視頻幀空間特征向量進行前景增強，得到增強視頻幀特征向量序列；根據上述查詢文字特征，對上述增強視頻幀特征向量序列中的每個增強視頻幀特征向量進行視頻幀定位，以生成視頻定位片段信息，以及將視頻定位片段信息對應的視頻定位片段進行顯示與存儲，其中，上述視頻定位片段信息包括對應的查詢文字特征在上述監控視頻中出現的起始時間戳和結束時間戳，上述視頻定位片段為起始時間戳到結束時間戳之間的視頻片段。
4、第二方面，本公開的一些實施例提供了一種基于自然語言的產業領域監控視頻查詢定位裝置，裝置包括：文字特征提取單元，被配置成響應于接收到用戶針對監控視頻輸入的查詢文本，對上述查詢文本進行文字特征提取，得到查詢文字特征，其中，上述查詢文本是對監控視頻中實體的動作描述；特征提取單元，被配置成對上述監控視頻中連續幀的視頻圖像進行特征提取，得到視頻幀特征向量序列；前后景分離單元，被配置成根據上述查詢文字特征，對上述視頻幀特征向量序列中的每個視頻幀特征向量進行前后景分離，得到視頻幀前景特征向量序列；全局信息提取單元，被配置成對上述視頻幀特征向量序列中的每個視頻幀特征向量進行全局信息提取，得到視頻幀空間特征向量序列；前景增強單元，被配置成根據上述視頻幀前景特征向量序列，對上述視頻幀空間特征向量序列中的每個視頻幀空間特征向量進行前景增強，得到增強視頻幀特征向量序列；視頻幀定位單元，被配置成根據上述查詢文字特征，對上述增強視頻幀特征向量序列中的每個增強視頻幀特征向量進行視頻幀定位，以生成視頻定位片段信息，以及將視頻定位片段信息對應的視頻定位片段進行顯示與存儲，其中，上述視頻定位片段信息包括對應的查詢文字特征在上述監控視頻中出現的起始時間戳和結束時間戳，上述視頻定位片段為起始時間戳到結束時間戳之間的視頻片段。
5、第三方面，本公開的一些實施例提供了一種電子設備，包括：一個或多個處理器；存儲裝置，其上存儲有一個或多個程序，當一個或多個程序被一個或多個處理器執行，使得一個或多個處理器實現上述第一方面任一實現方式所描述的方法。
6、第四方面，本公開的一些實施例提供了一種計算機可讀介質，其上存儲有計算機程序，其中，程序被處理器執行時實現上述第一方面任一實現方式所描述的方法。
7、本公開的上述各個實施例中具有如下有益效果：通過本公開的一些實施例的基于自然語言的產業領域監控視頻查詢定位方法，可以提高監控視頻查詢定位任務的效率和準確度。具體來說，造成監控視頻查詢定位任務的效率和準確度降低的原因在于：自然語言視頻定位模型可能會受到背景欺騙的負面影響，更關注背景而容易忽略了前景實體，導致難以學習魯棒的前景實體特征表示，抗背景干擾能力較弱，以至于難以根據查詢語句精確定位到對應的監控視頻時間戳，從而增加了人工干預和數據處理時間。基于此，本公開的一些實施例的基于自然語言的產業領域監控視頻查詢定位方法，首先，響應于接收到用戶針對監控視頻輸入的查詢文本，對上述查詢文本進行文字特征提取，得到查詢文字特征。其中，上述查詢文本是對監控視頻中實體的動作描述。通過文字特征提取，可以提升查詢語句與視頻內容之間的匹配準確度。其次，對上述監控視頻中連續幀的視頻圖像進行特征提取，得到視頻幀特征向量序列。由此，提高對視頻每一個圖像幀的特征理解。再次，根據上述查詢文字特征，對上述視頻幀特征向量序列中的每個視頻幀特征向量進行前后景分離，得到視頻幀前景特征向量序列。由此，可以使模型關注與查詢文本相關的前景信息，尤其是在處理背景復雜的監視視頻時，可以減少背景干擾信息對模型準確性的影響。然后，對上述視頻幀特征向量序列中的每個視頻幀特征向量進行全局信息提取，得到視頻幀空間特征向量序列。由此，可以從每個視頻幀圖像中獲得整體的空間特征，提升對視頻幀中動作的全局感知能力。之后，根據上述視頻幀前景特征向量序列，對上述視頻幀空間特征向量序列中的每個視頻幀空間特征向量進行前景增強，得到增強視頻幀特征向量序列。通過對前景特征的增強，有助于避免背景欺騙問題的出現，從而可以提升定位查詢文本相關視頻片段的能力。最后，根據上述查詢文字特征，對上述增強視頻幀特征向量序列中的每個增強視頻幀特征向量進行視頻幀定位，以生成視頻定位片段信息，以及將視頻定位片段信息對應的視頻定位片段進行顯示與存儲。其中，上述視頻定位片段信息包括對應的查詢文字特征在上述監控視頻中出現的起始時間戳和結束時間戳，上述視頻定位片段為起始時間戳到結束時間戳之間的視頻片段。通過將前景增強的空間特征向量應用于視頻幀的定位，可以精確生成與查詢文本相關的確切時間段，減少人工干預和數據處理時間，進而提高了監控視頻查詢定位任務的效率和準確度。
本文檔來自技高網...【技術保護點】
1.一種基于自然語言的產業領域監控視頻查詢定位方法，包括：
2.根據權利要求1所述的方法，其中，所述響應于接收到用戶針對監控視頻輸入的查詢文本，對所述查詢文本進行文字特征提取，得到查詢文字特征，包括：
3.根據權利要求1所述的方法，其中，所述對所述監控視頻中連續幀的視頻圖像進行特征提取，得到視頻幀特征向量序列，包括：
4.根據權利要求1所述的方法，其中，所述根據所述查詢文字特征，對所述視頻幀特征向量序列中的每個視頻幀特征向量進行前后景分離，得到視頻幀前景特征向量序列，包括：
5.根據權利要求1所述的方法，其中，所述對所述視頻幀特征向量序列中的每個視頻幀特征向量進行全局信息提取，得到視頻幀空間特征向量序列，包括：
6.根據權利要求1所述的方法，其中，所述根據所述查詢文字特征，對所述增強視頻幀特征向量序列中的每個增強視頻幀特征向量進行視頻幀定位，以生成視頻定位片段信息，包括：
7.一種基于自然語言的產業領域監控視頻查詢定位裝置，包括：
8.一種電子設備，包括：
9.一種計算機可讀介質，其上
...【技術特征摘要】
1.一種基于自然語言的產業領域監控視頻查詢定位方法，包括：
2.根據權利要求1所述的方法，其中，所述響應于接收到用戶針對監控視頻輸入的查詢文本，對所述查詢文本進行文字特征提取，得到查詢文字特征，包括：
3.根據權利要求1所述的方法，其中，所述對所述監控視頻中連續幀的視頻圖像進行特征提取，得到視頻幀特征向量序列，包括：
4.根據權利要求1所述的方法，其中，所述根據所述查詢文字特征，對所述視頻幀特征向量序列中的每個視頻幀特征向量進行前后景分離，得到視頻幀前景特征向量序列，包括：
5.根據權利...
【專利技術屬性】
技術研發人員：陳玉濤，馬達，黃震，
申請(專利權)人：北京中企慧云科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。