【技術實現步驟摘要】
本專利技術涉及計算機視覺和深度學習，特別是關于一種視頻內容描述方法、介質及電子設備。
技術介紹
1、在隨著鐵路公安場景下的監控視頻流數據量的爆炸式增長，快速解析視頻并對其內容進行準確快速的理解，對于鐵路安全運行來說至關重要。其主要的應用場景可以不限于包括下面兩個方面：
2、一方面，在緊急事件如犯罪活動、突發事件發生時，每一秒鐘都可能影響到事件的走向和結果。能夠最快獲取情報，進行事件的研判，意味著可以迅速采取行動，阻止犯罪的進一步發生、減少人員傷亡和財產損失。例如在追捕逃犯的過程中，通過快速理解視頻內容，可以準確掌握逃犯的行蹤和特征，為抓捕行動提供關鍵線索。
3、另一方面，日常的治安管理也需要高效的視頻內容理解。監控視頻覆蓋了城市的各個角落，對這些視頻進行快速分析可以及時發現潛在的安全隱患，預防犯罪的發生。同時，對于大型活動的安保工作，快速理解視頻內容能夠實時監控人群動態、交通狀況等，確保活動的安全進行。
4、隨著機器學習和人工智能技術的發展，越來越多的模型，被應用到視頻內容描述領域，然而在研究中發現，現有技術的缺陷在于：特征提取能力有限，現有不同的模型往往會提取了一些方面(例如常見的是捕捉動作特征)的特征，又容易忽略另一方面的特征，因為在最終生成的描述文本通常準確度不高；模型常常會基于一些先驗知識生成一些視頻中沒有出現的內容，尤其是當測試集和訓練集的數據分布差異比較大的情況。
5、因此，有必要提供更加貼切、質量更高的視頻描述方法。
技術實現思路<...
【技術保護點】
1.一種視頻內容描述方法，其特征在于，所述方法包括：
2.根據權利要求1所述的視頻內容描述方法，其特征在于，在所述S2中，以視頻流相鄰幀運動特征提取算法計算的相鄰幀物體的運動信息為基礎，對聚類算法進行改進，實現對視頻流的聚類。
3.根據權利要求2所述的視頻內容描述方法，其特征在于，所述視頻流相鄰幀運動特征提取算法，采用Optical?Flow光流算法，基于圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系，從而計算出相鄰幀之間物體的運動信息。
4.根據權利要求2所述的視頻內容描述方法，其特征在于，所述聚類算法的計算過程，包括：
5.根據權利要求1所述的視頻內容描述方法，其特征在于，所述S3中，采用Faster?RCNN從預設數目的關鍵幀中提取區域特征。
6.根據權利要求1所述的視頻內容描述方法，其特征在于，所述S5中，采用ResNet網絡進行分類；視頻流相鄰幀運動特征提取算法為Optical?Flow光流算法。
7.根據權利要求6所述的視頻內容描述方法，其特征在于，在所
8.根據權利要求7所述的視頻內容描述方法，其特征在于，Attention?LSTM，以視頻幀特征為輸入，對視頻的全局特征、視頻片段的位置編碼信息和輸入文本的詞向量進行解碼，解碼得到隱狀態；
9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行權利要求1至8任一項所述的視頻內容描述方法。
10.一種電子設備，其特征在于，包括處理器和存儲器；所述存儲器中存儲有計算機程序，所述處理器運行所述計算機程序，控制所述電子設備執行權利要求1至8任一項所述的視頻內容描述方法。
...【技術特征摘要】
1.一種視頻內容描述方法，其特征在于，所述方法包括：
2.根據權利要求1所述的視頻內容描述方法，其特征在于，在所述s2中，以視頻流相鄰幀運動特征提取算法計算的相鄰幀物體的運動信息為基礎，對聚類算法進行改進，實現對視頻流的聚類。
3.根據權利要求2所述的視頻內容描述方法，其特征在于，所述視頻流相鄰幀運動特征提取算法，采用optical?flow光流算法，基于圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系，從而計算出相鄰幀之間物體的運動信息。
4.根據權利要求2所述的視頻內容描述方法，其特征在于，所述聚類算法的計算過程，包括：
5.根據權利要求1所述的視頻內容描述方法，其特征在于，所述s3中，采用faster?rcnn從預設數目的關鍵幀中提取區域特征。
6.根據權利要求1所述的視頻內容描述方法，其特征在于，所述s5中，采用re...
【專利技術屬性】
技術研發人員：羅靜，李雪，王曉，毛少將，郭宇鵬，張麗，
申請(專利權)人：通號通信信息集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。