【技術實現步驟摘要】
本專利技術涉及圖像處理領域，尤其涉及一種基于目標物體追蹤的視頻拼接方法、裝置、電子設備以及存儲介質。
技術介紹
1、基于目標物體追蹤的視頻拼接是指保障被拼接的圖像中目標物體的清晰度與完整性的前提下實現視頻幀的拼接的過程。
2、現有的視頻拼接方法有很多種，主要分為兩類：一類是按照時間順序獨立拼接多路視頻的每一幀圖像，這種方法拼接效果好，但是效率低，往往難以達到實時拼接的需求；另一類是使用統一的對齊模型，固定攝像機組的位置，計算視頻縫合框架進行拼接，這類方法中的視差處理問題具有挑戰性，原因在于運動對象在不同視圖之間的運動深度不同，故而運動對象到達原始圖像對應接縫的時間存在差異，這就導致了物體經過接縫時產生的偽影現象；對于攝像機相對位置固定的視頻拼接系統而言，通常會保留先前視頻幀拼接后的接縫信息和映射關系，從而避免了一些不必要的特征點檢測匹配和圖像配準彎曲。但當有物體經過原有接縫時，由于原有接縫計算所利用的視頻幀信息不包含當前物體，且物體在不同視圖中以相對不同的深度運動，故很容易出現接縫處的錯位和偽影現象。因此，亟待一種解決方案可以在解決拼接圖像中運動的目標物體偽影和錯位現象與當目標物體處于邊界狀態時不易于觀察物體行為的問題的前提下，保證視頻圖像拼接時的目標物體完整性。
技術實現思路
1、為了解決上述問題，本專利技術提供了一種基于目標物體追蹤的視頻拼接方法、裝置、電子設備以及存儲介質，可以在解決拼接圖像中運動的目標物體偽影和錯位現象與當目標物體處于邊界狀態時不易于觀察物體行為
2、第一方面，本專利技術提供了一種基于目標物體追蹤的視頻拼接方法，包括：
3、獲取多路視頻幀，在所述多路視頻幀為初始視頻幀時，對所述初始視頻幀進行特征點對檢測，得到檢測特征點對，對所述檢測特征點對進行特征點對配準，得到配準特征點對，基于所述配準特征點對，確定所述初始視頻幀的拼接接縫；
4、在所述多路視頻幀不為所述初始視頻幀時，劃分所述多路視頻幀的像素塊，計算所述像素塊的直方圖特征值，并計算所述像素塊的局部二值特征值，根據所述直方圖特征值與所述局部二值特征值，構建所述多路視頻幀的特征向量集合；
5、基于所述特征向量集合，查詢所述多路視頻幀的時序坐標矢量，利用所述時序坐標矢量計算所述多路視頻幀的時序特征矢量對，根據所述時序特征矢量對，計算所述多路視頻幀的更新接縫；
6、利用所述拼接接縫與所述更新接縫對所述多路視頻幀進行視頻幀融合處理，得到融合視頻幀，識別所述融合視頻幀中的目標物體位置，基于所述目標物體位置確定所述多路視頻幀對應的拼接視頻幀。
7、在第一方面的一種可能實現方式中，，所述對所述檢測特征點對進行特征點對配準，得到配準特征點對，包括：
8、劃分所述檢測特征點對的特征區域對；
9、計算所述特征區域對的局部單應性矩陣與所述檢測特征點對的全局單應性矩陣；
10、利用所述局部單應性矩陣與所述全局單應性矩陣對所述檢測特征點對進行特征點對配準，得到所述配準特征點對；
11、其中，利用下述公式計算所述檢測特征點對的全局單應性矩陣：
12、x′＝hx→h
13、其中，h表示所述檢測特征點對的全局單應性矩陣，x＝[x,y,1]t表示所述特征區域對中兩個圖像分別對應的特征區域的某個特征區域中某一特征點(x，y)的齊次坐標，x′＝[x′,y′,1]t表示所述特征區域對中兩個圖像分別對應的特征區域的另一個特征區域中與特征點(x，y)對應的某個特征點的齊次坐標。
14、在第一方面的一種可能實現方式中，所述基于所述配準特征點對，計算所述初始視頻幀的拼接接縫，包括：
15、基于所述配準特征點對，利用下述公式計算所述初始視頻幀的顏色差值：
16、ec(x,y)＝i1(x,y)-i2(x,y)
17、其中，ec(x,y)表示所述初始視頻幀的顏色差值，即接縫點(x,y)在兩匹配圖像i1、i2上的顏色差值，i1(x,y)表示所述初始視頻幀中配準特征點對所對應的i1匹配圖像，i2(x,y)表示所述初始視頻幀中配準特征點對所對應的i2匹配圖像，x,y表示配準特征點對的橫縱坐標；
18、基于所述配準特征點對，利用下述公式計算所述初始視頻幀的梯度強度：
19、
20、其中，eg(x,y)表示所述初始視頻幀的梯度強度，i1(x,y)表示所述初始視頻幀中配準特征點對所對應的i1匹配圖像，i2(x,y)表示所述初始視頻幀中配準特征點對所對應的匹配圖像，x,y表示配準特征對的橫縱坐標，表示梯度算子；
21、根據所述顏色差值與所述梯度強度，利用下述公式計算所述初始視頻幀的拼接接縫能量值：
22、
23、其中，e(x,y)表示所述初始視頻幀的拼接接縫能量值，ec(x,y)表示所述初始視頻幀的顏色差值，eg(x,y)表示所述初始視頻幀的梯度強度，λ表示能量配比系數，0≤λ≤1，x,y表示配準特征點對的橫縱坐標；
24、利用所述拼接接縫能量值確定所述初始視頻幀的拼接接縫。
25、在第一方面的一種可能實現方式中，所述計算所述像素塊的直方圖特征值，包括：
26、利用下述公式計算所述像素塊中的像素點梯度：
27、d1＝[1,0,-1],d1＝[-1,0,1]t
28、ax＝a*d1,ay＝a*d2
29、其中，ax與ay表示所述像素塊中的像素點梯度，ax和ay分別為像素塊在x軸和y軸方向的梯度，d1和d2分別為水平方向和垂直方向的梯度核，*為卷積運算符，t表示時刻；
30、利用下述公式計算所述像素點梯度的梯度方向：
31、
32、其中，l表示所述像素點梯度的梯度方向，ax與ay表示所述像素塊中的像素點梯度，ax和ay分別為像素塊在x軸和y軸方向的梯度；
33、利用下述公式計算所述像素點梯度的梯度幅度：
34、θ＝arctan(ay/ax)
35、其中，θ表示所述像素點梯度的梯度幅度，ax與ay表示所述像素塊中的像素點梯度，ax和ay分別為像素塊在x軸和y軸方向的梯度；
36、劃分所述梯度方向的方向子集；
37、在所述方向子集中利用所述梯度幅度計算所述像素塊的直方圖特征值。
38、在第一方面的一種可能實現方式中，所述計算所述像素塊的局部二值特征值，包括：
39、利用下述公式計算所述像素塊的像素編碼值：
40、
41、encode(x0)＝{f1,f2,…f8}
42、其中，encode(x0)表示所述像素塊的像素編碼值，xu表示所述像素塊的像素值，x0表示所述像素塊的某一像素值，fu表示x0相對于xu的編碼值，u表示；
43、根據所述像素編碼值，識別所述像素塊的本文檔來自技高網...
【技術保護點】
1.一種基于目標物體追蹤的視頻拼接方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述對所述檢測特征點對進行特征點對配準，得到配準特征點對，包括：
3.根據權利要求1所述的方法，其特征在于，所述基于所述配準特征點對，確定所述初始視頻幀的拼接接縫，包括：
4.根據權利要求1所述的方法，其特征在于，所述計算所述像素塊的直方圖特征值，包括：
5.根據權利要求1所述的方法，其特征在于，所述計算所述像素塊的局部二值特征值，包括：
6.根據權利要求1所述的方法，其特征在于，所述利用所述時序坐標矢量計算所述多路視頻幀的時序特征矢量對，包括：
7.根據權利要求1所述的方法，其特征在于，所述根據所述時序特征矢量對，計算所述多路視頻幀的更新接縫，包括：
8.一種基于目標物體追蹤的視頻拼接裝置，其特征在于，所述裝置包括：
9.一種電子設備，其特征在于，所述電子設備包括：
10.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利
...【技術特征摘要】
1.一種基于目標物體追蹤的視頻拼接方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述對所述檢測特征點對進行特征點對配準，得到配準特征點對，包括：
3.根據權利要求1所述的方法，其特征在于，所述基于所述配準特征點對，確定所述初始視頻幀的拼接接縫，包括：
4.根據權利要求1所述的方法，其特征在于，所述計算所述像素塊的直方圖特征值，包括：
5.根據權利要求1所述的方法，其特征在于，所述計算所述像素塊的局部二值特征值，包括：
6.根據權利要...
【專利技術屬性】
技術研發人員：宋昊爽，呂波，李曉宇，胡水清，張志華，
申請(專利權)人：石化盈科信息技術有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。