本申請公開了一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法及系統(tǒng)，包括：根據(jù)輸入的三維模型數(shù)據(jù)源進(jìn)行三維模型渲染；以及對(duì)接入的多路視頻流進(jìn)行解碼，以獲取多路視頻流同一時(shí)間點(diǎn)的幀畫面；基于各路攝像頭相關(guān)信息，構(gòu)建各路攝像頭的透視投影視錐體，并計(jì)算所述透視投影視錐體的視圖矩陣和投影矩陣；根據(jù)各路攝像頭和投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的位置，逐像素構(gòu)建各路攝像頭的深度圖信息和法線圖信息；基于構(gòu)建的深度圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合。本申請能夠解決不同視角下視頻幀畫面融合效果形變的問題。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及圖像處理，尤其涉及一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法及系統(tǒng)。
技術(shù)介紹
1、當(dāng)前三維場景和多路視頻融合方案如下，將接入的多路視頻流解碼獲取同一時(shí)間片視頻的多張畫面圖片，使用計(jì)算多路攝像頭平均位置、姿態(tài)信息計(jì)算出固定觀察視點(diǎn)的虛擬攝像頭位置，然后通過圖像處理技術(shù)進(jìn)行疊加區(qū)域的圖片融合然后在編碼形成視頻流后輸出到點(diǎn)云、傾斜攝影等基于本地三維模型文件渲染的三維場景中，三維場景中拿到視頻進(jìn)行二次解碼，獲取圖片后結(jié)合模型渲染技術(shù)進(jìn)行場景融合。
2、現(xiàn)有技術(shù)主要存在如下技術(shù)問題：
3、（1）使用固定的觀察視點(diǎn)參數(shù)計(jì)算視頻幀畫面融合的參數(shù)進(jìn)行圖片融合，這樣就導(dǎo)致瀏覽在三維場景時(shí)不同觀察視角下視頻幀畫面和模型融合的角度出現(xiàn)一定的拉伸或者其它形變。
4、（2）降低三維場景中融合后視頻的時(shí)效性
5、當(dāng)前方案整個(gè)流程需要多次視頻的編解碼和復(fù)雜的圖像處理融合技術(shù)，技術(shù)鏈路長且復(fù)雜，導(dǎo)致融合效率底下、融合到場景中的視頻延時(shí)長，實(shí)時(shí)性不高。
6、（3）增加硬件成本
7、需要為融合環(huán)節(jié)中多次的視頻編解碼環(huán)節(jié)和復(fù)雜的圖像處理技術(shù)環(huán)節(jié)提供額外的硬件配置支持，無法充分利用當(dāng)前三維場景渲染端的硬件能力。
8、（4）不支持目前通用標(biāo)準(zhǔn)的三維模型數(shù)據(jù)服務(wù)類型（3dtiles、s3mb、i3s）的模型融合。目前對(duì)數(shù)據(jù)安全管理和信息的保密要求越來越高，導(dǎo)致數(shù)據(jù)生產(chǎn)供應(yīng)?商不在以提供本地模型的形式提供模型給可視化平臺(tái)廠商，這就導(dǎo)致現(xiàn)有基于文?件模型的方案沒有辦法使用。</p>9、（5）不支持建筑領(lǐng)域bim模型數(shù)據(jù)和工業(yè)領(lǐng)域的pim模型數(shù)據(jù)的融合。隨著跨?行業(yè)的業(yè)務(wù)擴(kuò)展，數(shù)字孿生、元宇宙等行業(yè)對(duì)三維可視化平臺(tái)的多元異構(gòu)數(shù)據(jù)的融合呈現(xiàn)要求越來越高，傳統(tǒng)的基于gis類傾斜攝影或者人工建模或者點(diǎn)云數(shù)據(jù)的視頻融合方案已經(jīng)無法滿足業(yè)務(wù)需求。
技術(shù)實(shí)現(xiàn)思路
1、本申請實(shí)施例提供一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法及系統(tǒng)，用以只對(duì)視頻流解碼一次，結(jié)合模型和幀畫面根據(jù)主相機(jī)和攝像頭信息根據(jù)自定義融合算法替代圖像處理環(huán)節(jié)，用于提升效率、提高硬件使用率、解決不同視角下視頻幀畫面融合效果形變的問題。
2、本申請實(shí)施例提供一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，包括如下步驟：
3、根據(jù)輸入的三維模型數(shù)據(jù)源進(jìn)行三維模型渲染；以及
4、對(duì)接入的多路視頻流進(jìn)行解碼，以獲取多路視頻流同一時(shí)間點(diǎn)的幀畫面；
5、基于各路攝像頭相關(guān)信息，構(gòu)建各路攝像頭的透視投影視錐體；
6、基于各路攝像頭和投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的位置，逐像素構(gòu)建各路攝像頭的深度圖信息和法線圖信息，其中所述深度圖信息包括各路攝像頭的位置和其投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的點(diǎn)距離和位置，所述法線圖信息包括每個(gè)像素點(diǎn)法線信息；
7、基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合。
8、可選的，根據(jù)屏幕顯示分辨率，以及所述透視投影視錐體在世界坐標(biāo)系下的視圖矩陣和投影矩陣，構(gòu)建深度圖信息包括：
9、根據(jù)屏幕顯示分辨率，構(gòu)建從各路攝像頭的位置和其投影視錐體平面各個(gè)像素點(diǎn)，并將各像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系下。
10、可選的，將各像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系下包括：
11、基于屏幕坐標(biāo)、世界矩陣、所述視圖矩陣以及所述投影矩陣計(jì)算出轉(zhuǎn)換矩陣，將屏幕坐標(biāo)系轉(zhuǎn)換到ndc空間坐標(biāo)系；
12、基于所述轉(zhuǎn)換矩陣、逆投影矩陣、逆視圖矩陣，將ndc空間坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系。
13、可選的，基于各路攝像頭和投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的位置，逐像素構(gòu)建各路攝像頭的深度圖信息和法線圖信息還包括：
14、根據(jù)統(tǒng)一的世界坐標(biāo)系，對(duì)攝像頭位置指向各像素的位置方向構(gòu)建一條射線，以計(jì)算與所述三維模型渲染中第一個(gè)模型相交位置的距離和位置信息；
15、根據(jù)各像素計(jì)算的距離和位置信息取周圍臨近點(diǎn)構(gòu)成的兩個(gè)相交的線段，以計(jì)算各像素的法線信息。
16、可選的，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合包括：
17、根據(jù)屏幕坐標(biāo)和主相機(jī)的深度圖信息，將像素轉(zhuǎn)換到世界坐標(biāo)系后、再轉(zhuǎn)換到攝像頭坐標(biāo)系下的平面投影坐標(biāo)；
18、根據(jù)轉(zhuǎn)換后的屏幕平面投影坐標(biāo)，在各攝像頭構(gòu)建的透視投影視錐體范圍內(nèi)的進(jìn)行融合，以及將范圍外的像素點(diǎn)剔除。
19、可選的，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合包括：
20、在同一的世界坐標(biāo)系下，分別計(jì)算各像素到各攝像頭的角度；
21、根據(jù)深度圖信息，確定每個(gè)像素的法線信息；
22、分別基于各像素點(diǎn)的位置和攝像頭的位置構(gòu)建一條射線；
23、利用射線和像素的法線計(jì)算兩條直線的夾角，以確定距離該像素最近的攝像頭位置。
24、可選的，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合還包括：
25、獲取當(dāng)前像素在世界坐標(biāo)系下的當(dāng)前像素在該攝像頭下的齊次裁剪空間坐標(biāo)系下的坐標(biāo)；
26、經(jīng)過透視除法轉(zhuǎn)換到ndc空間坐標(biāo)系，再從ndc空間坐轉(zhuǎn)成紋理坐標(biāo)；
27、遍歷除自身外所有其它的攝像頭，若計(jì)算出的像素坐標(biāo)范圍均不在紋理坐標(biāo)區(qū)間，則放棄從最短距離所識(shí)別的攝像頭，而利用該像素自身所在的攝像頭下進(jìn)行紋理采樣；
28、若計(jì)算出的像素坐標(biāo)范圍在距離最短攝像頭范圍內(nèi)，則直接根據(jù)像素紋理坐標(biāo)在該攝像頭當(dāng)前時(shí)間點(diǎn)幀畫面中采樣對(duì)應(yīng)位置的紋理。
29、本申請實(shí)施例還提出一種基于三維場景渲染的多路視頻融合系統(tǒng)，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述的基于三維場景渲染的多路視頻融合方法的步驟。
30、本申請實(shí)施例的方法能夠只對(duì)視頻流解碼一次，結(jié)合模型和幀畫面根據(jù)主相機(jī)和攝像頭信息根據(jù)自定義融合算法替代圖像處理環(huán)節(jié)，用于提升效率、提高硬件使用率、解決不同視角下視頻幀畫面融合效果形變的問題。
31、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本申請的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本申請的具體實(shí)施方式。
本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，包括如下步驟：
2.如權(quán)利要求1所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，根據(jù)屏幕顯示分辨率，以及所述透視投影視錐體在世界坐標(biāo)系下的視圖矩陣和投影矩陣，構(gòu)建深度圖信息包括：
3.如權(quán)利要求2所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，將各像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系下包括：
4.如權(quán)利要求3所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于各路攝像頭和投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的位置，逐像素構(gòu)建各路攝像頭的深度圖信息和法線圖信息還包括：
5.如權(quán)利要求4所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合包括：
6.如權(quán)利要求5所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合包括：p>
7.如權(quán)利要求6所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于構(gòu)建的深度圖信息和法線圖信息，將渲染的三維模型與多路視頻流同一時(shí)間點(diǎn)的幀畫面進(jìn)行融合還包括：
8.一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合系統(tǒng)，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法的步驟。
...
【技術(shù)特征摘要】
1.一種基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，包括如下步驟：
2.如權(quán)利要求1所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，根據(jù)屏幕顯示分辨率，以及所述透視投影視錐體在世界坐標(biāo)系下的視圖矩陣和投影矩陣，構(gòu)建深度圖信息包括：
3.如權(quán)利要求2所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，將各像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系下包括：
4.如權(quán)利要求3所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于各路攝像頭和投影視錐體平面各個(gè)像素構(gòu)建的射線和場景相交的位置，逐像素構(gòu)建各路攝像頭的深度圖信息和法線圖信息還包括：
5.如權(quán)利要求4所述的基于三維場景渲染且視點(diǎn)無關(guān)的多路視頻融合方法，其特征在于，基于...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳國銀，彭愛峰，呂科，
申請(專利權(quán))人：北京睿呈時(shí)代信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。