基于OPENGL 的全景監(jiān)控方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)提供了一種基于OPENGL的全景監(jiān)控方法及系統(tǒng)，該全景監(jiān)控方法包括：魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟：用魚(yú)眼攝像頭對(duì)標(biāo)定板拍照若干張，然后用matlab工具箱進(jìn)行標(biāo)定，從而獲取魚(yú)眼攝像頭的內(nèi)部參數(shù)；OPENGL處理步驟：通過(guò)OPENGL編程來(lái)實(shí)現(xiàn)將圖像像素點(diǎn)按照投影函數(shù)映射到球面；交互式實(shí)時(shí)漫游步驟：通過(guò)調(diào)節(jié)視角大小和觀察點(diǎn)的位置來(lái)操作透視變換矩陣，從而實(shí)現(xiàn)交互式實(shí)時(shí)漫游。本發(fā)明專利技術(shù)的有益效果是：本發(fā)明專利技術(shù)的全景監(jiān)控具有靈活的人機(jī)交互方式，可以產(chǎn)生逼真的漫游效果，實(shí)現(xiàn)了實(shí)時(shí)全景監(jiān)控功能，本發(fā)明專利技術(shù)可以應(yīng)用于懸頂式和側(cè)視安裝的全景監(jiān)控系統(tǒng)，具有很強(qiáng)的實(shí)用性和使用價(jià)值。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及圖像處理
，尤其涉及基于OPENGL的全景監(jiān)控方法及系統(tǒng)。
技術(shù)介紹
目前的全景環(huán)視技術(shù)一般都是利用二維重投影技術(shù)，該類技術(shù)將攝像頭獲取的圖像向二維平面投射，通過(guò)多分屏實(shí)現(xiàn)不同視角下的平面投影影像，無(wú)法按照用戶需求，從全景圖平滑的過(guò)渡某個(gè)視角下的細(xì)節(jié)圖像，用戶體驗(yàn)一般。傳統(tǒng)的分屏投影技術(shù)中，用戶與設(shè)備的交互比較少，用戶操作不靈活。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供了一種基于OPENGL的全景監(jiān)控方法，包括如下步驟：魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟：用魚(yú)眼攝像頭對(duì)標(biāo)定板拍照若干張，然后用matlab工具箱進(jìn)行標(biāo)定，從而獲取魚(yú)眼攝像頭的內(nèi)部參數(shù)；OPENGL處理步驟：通過(guò)OPENGL編程來(lái)實(shí)現(xiàn)將圖像像素點(diǎn)按照投影函數(shù)映射到球面；交互式實(shí)時(shí)漫游步驟：通過(guò)調(diào)節(jié)視角大小和觀察點(diǎn)的位置來(lái)操作透視變換矩陣，從而實(shí)現(xiàn)交互式實(shí)時(shí)漫游。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟中，標(biāo)定完成后，所有的計(jì)算參數(shù)存儲(chǔ)在matlab魚(yú)眼攝像頭模型對(duì)象中，包括仿射變換矩陣、徑向畸變多項(xiàng)式系數(shù)、圖像坐標(biāo)系下的畸變中心位置坐標(biāo)，至此matlab標(biāo)定部分已經(jīng)結(jié)束，標(biāo)定得到的魚(yú)眼攝像頭內(nèi)部參數(shù)與圖像分辨率作為輸入?yún)?shù)被OPENGL球面映射過(guò)程所調(diào)用。作為本專利技術(shù)的進(jìn)一步改進(jìn)，所述OPENGL處理步驟和交互式實(shí)時(shí)漫游步驟包括：第一步：計(jì)算出圖8所示的圖像采樣點(diǎn)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系下的三維入射向量為[XYZ]T并對(duì)此三維入射向量進(jìn)行歸一化，以使該三維向量對(duì)應(yīng)的三維點(diǎn)分布在單位化的球面上；第二步：對(duì)紋理圖像進(jìn)行歸一化操作，將采樣點(diǎn)的圖像像素坐標(biāo)轉(zhuǎn)化為歸一化的紋理坐標(biāo)值，用[X_texture，Y_texture]T來(lái)表示；第三步：綁定紋理坐標(biāo)，確立第二步的2D圖像紋理坐標(biāo)[X_texture，Y_texture]T與第一步的單位球面點(diǎn)坐標(biāo)[X_sphereY_sphereZ_sphere]T的映射關(guān)系，通過(guò)glTexCoord2f和glVertex3f實(shí)現(xiàn)；第四步，設(shè)置紋理映射屬性，調(diào)用glTexImage2D函數(shù)，用來(lái)指定二維紋理圖像，包括紋理圖像的寬度和高度、像素?cái)?shù)據(jù)的格式、像素?cái)?shù)據(jù)的數(shù)據(jù)類型等，調(diào)用函數(shù)glTexParameteri對(duì)插值方式進(jìn)行設(shè)置，其中雙線性插值效果優(yōu)于最近鄰插值；第五步，對(duì)超出圖像紋理坐標(biāo)的頂點(diǎn)進(jìn)行控制，對(duì)超出[0,1]范圍的紋理坐標(biāo)進(jìn)行控制，將其置成黑色，以免產(chǎn)生圖像的重疊；第六步，切換觀察視角，在鼠標(biāo)事件處理函數(shù)中捕獲鼠標(biāo)拖動(dòng)時(shí)產(chǎn)生的二維位移量，將其按照一定規(guī)則轉(zhuǎn)化為圍繞x軸、y軸、z軸的旋轉(zhuǎn)角度，并通過(guò)glRotatef函數(shù)分別控制繞x軸，y軸，z軸的旋轉(zhuǎn)量，從而產(chǎn)生旋轉(zhuǎn)矩陣；在滾輪事件處理函數(shù)中捕獲滾輪的旋轉(zhuǎn)角度，并將滾輪旋轉(zhuǎn)角做線性或非線性處理后傳入glPerspective函數(shù)控制不同視角下的透視投影，產(chǎn)生縮放效果；第七步，全景與小視角切換，當(dāng)視場(chǎng)角比較小時(shí)，觀察點(diǎn)放置在球心。當(dāng)滑動(dòng)滾輪控制的視場(chǎng)角大于一定值后，增量部分通過(guò)線性或非線性的方式控制遠(yuǎn)離球心的距離，通過(guò)glTranslate函數(shù)實(shí)現(xiàn)，由此可以實(shí)現(xiàn)大視場(chǎng)范圍下圖像合理顯示和小視場(chǎng)角度下圖像無(wú)畸變，以及轉(zhuǎn)換過(guò)程平滑過(guò)渡的效果；第八步，更新紋理數(shù)據(jù)，將解碼出來(lái)的圖像幀數(shù)據(jù)更新紋理圖像數(shù)據(jù)。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在所述第三步中，首先調(diào)用glGenTextures函數(shù)創(chuàng)建紋理對(duì)象，然后調(diào)用glBindTexture函數(shù)將glGenTextures函數(shù)生成的紋理的名字綁定到對(duì)應(yīng)的目標(biāo)紋理上。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在第五步中，調(diào)用函數(shù)glTexParameterfv和glTexParameteriv實(shí)現(xiàn)紋理越界控制，將越界區(qū)域設(shè)置為黑色。本專利技術(shù)還提供了一種基于OPENGL的全景監(jiān)控系統(tǒng)，包括：魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取模塊：用魚(yú)眼攝像頭對(duì)標(biāo)定板拍照若干張，然后用matlab工具箱進(jìn)行標(biāo)定，從而獲取魚(yú)眼攝像頭的內(nèi)部參數(shù)；OPENGL處理模塊：通過(guò)OPENGL編程來(lái)實(shí)現(xiàn)將圖像像素點(diǎn)按照投影函數(shù)映射到球面；交互式實(shí)時(shí)漫游步驟：通過(guò)調(diào)節(jié)視角大小和觀察點(diǎn)的位置來(lái)操作透視變換矩陣，從而實(shí)現(xiàn)交互式實(shí)時(shí)漫游。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取模塊中，標(biāo)定完成后，所有的計(jì)算參數(shù)存儲(chǔ)在matlab魚(yú)眼攝像頭模型對(duì)象中，包括仿射變換矩陣、徑向畸變多項(xiàng)式系數(shù)、圖像坐標(biāo)系下的畸變中心位置坐標(biāo)，至此matlab標(biāo)定部分已經(jīng)結(jié)束，標(biāo)定得到的魚(yú)眼攝像頭內(nèi)部參數(shù)與圖像分辨率作為輸入?yún)?shù)被OPENGL球面映射過(guò)程所調(diào)用。作為本專利技術(shù)的進(jìn)一步改進(jìn)，所述OPENGL處理模塊和交互式實(shí)時(shí)漫游模塊包括：第一模塊：計(jì)算出圖8所示的圖像采樣點(diǎn)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系下的三維入射向量為[XYZ]T并對(duì)此三維入射向量進(jìn)行歸一化，以使該三維向量對(duì)應(yīng)的三維點(diǎn)分布在單位化的球面上；第二模塊：對(duì)紋理圖像進(jìn)行歸一化操作，將采樣點(diǎn)的圖像像素坐標(biāo)轉(zhuǎn)化為歸一化的紋理坐標(biāo)值，用[X_texture，Y_texture]T來(lái)表示；第三模塊：綁定紋理坐標(biāo)，確立第二步的2D圖像紋理坐標(biāo)[X_texture，Y_texture]T與第一步的單位球面點(diǎn)坐標(biāo)[X_sphereY_sphereZ_sphere]T的映射關(guān)系，通過(guò)glTexCoord2f和glVertex3f實(shí)現(xiàn)；第四模塊，設(shè)置紋理映射屬性，調(diào)用glTexImage2D函數(shù)，用來(lái)指定二維紋理圖像，包括紋理圖像的寬度和高度、像素?cái)?shù)據(jù)的格式、像素?cái)?shù)據(jù)的數(shù)據(jù)類型等，調(diào)用函數(shù)glTexParameteri對(duì)插值方式進(jìn)行設(shè)置，其中雙線性插值效果優(yōu)于最近鄰插值；第五模塊，對(duì)超出圖像紋理坐標(biāo)的頂點(diǎn)進(jìn)行控制，對(duì)超出[0,1]范圍的紋理坐標(biāo)進(jìn)行控制，將其置成黑色，以免產(chǎn)生圖像的重疊；第六模塊，切換觀察視角，在鼠標(biāo)事件處理函數(shù)中捕獲鼠標(biāo)拖動(dòng)時(shí)產(chǎn)生的二維位移量，將其按照一定規(guī)則轉(zhuǎn)化為圍繞x軸、y軸、z軸的旋轉(zhuǎn)角度，并通過(guò)glRotatef函數(shù)分別控制繞x軸，y軸，z軸的旋轉(zhuǎn)量，從而產(chǎn)生旋轉(zhuǎn)矩陣；在滾輪事件處理函數(shù)中捕獲滾輪的旋轉(zhuǎn)角度，并將滾輪旋轉(zhuǎn)角做線性或非線性處理后傳入glPerspective函數(shù)控制不同視角下的透視投影，產(chǎn)生縮放效果；第七模塊，全景與小視角切換，當(dāng)視場(chǎng)角比較小時(shí)，觀察點(diǎn)放置在球心。當(dāng)滑動(dòng)滾輪控制的視場(chǎng)角大于一定值后，增量部分通過(guò)線性或非線性的方式控制遠(yuǎn)離球心的距離，通過(guò)glTranslate函數(shù)實(shí)現(xiàn)，由此可以實(shí)現(xiàn)大視場(chǎng)范圍下圖像合理顯示和小視場(chǎng)角度下圖像無(wú)畸變，以及轉(zhuǎn)換過(guò)程平滑過(guò)渡的效果；第八模塊，更新紋理數(shù)據(jù)，將解碼出來(lái)的圖像幀數(shù)據(jù)更新紋理圖像數(shù)據(jù)。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在所述第三模塊中，首先調(diào)用glGenTextures函數(shù)創(chuàng)建紋理對(duì)象，然后調(diào)用glBindTexture函數(shù)將glGenTextures函數(shù)生成的紋理的名字綁定到對(duì)應(yīng)的目標(biāo)紋理上。作為本專利技術(shù)的進(jìn)一步改進(jìn)，在第五模塊中，調(diào)用函數(shù)glTexParameterfv和glTexParameteriv實(shí)現(xiàn)紋理越界控制，將越界區(qū)域設(shè)置為黑色。本專利技術(shù)的有益效果是：本專利技術(shù)的全景監(jiān)控具有靈活的人機(jī)交互方式，可以產(chǎn)生逼真的漫游效果，實(shí)現(xiàn)了實(shí)時(shí)全景監(jiān)控功能，本專利技術(shù)可以應(yīng)用于懸頂式和側(cè)視安裝的全景監(jiān)控系統(tǒng)，具有很強(qiáng)的實(shí)用性和使用價(jià)值。附圖說(shuō)明圖1是標(biāo)定板圖像；圖2是拍攝圖片樣例圖；圖3是標(biāo)定工本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于OPENGL的全景監(jiān)控方法，其特征在于，包括如下步驟：魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟：用魚(yú)眼攝像頭對(duì)標(biāo)定板拍照若干張，然后用matlab工具箱進(jìn)行標(biāo)定，從而獲取魚(yú)眼攝像頭的內(nèi)部參數(shù)；OPENGL處理步驟：通過(guò)OPENGL編程來(lái)實(shí)現(xiàn)將圖像像素點(diǎn)按照投影函數(shù)映射到球面；交互式實(shí)時(shí)漫游步驟：通過(guò)調(diào)節(jié)視角大小和觀察點(diǎn)的位置來(lái)操作透視變換矩陣，從而實(shí)現(xiàn)交互式實(shí)時(shí)漫游。

【技術(shù)特征摘要】
1.一種基于OPENGL的全景監(jiān)控方法，其特征在于，包括如下步驟：魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟：用魚(yú)眼攝像頭對(duì)標(biāo)定板拍照若干張，然后用matlab工具箱進(jìn)行標(biāo)定，從而獲取魚(yú)眼攝像頭的內(nèi)部參數(shù)；OPENGL處理步驟：通過(guò)OPENGL編程來(lái)實(shí)現(xiàn)將圖像像素點(diǎn)按照投影函數(shù)映射到球面；交互式實(shí)時(shí)漫游步驟：通過(guò)調(diào)節(jié)視角大小和觀察點(diǎn)的位置來(lái)操作透視變換矩陣，從而實(shí)現(xiàn)交互式實(shí)時(shí)漫游。2.根據(jù)權(quán)利要求1所述的全景監(jiān)控方法，其特征在于，在魚(yú)眼攝像頭內(nèi)部參數(shù)的獲取步驟中，標(biāo)定完成后，所有的計(jì)算參數(shù)存儲(chǔ)在matlab魚(yú)眼攝像頭模型對(duì)象中，包括仿射變換矩陣、徑向畸變多項(xiàng)式系數(shù)、圖像坐標(biāo)系下的畸變中心位置坐標(biāo)，至此matlab標(biāo)定部分已經(jīng)結(jié)束，標(biāo)定得到的魚(yú)眼攝像頭內(nèi)部參數(shù)與圖像分辨率作為輸入?yún)?shù)被OPENGL球面映射過(guò)程所調(diào)用。3.根據(jù)權(quán)利要求1所述的全景監(jiān)控方法，其特征在于，所述OPENGL處理步驟和交互式實(shí)時(shí)漫游步驟包括：第一步：計(jì)算出圖8所示的圖像采樣點(diǎn)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系下的三維入射向量為[XYZ]T并對(duì)此三維入射向量進(jìn)行歸一化，以使該三維向量對(duì)應(yīng)的三維點(diǎn)分布在單位化的球面上；第二步：對(duì)紋理圖像進(jìn)行歸一化操作，將采樣點(diǎn)的圖像像素坐標(biāo)轉(zhuǎn)化為歸一化的紋理坐標(biāo)值，用[X_texture，Y_texture]T來(lái)表示；第三步：綁定紋理坐標(biāo)，確立第二步的2D圖像紋理坐標(biāo)[X_texture，Y_texture]T與第一步的單位球面點(diǎn)坐標(biāo)[X_sphereY_sphereZ_sphere]T的映射關(guān)系，通過(guò)glTexCoord2f和glVertex3f實(shí)現(xiàn)；第四步，設(shè)置紋理映射屬性，調(diào)用glTexImage2D函數(shù)，用來(lái)指定二維紋理圖像，包括紋理圖像的寬度和高度、像素?cái)?shù)據(jù)的格式、像素?cái)?shù)據(jù)的數(shù)據(jù)類型等，調(diào)用函數(shù)glTexParameteri對(duì)插值方式進(jìn)行設(shè)置，其中雙線性插值效果優(yōu)于最近鄰插值；第五步，對(duì)超出圖像紋理坐標(biāo)的頂點(diǎn)進(jìn)行控制，對(duì)超出[0,1]范圍的紋理坐標(biāo)進(jìn)行控制，將其置成黑色，以免產(chǎn)生圖像的重疊；第六步，切換觀察視角，在鼠標(biāo)事件處理函數(shù)中捕獲鼠標(biāo)拖動(dòng)時(shí)產(chǎn)生的二維位移量，將其按照一定規(guī)則轉(zhuǎn)化為圍繞x軸、y軸、z軸的旋轉(zhuǎn)角度，并通過(guò)glRotatef函數(shù)分別控制繞x軸，y軸，z軸的旋轉(zhuǎn)量，從而產(chǎn)生旋轉(zhuǎn)矩陣；在滾輪事件處理函數(shù)中捕獲滾輪的旋轉(zhuǎn)角度，并將滾輪旋轉(zhuǎn)角做線性或非線性處理后傳入glPerspective函數(shù)控制不同視角下的透視投影，產(chǎn)生縮放效果；第七步，全景與小視角切換，當(dāng)視場(chǎng)角比較小時(shí)，觀察點(diǎn)放置在球心。當(dāng)滑動(dòng)滾輪控制的視場(chǎng)角大于一定值后，增量部分通過(guò)線性或非線性的方式控制遠(yuǎn)離球心的距離，通過(guò)glTranslate函數(shù)實(shí)現(xiàn)，由此可以實(shí)現(xiàn)大視場(chǎng)范圍下圖像合理顯示和小視場(chǎng)角度下圖像無(wú)畸變，以及轉(zhuǎn)換過(guò)程平滑過(guò)渡的效果；第八步，更新紋理數(shù)據(jù)，將解碼出來(lái)的圖像幀數(shù)據(jù)更新紋理圖像數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的全景監(jiān)控方法，其特征在于，在所述第三步中，首先調(diào)用glGenTextures函數(shù)創(chuàng)建紋理對(duì)象，然后調(diào)用glBindTexture函數(shù)將glGenTextures函數(shù)生成的紋理的名字綁定到對(duì)應(yīng)的目標(biāo)紋理上。5.根據(jù)權(quán)利要求1所述的全景監(jiān)控方法，其特征在于，在第五步中，調(diào)用函數(shù)glTexParameterfv和glTexParameteriv實(shí)現(xiàn)紋理越界控制，將越界區(qū)域設(shè)置為黑色。6.一...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馬新軍，江龍，馮聰，高慧洋，
申請(qǐng)(專利權(quán))人：哈爾濱工業(yè)大學(xué)深圳研究生院，
類型：發(fā)明
國(guó)別省市：廣東;44