立體觀看制造技術

本發明專利技術涉及創建和觀看立體圖像，例如也被稱為3D視頻的立體視頻圖像。使用具有交疊視場的至少三個相機捕獲場景，使得場景的區域被至少三個相機覆蓋。在觀看器處，從多個相機中選擇相機配對以創建立體相機配對，立體相機配對在用戶的眼睛位于相機源的地方時最佳地匹配用戶的眼睛的位置。也就是說，選擇相機配對以使得由相機源創建的視差類似于用戶的眼睛在該位置處會具有的視差。如果用戶俯仰其頭部，或者觀看方位變化，則可以例如通過開關其他相機來形成新的配對。觀看器設備因此通過針對理想的立體視差挑選用于每個圖像的每個區域的最佳源來針對左右眼睛形成視頻幀的圖像。

Stereoscopic viewing

The present invention relates to stereoscopic video images for creating and viewing stereoscopic images, for example, also known as 3D video. At least three cameras with overlapping fields are used to capture the scene so that the area of the scene is covered by at least three cameras. At the viewer, a camera pair is selected from a plurality of cameras to create a stereo camera pair, and the stereo camera pair matches the user's eye position at the time the user's eye is located at the camera source. That is to say, the camera pair is selected so that the parallax created by the camera source is similar to that of the user's eye at that location. If the user is pitching its head, or viewing a change in orientation, it may be possible to form a new pair of cameras, for example, by switching the other cameras. The viewer device therefore selects an image of a video frame for the left and right eyes by selecting the best source for each region of each image for the ideal stereo parallax.

【技術實現步驟摘要】
【國外來華專利技術】
技術介紹
靜止和移動圖像的數字立體觀看已經變得很普遍，并且用于觀看3D(三維)電影的設備得到更廣泛的普及。電影院基于使用專門的眼鏡觀看電影來提供3D電影，專門的眼鏡確保對電影的每幀的左右眼的不同圖像的觀看。同樣的方法已經被引入具有3D能力的播放器和電視機的家庭使用。實際上，電影包括同一場景的兩個視圖，一個用于左眼并且一個用于右眼。這些視圖通過使用專門的立體相機捕獲電影來產生，專門的立體相機直接產生適合立體觀看的這一內容。當視圖被呈現給兩個眼睛時，人類視覺系統產生場景的3D視圖。這一技術具有以下缺陷：觀看區域(電影屏幕或電視機)僅占據視場的一部分，并且因此3D視圖的體驗受到限制。為了獲得更加理想的體驗，已經創建了占據總體視場的更大區域的設備。存在可用的專門的立體觀看護目鏡(goggles)，立體觀看護目鏡應當被佩戴在頭部，使得它們能夠覆蓋眼睛并且使用小屏幕和透鏡布置來顯示左右眼的圖片。這樣的技術也具有優點，其可以在小空間中使用，并且與通常用于3D觀看的相當大的電視機相比較，甚至同時在移動。出于游戲的目的，存在與這樣的立體眼鏡兼容的游戲，并且這些游戲能夠產生被捕獲用于虛擬游戲世界的立體觀看的兩個圖像，從而產生游戲場景的內部模型的3D視圖。不同的圖片根據模型被實時地渲染，并且因此這一方法需要計算能力，尤其是在游戲場景模型很復雜并且非常詳細并且包含大量對象的情況下。因此，需要能夠實現立體觀看、即觀看3D圖像的解決方案。
技術實現思路
現在，已經專利技術了一種改進的方法和實現該方法的技術設備，通過其能夠緩解以上問題。本專利技術的各種方面包括方法、相機裝置、服務器、客戶端渲染器以及其中存儲有計算機程序的計算機可讀介質，其特征在于在獨立權利要求中陳述的內容。從屬權利要求中公開了本專利技術的各種實施例。本專利技術涉及創建和觀看立體圖像、例如也被稱為3D視頻的立體視頻圖像。使用具有交疊的視場的至少三個相機源來捕獲場景，使得場景的區域被至少三個相機覆蓋。在觀看器處，從多個相機中選擇相機配對以創建在位于相機源的地方處時最佳地匹配用戶眼鏡的位置的立體相機配對。也就是說，選擇相機配對使得由相機源創建的視差類似于用戶的眼睛在該位置處將具有的視差。如果用戶俯仰其頭部，或者觀看方位改變，則可以形成新的配對，例如通過開關其他相機。觀看器設備然后通過挑選每個圖像的每個區域的最佳源來形成針對左右眼鏡的視頻幀的圖像以實現理想的場景視差。提供了一種方法，包括：確定用戶的頭部方位以獲得第一頭部方位，基于所述第一頭部方位來選擇第一圖像源和第二圖像源，所述第一圖像源和所述第二圖像源形成立體圖像源，通過使用所述第一圖像源渲染針對所述用戶的一個眼睛的第一目標圖像并且使用所述第二圖像源渲染針對所述用戶的另一眼睛的第二目標圖像來渲染第一立體圖像，確定所述用戶的頭部方位以獲得第二頭部方位，基于所述第二頭部方位來選擇所述第二圖像源和第三圖像源，所述第二圖像源和所述第三圖像源形成立體圖像源，通過使用所述第二圖像源渲染針對所述用戶的一個眼睛的第三目標圖像并且使用所述第三圖像源渲染針對所述用戶的另一眼睛的第四目標圖像來渲染第二立體圖像。提供了一種方法，包括：確定用戶的頭部方位以用于形成場景的立體視頻序列；基于所述頭部方位來選擇第一圖像源、第二圖像源和第三圖像源；以及通過使用所述第一圖像源和所述第二圖像源渲染針對所述用戶的左眼的圖像序列并且使用所述第一圖像源和所述第三圖像源渲染針對所述用戶的右眼的圖像序列來渲染所述立體視頻序列，其中所述第一圖像源被用于渲染在所述立體序列的每個立體幀中的針對所述用戶的所述左眼和所述右眼的所述場景的不同區域。提供了一種方法，包括：對多個源視頻信號編碼以用于立體觀看，所述源視頻信號包括來自多個相機源的視頻數據，所述源視頻信號包括有源場景區域信號和無源場景區域信號；向立體觀看設備傳輸所述多個源視頻信號以用于觀看；執行所述編碼和傳輸中的至少一項，使得在所傳輸的源視頻信號中，所述有源場景區域信號比所述無源場景區域信號以更高的保真度被編碼；所述有源場景區域信號和所述無源場景區域信號對應于用戶的頭部方位，使得所述有源場景區域信號對應于所述用戶正在觀看的場景區域并且所述無源場景區域信號對應于其他場景區域。提供了一種用于創建立體觀看圖像數據的相機設備，包括：具有規則或者不規則設置的至少三個相機，所述至少三個相機相對于彼此按照使得所述至少三個相機中的相機的任意配對具有用于創建具有視差的立體圖像的視差的方式被定位；所述至少三個相機具有交疊的視場以使得交疊區域被限定，針對所述交疊區域通過所述至少三個相機捕獲每個部分。相機設備可以使得上述至少三個相機中的上述任何相機配對具有對應于人眼的視差的視差以用于創建立體圖像。相機設備可以使得至少三個相機包括八個寬視場相機，八個寬視場相機基本上定位在虛擬立方體的角落處并且各自按照規則的方式具有基本上從虛擬立方體的中心點到角落的光軸方向，其中上述寬視場相機中的每個寬視場相機的視場至少是180度使得整個立體視圖的每個部分被至少四個相機覆蓋。提供了一種裝置，包括至少一個處理器、包括計算機程序代碼的存儲器，存儲器和計算機程序代碼被配置成與至少一個處理器一起使得裝置至少：確定用戶的頭部方位以獲得第一頭部方位，基于所述第一頭部方位來選擇第一圖像源和第二圖像源，所述第一圖像源和所述第二圖像源形成立體圖像源，通過使用所述第一圖像源渲染針對所述用戶的一個眼睛的第一目標圖像并且使用所述第二圖像源渲染針對所述用戶的另一眼睛的第二目標圖像來渲染第一立體圖像，確定所述用戶的頭部方位以獲得第二頭部方位，基于所述第二頭部方位來選擇所述第二圖像源和第三圖像源，所述第二圖像源和所述第三圖像源形成立體圖像源，通過使用所述第二圖像源渲染針對所述用戶的一個眼睛的第三目標圖像并且使用所述第三圖像源渲染針對所述用戶的另一眼睛的第四目標圖像來渲染第二立體圖像。提供了一種裝置，包括至少一個處理器、包括計算機程序代碼的存儲器，存儲器和計算機程序代碼被配置成與至少一個處理器一起使得裝置至少：確定用戶的頭部方位以用于形成場景的立體視頻序列；基于所述頭部方位來選擇第一圖像源、第二圖像源和第三圖像源；以及通過使用所述第一圖像源和所述第二圖像源渲染針對所述用戶的左眼的圖像序列并且使用所述第一圖像源和所述第三圖像源渲染針對所述用戶的右眼的圖像序列來渲染所述立體視頻序列，其中所述第一圖像源被用于渲染在所述立體序列的每個立體幀中的針對所述用戶的所述左眼和所述右眼的所述場景的不同區域。提供了一種裝置，包括至少一個處理器、包括計算機程序代碼的存儲器，存儲器和計算機程序代碼被配置成與至少一個處理器一起使得裝置至少：對多個源視頻信號編碼以用于立體觀看，所述源視頻信號包括來自多個相機源的視頻數據，所述源視頻信號包括有源場景區域信號和無源場景區域信號；向立體觀看設備傳輸所述多個源視頻信號以用于觀看；執行所述編碼和傳輸中的至少一項，使得在所傳輸的源視頻信號中，所述有源場景區域信號比所述無源場景區域信號以更高的保真度被編碼；所述有源場景區域信號和所述無源場景區域信號對應于用戶的頭部方位，使得所述有源場景區域信號對應于所述用戶正在觀看的場景區域并且所述無源場景區域信號對應于其他場景區域。提供了一種系統，包括至少一個處本文檔來自技高網...

【技術保護點】
一種方法，包括：?確定用戶的頭部方位以獲得第一頭部方位，?基于所述第一頭部方位來選擇第一圖像源和第二圖像源，所述第一圖像源和所述第二圖像源形成立體圖像源，?通過使用所述第一圖像源渲染針對所述用戶的一個眼睛的第一目標圖像并且使用所述第二圖像源渲染針對所述用戶的另一眼睛的第二目標圖像來渲染第一立體圖像，?確定所述用戶的頭部方位以獲得第二頭部方位，?基于所述第二頭部方位來選擇所述第二圖像源和第三圖像源，所述第二圖像源和所述第三圖像源形成立體圖像源，?通過使用所述第二圖像源渲染針對所述用戶的一個眼睛的第三目標圖像并且使用所述第三圖像源渲染針對所述用戶的另一眼睛的第四目標圖像來渲染第二立體圖像。

【技術特征摘要】
【國外來華專利技術】2014.04.07 GB 1406201.21.一種方法，包括：-確定用戶的頭部方位以獲得第一頭部方位，-基于所述第一頭部方位來選擇第一圖像源和第二圖像源，所述第一圖像源和所述第二圖像源形成立體圖像源，-通過使用所述第一圖像源渲染針對所述用戶的一個眼睛的第一目標圖像并且使用所述第二圖像源渲染針對所述用戶的另一眼睛的第二目標圖像來渲染第一立體圖像，-確定所述用戶的頭部方位以獲得第二頭部方位，-基于所述第二頭部方位來選擇所述第二圖像源和第三圖像源，所述第二圖像源和所述第三圖像源形成立體圖像源，-通過使用所述第二圖像源渲染針對所述用戶的一個眼睛的第三目標圖像并且使用所述第三圖像源渲染針對所述用戶的另一眼睛的第四目標圖像來渲染第二立體圖像。2.根據權利要求1所述的方法，包括：-使用所述第一圖像源來形成與場景的第一區域對應的第一像素區域的顏色值，所述第一像素區域的所述顏色值用于形成所述第一目標圖像以用于向第一眼睛顯示，-使用所述第二圖像源來形成與場景的所述第一區域對應的第二像素區域的顏色值，所述第二像素區域的所述顏色值用于形成所述第二目標圖像以用于向第二眼睛顯示，-使用所述第三圖像源來形成與場景的所述第一區域對應的第三像素區域的顏色值，所述第三像素區域的所述顏色值用于形成所述第三目標圖像以用于向所述第一眼睛顯示，-使用所述第二圖像源來形成與場景的所述第一區域對應的第四像素區域的顏色值，所述第四像素區域的所述顏色值用于形成所述第四目標圖像以用于向所述第二眼睛顯示。3.根據權利要求1或2所述的方法，包括：-使用所述頭部方位在坐標系中確定對應于所述用戶的所述眼睛的第一虛擬眼睛的位置和第二虛擬眼睛的位置，-關于所述坐標系中的圖像源位置，基于所述虛擬眼睛的所述位置來選擇所述圖像源。4.根據權利要求3所述的方法，包括：-將針對所述用戶的第一眼睛的圖像的像素的圖像源確定為針對與所述第一眼睛對應的虛擬眼睛的接近圖像源，所述接近圖像源滿足接近準則，其中所述接近圖像源捕獲與所述像素對應的場景部分，以及-將針對所述用戶的所述第一眼睛的圖像的像素的圖像源確定為另一源而非針對與所述第一眼睛對應的所述虛擬眼睛的所述接近圖像源，其中所述接近圖像源沒有捕獲與所述像素對應的所述場景部分。5.根據權利要求1到4中的任一項所述的方法，包括：-渲染針對眼睛的圖像的區域以使得所述區域對應于圖像源，其中按照在圖像源坐標系中所述圖像源與對應于所述眼睛的虛擬眼睛的接近度的順序來渲染所述區域。6.根據權利要求5所述的方法，其中通過使用圖像拼接技術在所述圖像的所述區域的邊緣將所述圖像的所述區域組合在一起。7.根據權利要求6所述的方法，其中通過混合所述區域的所述邊緣區域來組合所述圖像的所述區域。8.根據權利要求1到7中的任一項所述的方法，包括：-混合來自使用所述第一圖像源形成的所述圖像和使用所述第三圖像源形成的所述圖像的時間過渡。9.根據權利要求8所述的方法，包括：-通過使用關于頭部移動速度的信息來調節所述時間過渡混合的持續時間。10.根據權利要求1到9中的任一項所述的方法，包括：-使用所述頭部方位信息來確定針對左耳的音頻信息和針對右耳的音頻信息，以使用頭部相關傳遞函數來修改來自兩個或更多音頻源的音頻信息。11.根據權利要求1到9中的任一項所述的方法，包括：-確定所述圖像源的源方位信息，以及-使用所述源方位信息連同所述頭部方位信息來選擇所述圖像源。12.根據權利要求10所述的方法，包括：-確定所述音頻源的源方位信息，以及-使用所述源方位信息連同所述頭部方位信息來修改來自所述音頻源的音頻信息。13.根據權利要求1到12中的任一項所述的方法，其中所述圖像源是真實世界相機。14.根據權利要求1到12中的任一項所述的方法，其中所述圖像源被形成為使用虛擬相機的計算機設備的輸出，以用于產生已渲染的合成圖像。15.根據權利要求1到14中的任一項所述的方法，其中所述頭部方位與所述用戶頭部的物理方位相關。16.根據權利要求1到14中的任一項所述的方法，其中所述頭部方位與由計算機程序或者由計算機輸入設備控制的用戶的觀看方向的虛擬方位有關。17.根據權利要求1到16中的任一項所述的方法，其中所述立體圖像被用于形成立體視頻序列。18.一種方法，包括：-確定用戶的頭部方位以用于形成場景的立體視頻序列；-基于所述頭部方位來選擇第一圖像源、第二圖像源和第三圖像源；以及-通過使用所述第一圖像源和所述第二圖像源渲染針對所述用戶的左眼的圖像序列并且使用所述第一圖像源和所述第三圖像源渲染針對所述用戶的右眼的圖像序列來渲染所述立體視頻序列，其中所述第一圖像源被用于渲染在所述立體序列的每個立體幀中的針對所述用戶的所述左眼和所述右眼的所述場景的不同區域。19.一種方法，包括：-對多個源視頻信號編碼以用于立體觀看，所述源視頻信號包括來自多個相機源的視頻數據，所述源視頻信號包括有源場景區域信號和無源場景區域信號；-向立體觀看設備傳輸所述多個源視頻信號以用于觀看；-執行所述編碼和所述傳輸中的至少一項，使得在所傳輸的源視頻信號中，所述有源場景區域信號相比所述無源場景區域信號以較高的保真度被編碼；所述有源場景區域信號和所述無源場景區域信號對應于用戶的頭部方位，使得所述有源場景區域信號對應于所述用戶正在觀看的場景區域并且所述無源場景區域信號對應于其他場景區域。20.根據權利要求19所述的方法，其中所述源視頻信號包括至少三個有源場景區域信號，使得所述至少三個有源場景區域信號覆蓋場景的區域，使得所述有源場景區域信號的至少兩個不同配對能夠被用于創建場景的所述區域的立體視頻。21.一種用于創建立體觀看圖像數據的相機設備，包括：-處于規則或者不規則設置中的至少三個相機，所述至少三個相機相對于彼此按照使得所述至少三個相機中的相機的任意配對具有用于創建具有視差的立體圖像的視差的方式被定位；-所述至少三個相機具有交疊的視場以使得交疊區域被限定，針對所述交疊區域，通過所述至少三個相機捕獲每個部分。22.根據權利要求21所述的相機設備，其中所述至少三個相機中的相機的所述任意配對具有與人眼的視差對應的視差，以用于創建立體圖像。23.根據權利要求22所述的相機設備，其中相機的所述任意配對之間的所述視差在5.0cm與12.0cm之間。24.根據權利要求21、22或23所述的相機設備，其中所述至少三個相機具有不同的光軸方向。25.根據權利要求21到24中的任一項所述的相機設備，其中所述交疊區域具有簡單連接的拓撲。26.根據權利要求21到25中的任一項所述的相機設備，其中所述至少三個相機中的每個相機的視場近似地對應于半球。27.根據權利要求21到26中的任一項所述的相機設備，其中-所述相機設備包括三個相機，所述三個相機以三角形設置被布置，從而相機的任意配對之間的光軸方向形成小于90度的角度。28.根據權利要求21到26中的任一項所述的相機設備，其中所述至少三個相機包括：-八個寬視場相機，所述八個寬視場相機基本上處于虛擬立方體的角落處并且各自按照規則的方式具有基本上從所述虛擬立方體的中心點到所述角落的光軸方向，其中所述寬視場相機中的每個寬視場相機的視場至少是180度，使得整個球體視圖的每個部分被至少四個相機覆蓋。29.一種裝置，包括：至少一個處理器、包括計算機程序代碼的存儲器，所述存儲器和所述計算機程序代碼被配置成與所述至少一個處理器一起使得所述裝置至少：-確定用戶的頭部方位以獲得第一頭部方位，-基于所述第一頭部方位來選擇第一圖像源和第二圖像源，所述第一圖像源和所述第二圖像源形成立體圖像源，-通過使用所述第一圖像源渲染針對所述用戶的一個眼睛的第一目標圖像并且使用所述第二圖像源渲染針對所述用戶的另一眼睛的第二目標圖像來渲染第一立體圖像，-確定所述用戶的頭部方位以獲得第二頭部方位，-基于所述第二頭部方位來選擇所述第二圖像源和第三圖像源，所述第二圖像源和所述第三圖像源形成立體圖像源，-通過使用所述第二圖像源渲染針對所述用戶的一個眼睛的第三目標圖像并且使用所述第三圖像源渲染針對所述用戶的另一眼睛的第四目標圖像來渲染第二立體圖像。30.根據權利要求29所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-使用所述第一圖像源來形成與場景的第一區域對應的第一像素區域的顏色值，所述第一像素區域的所述顏色值用于形成所述第一目標圖像以用于向第一眼睛顯示，-使用所述第二圖像源來形成與場景的所述第一區域對應的第二像素區域的顏色值，所述第二像素區域的所述顏色值用于形成所述第二目標圖像以用于向第二眼睛顯示，-使用所述第三圖像源來形成與場景的所述第一區域對應的第三像素區域的顏色值，所述第三像素區域的所述顏色值用于形成所述第三目標圖像以用于向所述第一眼睛顯示，-使用所述第二圖像源來形成與場景的所述第一區域對應的第四像素區域的顏色值，所述第四像素區域的所述顏色值用于形成所述第四目標圖像以用于向所述第二眼睛顯示。31.根據權利要求29或30所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-使用所述頭部方位在坐標系中確定對應于所述用戶的所述眼睛的第一虛擬眼睛的位置和第二虛擬眼睛的位置，-關于所述坐標系中的圖像源位置，基于所述虛擬眼睛的所述位置來選擇所述圖像源。32.根據權利要求31所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-將針對所述用戶的第一眼睛的圖像的像素的圖像源確定為針對與所述第一眼睛對應的虛擬眼睛的接近圖像源，所述接近圖像源滿足接近準則，其中所述接近圖像源捕獲與所述像素對應的場景部分，以及-將針對所述用戶的所述第一眼睛的圖像的像素的圖像源確定為另一源而非針對與所述第一眼睛對應的所述虛擬眼睛的所述接近圖像源，其中所述接近圖像源沒有捕獲與所述像素對應的所述場景部分。33.根據權利要求29到32中的任一項所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-渲染針對眼睛的圖像的區域以使得所述區域對應于圖像源，其中按照在圖像源坐標系中所述圖像源與對應于所述眼睛的虛擬眼睛的接近度的順序來渲染所述區域。34.根據權利要求33所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-通過使用圖像拼接技術在所述圖像的所述區域的邊緣將所述圖像的所述區域組合在一起。35.根據權利要求34所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-通過混合所述區域的所述邊緣區域來組合所述圖像的所述區域。36.根據權利要求29到35中的任一項所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-混合來自使用所述第一圖像源形成的所述圖像和使用所述第三圖像源形成的所述圖像的時間過渡。37.根據權利要求36所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-通過使用關于頭部移動速度的信息來調節所述時間過渡混合的持續時間。38.根據權利要求29到37中的任一項所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-使用所述頭部方位信息來確定針對左耳的音頻信息和針對右耳的音頻信息，以使用頭部相關傳遞函數來修改來自兩個或更多音頻源的音頻信息。39.根據權利要求29到38中的任一項所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-確定所述圖像源的源方位信息，以及-使用所述源方位信息連同所述頭部方位信息來選擇所述圖像源。40.根據權利要求38所述的裝置，包括使得所述裝置進行以下操作的計算機程序代碼：-確定所述音頻源的源方位信息，以及-使用所述源方位信息連同所述頭部方位信息來修改來自所述音頻源的音頻信息。41.根據權利要求29到40中的任一項所述的裝置，其中所述圖像源是真實世界相機。42.根據權利要求29到40中的任一項所述的裝置，其中所述圖像源被形成為使用虛擬相機的計算機設備的輸出，以用于產生已渲染的合成圖像。43.根據權利要求29到42中的任一項所述的裝置，其中所述頭部方位與所述用戶頭部的物理方位相關。44.根據權利要求29到42中的任一項所述的裝置，其中所述頭部方位與由計算機程序或者由計算機輸入設備控制的用戶的觀看方向的虛擬方位有關。45.根據權利要求29到44中的...

【專利技術屬性】
技術研發人員：K·格隆霍姆，A·R·鮑德溫，
申請(專利權)人：諾基亞技術有限公司，
類型：發明
國別省市：芬蘭;FI