3D圖像信號處理方法和用于實現該方法的圖像顯示器技術

3D圖像信號處理方法和用于實現該方法的圖像顯示器。公開了一種用于3D圖像處理的方法，該方法使得在圖像信號發送側部分省略了要被設置在要發送的多個圖像信號中的信息的情況下，能夠在接收機處合成并再現圖像。本發明專利技術的用于3D圖像處理的方法在3D圖像顯示器中實現。所述設備從廣播信號恢復至少一個圖像，并且從所恢復的圖像額外地產生虛擬相機的視點處的圖像并按照三維模式顯示該圖像。為此，該圖像顯示器首先接收廣播信號，并且從所述信令信息獲得至少一組相機參數。接著，該圖像顯示器根據所述相機參數產生虛擬視點圖像，并且按照三維方式對所述虛擬視點圖像和包括在所述廣播信號中的廣播圖像進行格式化。

【技術實現步驟摘要】
3D圖像信號處理方法和用于實現該方法的圖像顯示器本申請是申請號為200980150985.3、國際申請號為PCT/KR2009/004620、申請日為2009年8月19日、專利技術名稱為“3D圖像信號處理方法和用于實現該方法的圖像顯示器”的專利技術專利申請的分案申請。
本專利技術涉及顯示裝置和圖像顯示方法，具體地說，涉及用于顯示3D圖像的顯示裝置及其圖像顯示方法。
技術介紹
電視技術的進步已經達到了實現用于顯示立體圖像的裝置的水平。已經提出了各種立體圖像顯示方案，在進行本申請時，立體型3D電視的成熟的商業化即將到來。在立體3D系統中，使用類似于人眼的彼此分開約65毫米的兩個圖像傳感器來采集兩個圖像，并且將所采集的圖像作為廣播信號發送到接收機。接著，該接收機對要輸入到觀眾(即，用戶)的左眼和右眼的這兩個圖像進行處理，由此模擬雙目視差以允許深度感知和立體視覺。另外，正在針對多視點視頻進行積極的研究，在該多視點視頻中，通過多個相機采集多個圖像，并且向接收機提供所采集的圖像以使得各個視點的3D圖像能夠顯示在該接收機上。多視點視頻被期待具有經由寬屏幕和視點自由度提供三維(3D)圖像效果的優點。然而，在以商業方式實現該多視點視頻時，在發送側和接收側即時處理的數據的量增加，并且要求高價格的設備。具體地說，為了發送具有不同視點的圖像，無論通過去除時間冗余和空間冗余將信號壓縮得多么嚴重，發送過程都要求可觀的帶寬。盡管有線網絡或衛星廣播網絡已經被延伸，但是在提交本申請時，相當大數量的接收機仍將經由空中接口接收電視信號，并且對多個圖像進行編碼以及通過分配給無線電信號的各個廣播頻道的帶寬來發送這些經編碼的圖像并不容易。這種問題可能出現在除了多視點視頻以外還發送用于立體3D顯示的兩個圖像信號的系統中。因而，急迫需要一種顯著地減少向接收機傳送與多個圖像信號相關的信息時的圖像信號信息的量以實現立體3D顯示或多視點視頻的方法。
技術實現思路
因此，本專利技術的目的是提供一種用于處理3D圖像信號的方法，由此盡管圖像信號發送側發送要包括在多個圖像信號中的信息，同時忽略該信息的一部分，但是接收機仍能夠合成所發送的信息以再現圖像。本專利技術的另一目的是提供一種實現該圖像信號處理方法的圖像顯示裝置。在3D圖像顯示裝置中實現根據本專利技術的示例實施方式的3D圖像信號處理方法。該3D圖像顯示裝置從廣播信號恢復至少一個圖像，從所恢復的圖像附加地產生虛擬相機視點處的圖像，并且按照三維方式顯示該圖像。為此，該3D圖像顯示裝置首先接收廣播信號并解析該廣播信號以提取信令信息，并且從該信令信息獲得至少一組相機參數。接著，該3D圖像顯示裝置根據這些相機參數產生虛擬視點圖像，并且對該虛擬視點圖像和所述廣播圖像中包括的廣播圖像進行格式化。該信令信息可以是地面虛擬頻道表(TVCT)或者節目映射表(PMT)。在示例實施方式中，該廣播信號可以包括深度信息。在該示例實施方式中，在產生所述虛擬視點圖像時，首先，可以根據這些相機參數和深度信息產生虛擬視圖視點(virtualviewviewpoint)處的深度信息。接著，可以根據所述廣播圖像和虛擬視圖視點來產生該虛擬視圖視點處的虛擬視點圖像。在示例實施方式中，可以通過該信令信息來指定該虛擬視圖視點。在修改例中，可以根據用戶命令來指定或改變該虛擬視圖視點。在該示例實施方式中，所述廣播信號可以包括多個圖像以及與所述多個圖像中的一個相關的深度信息。在這種情況下，所述多個圖像中的與所述深度信息相關的圖像可以被確定為基礎圖像，并且可以基于所確定的基礎圖像、所述深度信息和所述相機參數來產生所述虛擬視圖視點。對象的形式信息可以被附加地包括在所述廣播信號中。在這種情況下，可以根據所述相機參數和形式信息來產生所述虛擬視圖視點。該形式信息可以包括由于不同的對象的遮擋(occlusion)信息。根據本專利技術的一個方面，提供了一種圖像顯示裝置，該圖像顯示裝置包括廣播信號接收單元、渲染(render)單元和格式化器。該廣播信號接收單元可以接收廣播信號并解析該廣播信號以提取信令信息，并且從所述信令信息獲得至少一組相機參數。該渲染單元可以根據這些相機參數產生虛擬視點圖像。該格式化器可以按照三維方式對該虛擬視點圖像和所述廣播信號中包括的廣播圖像進行格式化。根據本專利技術的示例實施方式，在利用使用多個相機在不同方向上采集的立體3D圖像或者多視點圖像來實現3D顯示時，限定用于用信號向接收機通知相機參數的句法和數據結構。由于接收機能夠使用利用深度相機獲得的深度信息和所述相機參數來合成虛擬視點處的3D場景，所以盡管獲取端甚至已經從圖像沒有被清晰地發送的視點獲取圖像或者已經針對意在被接收端合成的視點獲取圖像，接收機也能夠產生3D內容。盡管通過省略相機圖像的一部分的發送來減少傳輸帶寬，但是可以發送3D顯示處理中的渲染所需要的足夠信息，并且所述接收機能夠通過使用所發送的圖像和信息來簡單地處理用于3D顯示的信號。根據結合附圖所考慮的以下詳細描述，本專利技術的上述和其它目的、特征、方面和優點將變得更加明顯。附圖說明附圖被包括進來以提供對本專利技術的進一步理解，并被并入本說明書且構成本說明書的一部分，附圖例示了本專利技術的實施方式，并且與說明書一起用于解釋本專利技術的原理。附圖中：圖1是例示通過發送系統來發送包括相機參數的圖像信號以及通過接收系統基于該相機參數來產生和恢復圖像的處理的流程圖；圖2示出通過圖1所例示的發送系統來進行編碼的圖像信息、深度信息和附加信息；圖3示出由接收系統基于圖像信息、深度信息和附加信息所產生和恢復的圖像；圖4是根據本專利技術的示例實施方式的用于產生和發送廣播節目的系統的示意性框圖；圖5示出根據本專利技術的示例實施方式的相機參數被插入到的地面虛擬頻道表(TVCT)的句法結構；圖6是示出根據浮點數顯示方案的相機參數與句法元素之間的關系的表；圖7示出根據本專利技術的示例實施方式的固有相機參數描述符的句法結構；圖8示出根據本專利技術的示例實施方式的外在相機參數描述符的句法結構；圖9是根據本專利技術的示例實施方式的電視接收機的示意性框圖；以及圖10是例示在圖9所例示的電視接收機中解析和渲染內部參數和外部參數的處理的流程圖。具體實施方式現在將詳細參照本專利技術的優選實施方式，在附圖中例示這些優選實施方式的示例?，F在將參照圖1描述根據本專利技術的示例實施方式的通過發送系統來發送包括相機參數的圖像信號以及在接收系統中基于這些相機參數來產生和恢復圖像的處理。發送系統通過使用多個相機(例如，一對立體相機)來采集圖像(步驟S10)。所述多個相機中的至少一個是真實相機，而其它(多個)相機可以是(多個)虛擬相機。這里，真實相機是指向接收側發送所采集的圖像的流的相機。虛擬相機是指其圖像流不被發送而其相機參數被發送到接收系統以使得該接收系統能夠恢復對應的流(將被描述)的相機。該虛擬相機可以實際上不存在，并且該虛擬相機的相機參數(將被描述)可以由廣播制造商或者工程師來確定。此外，用于獲得與包含在圖像中的各個主視點相關的深度(或范圍)信息的深度相機被設置為使得這些深度相機對應于實際相機，以使得發送系統能夠結合該圖像獲得深度信息。另外，該發送系統從相機所采集的圖像提取要被發送到接收系統的附加信息。該附加信息可以包括用于估計對象的由于位于該對象前方的本文檔來自技高網...

【技術保護點】
一種用于在圖像顯示裝置中顯示三維(3D)圖像的方法，該方法包括：通過接收單元接收包括廣播圖像和信令信息的廣播信號；從所述廣播信號中解析所述信令信息；其中所述信令信息包括固有相機參數和外在相機參數，其中所述固有相機參數指定真實相機和虛擬相機中的至少一個的光學特性，所述外在相機參數指示所述真實相機和所述虛擬相機中的所述至少一個的幾何位置和方向，其中所述信令信息包括指示所述外在相機參數中包括的參數與所述真實相機有關還是與所述虛擬相機有關的第一字段；使用所述固有相機參數和所述外在相機參數產生虛擬相機位置處的虛擬視點圖像；通過格式化器對所述虛擬視點圖像和所述廣播圖像進行格式化，以在所述圖像顯示裝置中顯示3D圖像。

【技術特征摘要】
2008.12.18 US 61/138,9411.一種用于在圖像顯示裝置中顯示三維(3D)圖像的方法，該方法包括：通過接收單元接收包括廣播圖像和信令信息的廣播信號；從所述廣播信號中解析所述信令信息；其中所述信令信息包括固有相機參數和外在相機參數，其中所述固有相機參數指定真實相機和虛擬相機中的至少一個的光學特性，所述外在相機參數指示所述真實相機和所述虛擬相機中的所述至少一個的幾何位置和方向，其中所述信令信息包括指示所述外在相機參數中包括的參數與所述真實相機有關還是與所述虛擬相機有關的第一字段；使用所述固有相機參數和所述外在相機參數產生虛擬相機位置處的虛擬視點圖像；通過格式化器對所述虛擬視點圖像和所述廣播圖像進行格式化，以在所述圖像顯示裝置中顯示3D圖像，其中，所述外在相機參數還包括指定所述真實相機或所述虛擬相機的標識符的第三字段，以及其中，所述外在相機參數還包括指定應用于具有由包括在所述外在相機參數中的所述第三字段指定的所述標識符的相機的固有相機參數的第四字段。2.根據權利要求1所述的方法，其中所述信令信息還包括當所述第一字段指示所述外在相機參數中包括的參數與所述真實相機有關時、指定與該參數有關的視頻基本流ES的PID值的第二字段。3.根據權利要求1所述的方法，其中所述信令信息還包括指示要在立體廣播中輸出的...

【專利技術屬性】
技術研發人員：梁正烋，徐琮烈，
申請(專利權)人：LG電子株式會社，
類型：發明
國別省市：韓國;KR