用于在傳輸數字圖像時間序列時處理干擾的方法和設備技術

在一種用于在從發送器(S)傳輸數字圖像時間序列(I)到至少一個接收器(R)時處理干擾的方法中，其中，待傳輸的圖像至少暫時顯示講話者的面部，所述時間序列的由于干擾而不能夠被解碼或不能夠以滿意的方式解碼的圖像在所述接收器側上由合成圖像(P)取代。所述合成圖像借助聲音數據(LD)產生，所述聲音數據通過聲音識別從講話者的數字語音數據(SD)中被提取或已經被提取，其中，所述數字語音數據與所述數字圖像數據(I)一起被傳輸或已經被傳輸。

【技術實現步驟摘要】
【國外來華專利技術】用于在傳輸數字圖像時間序列時處理干擾的方法和設備
本專利技術涉及一種用于在傳輸數字圖像時間序列時處理干擾的方法。
技術介紹
在通過傳輸信道傳輸數字圖像時間序列時，即例如在通過電話線路、數據通信線路或通過無線電連接、例如在視頻電話中傳輸視頻數據時，將圖像數據以數字形式從發送器向一個或多個接收器傳輸。經常，譬如在視頻電話中那樣，與圖像數據一起也傳輸音頻數據。那么，音頻數據經常主要由語音數據、即由在所傳輸的圖像中顯示的人所產生的語音信號的數字表示組成。由于從傳統電話到因特網電話（也稱作IP語音或VoIP）的技術變遷，增值服務迅速變得重要，所述增值業務要求通信參與者之間增加的帶寬需求。在此可以涉及實時性業務（例如，借助高質量的編解碼器的音頻傳輸）和/或視頻電話，或涉及無實時性要求的并行通信機制，如所謂的“消息傳遞”或所謂的“聊天”。在這種增值業務中可能通過以下方式造成問題：在通信伙伴之間增加的帶寬必須在整個通信時間期間可用。但是，此要求并不總是能夠被保證，尤其是在移動通信伙伴依賴于無線數據通信時并不總是能夠被保證。因而，例如在火車行駛期間可能發生：首先足夠的帶寬可供音頻通信與視頻通信使用，而此后不久，由于網絡連接的品質下降，實施音頻通信與視頻通信所需的帶寬短暫不可用。為了在可用帶寬和發生的干擾方面考慮由所使用的傳輸信道特性所表征的限制，通常對待傳輸的圖像數據與語音數據進行“編碼”。所謂的編碼經常通過不相干性減少和通過冗余減少而引起待傳輸的數據量減少。為了能夠保護（很大程度上）無冗余的有用數據以防傳輸時的錯誤，通常又補充一定量的冗余，所述冗余采取所謂的糾錯碼的形式。在音頻傳輸時能夠通過切換到高度壓縮的編解碼器來動態地對可用帶寬的降低作出反應。然而，在視頻傳輸領域中，由于用于可使用的運動圖像傳輸的顯著最小帶寬，這只在非常有限的程度上是可能的。如果可用帶寬低于特定的值，則如今一般而言調整圖像傳輸，并且根據通信端點中的實現–或者完全不再顯示圖像或顯示必要時本地現有的聯系人照片。該行為方式在視頻會議的情況下尤其不能令人滿意，這是因為具有過小帶寬的參與者在這些情況下無圖像傳輸地參與會議，由此他們沒有被充分地感知并且變成二等會議參與者。在此，一種動態地依賴于可用帶寬而對所使用的視頻編解碼器或圖像分辨率進行的選擇可能能夠提供糾正。盡管有這些措施，然而仍不能夠或不總是能夠實現這種傳輸系統的無故障運行。因此，本專利技術所基于的任務是，在可能發生的干擾方面盡可能改善用于數字圖像時間序列的傳輸系統的特性。
技術實現思路
為了完成所述任務，本專利技術提供一種用于在從發送器傳輸數字圖像時間序列到至少一個接收器時處理干擾的方法，其中，待傳輸的圖像至少暫時顯示講話者的面部，并且其中，所述時間序列的由于干擾而不能夠解碼或不能夠以滿意的方式解碼的一個或多個圖像在接收器側上或在至接收器的路徑上由一個合成圖像或多個合成圖像取代。所述一個合成圖像或所述多個合成圖像借助聲音數據被選擇或被產生或已經被選擇或已經被產生，所述聲音數據通過聲音識別從講話者的數字語音數據中被提取或已經被提取，其中，所述數字語音數據與數字圖像數據一起被傳輸或已經被傳輸。與本專利技術的描述相關聯地，數字圖像時間序列可以理解為序列I（1）、I（2）、...、I（n-1）、I（n）、I（n+1）、...，在所述序列中，所述序列的每個元素I（n）是一個數字圖像，其中，所述序列索引n是自然數，并且定義了時間順序關系。因此，該序列的相繼圖像對應于相繼的時間點。序列的每個元素是一個數字圖像，即對應于多個數字圖像值的二維排列的數據結構，或能夠被轉換成數字圖像值的這種二維排列，或能夠通過數字圖像值的這種二維排列至少近似地來表示，其中所述多個數字圖像值也稱作像素。以經編碼的形式，這種數字圖像時間序列經常采用其它構造。為了減少待傳輸的數據量，經常不對圖像序列的元素單獨編碼，而是使用所謂的預測方法，所述預測方法根據數字圖像時間序列的先前和/或隨后的圖像來計算中間圖像，所述中間圖像與經單獨編碼的圖像相比經常具有顯著較小的數據量并且接收器借助解碼能夠根據它們來重新計算各個圖像的序列。在此處存在的上下文中，術語數字圖像時間序列應理解為這些經編碼的、未經編碼的或經解碼的圖像序列的所有可能形式。在此上下文中，數字圖像時間序列的傳輸應理解為以下每一種方法：在所述方法中，從發送器向至少一個接收器傳輸數字圖像時間序列。這種傳輸的重要例子是視頻電話服務、視頻流播、數字電視和類似的方法。數字圖像時間序列的傳輸在此上下文中也稱作視頻傳輸。在此上下文中，數字圖像時間序列的發送器應理解為以下每種設備：所述設備構成傳輸數字圖像時間序列的出發點。這種發送器的重要例子是可視電話、視頻攝像機或所謂的智能手機，其具有至用于傳輸數字圖像時間序列的傳輸信道的接入，即例如具有至電話網絡的接入、因特網接入或具有至（無線的）計算機網絡的接入。在此上下文中，數字圖像時間序列的接收器應理解為以下每種設備：所述設備構成傳輸數字圖像時間序列的終點。這種接收器的重要例子是可視電話、計算機屏幕或所謂的智能手機，其具有至用于傳輸數字圖像時間序列的傳輸信道的接入，即例如具有至電話網絡的接入、因特網接入或具有至（無線的）計算機網絡的接入。在此上下文中，至少暫時顯示講話者的面部的數字圖像時間序列應理解為以下圖像序列：在所述圖像序列中，多個相繼的圖像從語音信號出發，顯示人面部或人面部的部分，優選還有其它或至少面部的嘴部，所述語音信號作為數字語音數據與數字圖像時間序列一起傳輸。例如在視頻電話服務中經常傳輸這種圖像序列和所屬的語音數據。在此上下文中，干擾、尤其是在數字圖像時間序列傳輸時的干擾應理解為一種過程或結果，所述過程或結果不利地影響所傳輸圖像序列的、尤其是數字圖像時間序列的傳輸和/或再現。這種干擾的例子是數據丟失或傳輸錯誤。這種干擾可以是由可用帶寬的暫時減少引起的，因此所述干擾在其側可以理解為在這個意義上的干擾。這種干擾的另一個例子是發生在移動通信中的干擾，其中，處于運動中的接收器（例如行駛的汽車中或火車行駛期間）在不同的無線電單元之間運動，并且由此遭遇連續波動的鏈路質量。在此上下文中，解碼應理解為以下每一個過程：所述過程根據經編碼的圖像序列重建原始圖像序列。視頻解碼方法的一個重要的例子是根據MPEG-4標準的方法。在此上下文中，合成圖像應理解為以下數字圖像：所述數字圖像不是通過或不是僅僅通過對所傳輸經編碼數字圖像時間序列進行解碼來確定的，而是借助另外的數據、尤其是語音數據來根據至少一個經解碼的圖像或根據經編碼的數字圖像時間序列確定的，以便取代至少一個數字圖像，在無另外數據的這種輔助的情況下不能夠確定或不能夠以令人滿意的質量確定所述至少一個圖像。在此上下文中，也將合成圖像時間序列稱作運動圖像模擬。在此上下文中，表達方式——據此數字語音數據與數字圖像數據“一起”被傳輸或已經被傳輸——也包括這種情況：在所述情況中語音數據與圖像數據同時但在不同的路徑上傳送。優選地設置，在對于視頻傳輸來說帶寬短暫或持續不充分的情況下基于語音連接的實時聲音分析來生成對話者（接收器）的運動圖像模擬。優選一直顯示所述運動圖像模擬直到足夠的帶寬可供視頻傳輸使用。對此優選需要對用于視頻傳輸的通信連接進行連續本文檔來自技高網...

【技術保護點】
一種用于在從發送器(S)傳輸數字圖像時間序列到至少一個接收器(R)時處理干擾的方法，其中，待傳輸的圖像至少暫時顯示講話者的面部，在數字圖像時間序列傳輸時的干擾是數據丟失或傳輸錯誤，這種干擾也可能是由可用帶寬的暫時減少引起的，其特征在于，a)所述時間序列的由于干擾而不能夠被解碼或不能夠以滿意的方式解碼的多個圖像在所述接收器（R）側上或在至所述接收器的傳輸路徑（TC）上由多個合成圖像的序列取代，其中所述多個合成圖像借助聲音數據(LD)從至少一個講話者的合成圖像(P)的庫(L)中被選擇，b)其中合成圖像(P)的庫(L)被理解為在用于存儲數字圖像數據（I）的設備（PG）中所存儲的多個合成圖像（P），c)其中在這樣的庫(L)的合成圖像（P）與能通過聲音數據提取從講話者的語音數據（SD）中提取的可能聲音之間存在一種配屬關系，借助所述配屬關系能夠確定庫（L）中至少一個與聲音（LD）匹配的合成圖像（P），以及d)其中所述聲音數據（LD）通過聲音識別而從所述講話者的數字語音數據(SD)中被提取，并且所述數字語音數據與所述數字圖像數據(I)一起被傳輸，以及e)如果現在由于可用數據速率或帶寬的暫時降低而發生對傳輸的干擾，則該數字圖像時間序列的圖像或一些圖像由合成圖像（P）取代，為此在接收器（R）的輸出端處在接收器（R）中設置混合器（M），所述混合器代替輸出原始數字圖像時間序列而輸出混合的圖像序列，其中原始數字圖像時間序列中的各個或多個圖像由合成圖像（P）取代，其中語音數據不變地被輸出。...

【技術特征摘要】
【國外來華專利技術】1.一種用于在從發送器(S)傳輸數字圖像時間序列到至少一個接收器(R)時處理干擾的方法，其中，待傳輸的圖像至少暫時顯示講話者的面部，在數字圖像時間序列傳輸時的干擾是數據丟失或傳輸錯誤，這種干擾也可能是由可用帶寬的暫時減少引起的，其特征在于，a)所述時間序列的由于干擾而不能夠被解碼或不能夠以滿意的方式解碼的多個圖像在所述接收器（R）側上或在至所述接收器的傳輸路徑（TC）上由多個合成圖像的序列取代，其中所述多個合成圖像借助聲音數據(LD)從至少一個講話者的合成圖像(P)的庫(L)中被選擇，b)其中合成圖像(P)的庫(L)被理解為在用于存儲數字圖像數據（I）的設備（PG）中所存儲的多個合成圖像（P），c)其中在這樣的庫(L)的合成圖像（P）與能通過聲音數據提取從講話者的語音數據（SD）中提取的可能聲音之間存在一種配屬關系，借助所述配屬關系能夠確定庫（L）中至少一個與聲音（LD）匹配的合成圖像（P），以及d)其中所述聲音數據（LD）通過聲音識別而從所述講話者的數字語音數據(SD)中被提取，并且所述數字語音數據與所述數字圖像數據(I)一起被傳輸，以及e)如果現在由于可用數據速率或帶寬的暫時降低而發生對傳輸的干擾，則該數字圖像時間序列的圖像或一些圖像由合成圖像（P）取代，為此在接收器（R）的輸出端處在接收器（R）中設置混合器（M），所述混合器代替輸出原始數字圖像時間序列而輸出混合的圖像序列，其中原始數字圖像時間序列中的各個或多個圖像由合成圖像（P）取代，其中語音數據不變地被輸出。2.根據權利要求1所述的方法，其特征在于，對所述傳輸的干擾由可用數據速率的暫時降低引起或已經由可用數據速率的暫時降低引起。3.根據權利要求1所述的方法，其特征在于，所述多個合成圖像(P)的序列在所述接收器(R)側上被產生或已經被產生。4.根據權利要求1所述的方法，其特征在于，在所述傳輸期間產生所述多個合成圖像(P)的序列。5.根據權利要求1所述的方法，其特征在于，在所述接收器(R)側上在所述傳輸期間從所述語音數據(SD)提取聲音數據(LD)。6.根據以上權利要求1-5中任一項所述的方法，其特征在于，在視頻數據的傳輸期間或之前，所述至少一個講話者的合成圖像(P)的庫(L)在所述接收器(R)側上被創建或已經被創建。7.根據以上權利要求1-5中任一項所述的...

【專利技術屬性】
技術研發人員：J施瓦策，
申請(專利權)人：統一有限責任兩合公司，
類型：發明
國別省市：德國,DE