【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專利技術(shù)】
本公開(kāi)總體上涉及信號(hào)編碼。特定實(shí)現(xiàn)提供使用潛在特征預(yù)測(cè)的音頻數(shù)據(jù)的神經(jīng)編碼。
技術(shù)介紹
1、至少自1970年代早期以來(lái)數(shù)字技術(shù)已被用于記錄、存儲(chǔ)和傳輸音頻信息。隨著互聯(lián)網(wǎng)的出現(xiàn)，數(shù)字音頻傳輸呈爆炸式使用，包括用于諸如ip語(yǔ)音應(yīng)用和服務(wù)的實(shí)時(shí)流式使用，包括microsoft?teams(微軟公司，雷德蒙德，華盛頓)。雖然個(gè)人計(jì)算設(shè)備的計(jì)算能力繼續(xù)改善，但是隨著聯(lián)網(wǎng)基礎(chǔ)設(shè)施，仍然感興趣的是提供改進(jìn)的音頻質(zhì)量，同時(shí)降低傳達(dá)音頻信息所需的數(shù)據(jù)量。特別地，實(shí)時(shí)音頻對(duì)傳輸和處理延遲可能更敏感，因?yàn)閮H有限的緩沖可用于音頻信號(hào)。例如，音頻處理中的延遲可能阻礙呼叫中的參與者有效地彼此通信。因此，存在改進(jìn)的空間。
技術(shù)實(shí)現(xiàn)思路
1、提供本
技術(shù)實(shí)現(xiàn)思路
以引入簡(jiǎn)化形式的概念的選擇，這將在以下具體實(shí)施方式中進(jìn)一步描述。本
技術(shù)實(shí)現(xiàn)思路
不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不旨在用于限制所要求保護(hù)的主題的范圍。
2、描述了用于編碼和解碼諸如音頻數(shù)據(jù)之類的信號(hào)的技術(shù)和解決方案。所公開(kāi)的創(chuàng)新可以特別用于語(yǔ)音編解碼應(yīng)用，諸如用于實(shí)時(shí)通信。使用神經(jīng)網(wǎng)絡(luò)，上下文編解碼可以用于使用來(lái)自過(guò)去幀的重建潛在特征的預(yù)測(cè)作為上下文，來(lái)編碼當(dāng)前幀的潛在特征。提取器基于使用編碼器獲得的當(dāng)前幀的潛在特征和此類預(yù)測(cè)來(lái)學(xué)習(xí)類殘差特征。然后類殘差特征被量化。在編解碼框架的解碼器部分處，量化的類殘差特征去量化，然后與來(lái)自先前重建的潛在特征的預(yù)測(cè)進(jìn)行組合，以提供當(dāng)前幀的重建特征，該重建特征然后可以通過(guò)解碼器處理以提供重建信號(hào)
3、在一個(gè)方面，提供了一種用于對(duì)諸如數(shù)字音頻數(shù)據(jù)的信號(hào)進(jìn)行編碼的方法。使用編碼器從輸入信號(hào)的幀中提取一個(gè)或多個(gè)潛在特征。使用針對(duì)多個(gè)先前幀的重建潛在特征來(lái)確定一個(gè)或多個(gè)潛在特征的預(yù)測(cè)。從一個(gè)或多個(gè)潛在特征和預(yù)測(cè)中提取類殘差特征。將類殘差特征或足以重構(gòu)類殘差特征的數(shù)據(jù)發(fā)送到客戶端。
4、本公開(kāi)還包括被配置為實(shí)施或包括用于實(shí)施上述方法的指令的計(jì)算系統(tǒng)和有形非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。如本文所述，各種其他特征和優(yōu)點(diǎn)可以根據(jù)需要結(jié)合到技術(shù)中。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種計(jì)算系統(tǒng)，包括：
2.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述輸入信號(hào)包括音頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述提取包括至少一個(gè)卷積層的使用。
4.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中輸入信號(hào)包括時(shí)頻頻譜數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的計(jì)算系統(tǒng)，其中所述時(shí)頻頻譜數(shù)據(jù)是使用所述輸入信號(hào)的時(shí)間窗的短時(shí)傅里葉變換而獲得的。
6.根據(jù)權(quán)利要求4所述的計(jì)算系統(tǒng)，還包括對(duì)所述時(shí)頻頻譜數(shù)據(jù)應(yīng)用振幅壓縮。
7.根據(jù)權(quán)利要求6所述的計(jì)算系統(tǒng)，其中使用在所述編碼器的訓(xùn)練期間確定的值來(lái)應(yīng)用所述振幅壓縮。
8.根據(jù)權(quán)利要求7所述的計(jì)算系統(tǒng)，其中所述值對(duì)于不同編碼比特率不同。
9.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述編碼器包括多個(gè)卷積層。
10.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述確定預(yù)測(cè)包括：使用多個(gè)卷積層處理針對(duì)所述多個(gè)先前幀的重建的所述潛在特征。
11.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述操作還包括：
12.根據(jù)權(quán)利要求11所述的計(jì)算系統(tǒng)，其中所述
13.根據(jù)權(quán)利要求12所述的計(jì)算系統(tǒng)，其中使用不同的碼本對(duì)所述通道進(jìn)行量化，所述操作還包括在所述編碼器的訓(xùn)練期間：
14.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述操作還包括：
15.根據(jù)權(quán)利要求14所述的計(jì)算系統(tǒng)，其中所述確定概率被確定為非線性投影。
16.根據(jù)權(quán)利要求14所述的計(jì)算系統(tǒng)，其中所述確定概率包括選擇Gumbel分布的元素。
17.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述類殘差特征或足以重構(gòu)所述類殘差特征的數(shù)據(jù)作為具有速率的比特流的一部分被發(fā)送，所述操作還包括：
18.根據(jù)權(quán)利要求17所述的計(jì)算系統(tǒng)，所述操作還包括：
19.一種在計(jì)算系統(tǒng)中實(shí)現(xiàn)的方法，所述計(jì)算系統(tǒng)包括至少一個(gè)硬件處理器和耦合到所述至少一個(gè)硬件處理器的至少一個(gè)存儲(chǔ)器，所述方法包括：
20.一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：
...【技術(shù)特征摘要】
【國(guó)外來(lái)華專利技術(shù)】
1.一種計(jì)算系統(tǒng)，包括：
2.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述輸入信號(hào)包括音頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述提取包括至少一個(gè)卷積層的使用。
4.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中輸入信號(hào)包括時(shí)頻頻譜數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的計(jì)算系統(tǒng)，其中所述時(shí)頻頻譜數(shù)據(jù)是使用所述輸入信號(hào)的時(shí)間窗的短時(shí)傅里葉變換而獲得的。
6.根據(jù)權(quán)利要求4所述的計(jì)算系統(tǒng)，還包括對(duì)所述時(shí)頻頻譜數(shù)據(jù)應(yīng)用振幅壓縮。
7.根據(jù)權(quán)利要求6所述的計(jì)算系統(tǒng)，其中使用在所述編碼器的訓(xùn)練期間確定的值來(lái)應(yīng)用所述振幅壓縮。
8.根據(jù)權(quán)利要求7所述的計(jì)算系統(tǒng)，其中所述值對(duì)于不同編碼比特率不同。
9.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述編碼器包括多個(gè)卷積層。
10.根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，其中所述確定預(yù)測(cè)包括：使用多個(gè)卷積層處理針對(duì)所述多個(gè)先前幀的重建的所述潛在特征。
11.根據(jù)權(quán)利要求1所述的計(jì)算...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：彭秀蓮，呂巖，薛華穎，V·普拉卡什，李明杰，M·莫瓦沙，
申請(qǐng)(專利權(quán))人：微軟技術(shù)許可有限責(zé)任公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。