System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請總體說來涉及語音通話領域,更具體地講,涉及基于神經網絡的語音發送方法和裝置以及語音接收方法和裝置、電子設備。
技術介紹
1、當前的移動通信網絡(2g/3g/4g)只支持窄帶(narrow?band,nb)/寬帶(wideband,wb)的語音采樣率,但是當前主流的終端設備都已經支持超寬帶(super?wide?band,swb)的語音信號采集和記錄。因此,當前的移動通信網絡無法充分發揮終端設備的性能。
2、由于人說話的語音帶寬范圍較寬,而移動通信網絡支持的帶寬有限。因此,在移動通信中,語音的發送端首先需要將采集到的發音者的語音降采樣到通信網絡支持的采樣率,然后對降采樣后的語音進行編碼并通過移動通信網絡發送。與此同時,接收端可以對接收到的信號進行解碼并直接播放給接收者,但是為了提升用戶體驗,也可以將接收到的信號擴展到更高的帶寬和采樣率,使得聲音聽起來更舒適。因此,現有技術在語音的發送端和接收端分別采用降采樣技術和帶寬擴展技術對語音信號進行采樣率轉換。
3、但是現有技術中,終端發送和接收語音時進行采樣率轉換的效果較差,無法向用戶提供優質的聽覺體驗。
技術實現思路
1、為了至少解決現有技術中存在的上述問題,本專利技術提供了一種實現基于神經網絡的語音發送方法和裝置以及語音接收方法和裝置。
2、本專利技術的一方面在于提供一種語音發送方法,包括:利用第一特征提取網絡從輸入的語音信號中提取低頻特征信息;以及將與所述低頻特征信息對應的語音信號發送給接收端。
3、第一特征提取網絡包含至少一個第一特征提取模塊以及至少一個第二特征提取模塊,其中,利用第一特征提取網絡從輸入的語音信號中提取低頻特征信息的步驟包括:利用所述至少一個第一特征提取模塊,提取輸入的語音信號的語音特征信息;利用所述至少一個第二特征提取模塊,根據提取的語音特征信息獲得低頻特征信息。
4、第一特征提取網絡中的至少一個特征提取模塊通過至少兩種卷積處理參數分別對輸入的信息進行特征提取,并輸出提取出的特征信息。
5、所述至少兩種卷積處理參數包括下述至少兩種:與語音信號的鄰近采樣點間的感受野對應的卷積處理參數、與一個基音長度的感受野對應的卷積處理參數、與至少兩個基音長度的感受野對應的卷積處理參數。
6、所述卷積處理參數包括與卷積操作對應的卷積核大小。
7、將與所述低頻特征信息對應的語音信號發送給接收端的步驟包括:利用第一特征融合網絡,將第一特征提取網絡輸出的所有低頻特征信息進行融合來獲得與所述低頻特征信息對應的語音信號;將與所述低頻特征信息對應的語音信號發送給接收端。
8、第一特征提取網絡提取出的所述低頻特征信息中包括高頻特征和低頻特征之間的相關信息。
9、所述語音發送方法還可包括:接收所述接收端發送的語音信號;利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息;輸出包含所述低頻特征信息和所述高頻特征信息的語音信號。
10、本專利技術的另一方面在于提供一種語音接收方法,所述語音接收方法可包括:接收發送端發送的語音信號;利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息;輸出包含所述低頻特征信息和所述高頻特征信息的語音信號。
11、所述語音接收方法還可包括:在利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息的步驟之前,通過對接收的語音信號進行數據復制,以擴充接收的語音信號的數據尺度。
12、利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息的步驟可包括:利用第二特征提取網絡中的低頻特征提取網絡從接收到的語音信號中提取低頻特征信息,所述低頻特征信息包含高頻特征和低頻特征之間的相關信息;利用第二特征提取網絡中的高頻特征提取網絡根據所述低頻特征信息恢復高頻特征信息并將所述高頻特征信息和所述低頻特征信息進行融合處理,得到包含高頻特征信息和低頻特征信息的特征信息。
13、所述低頻特征提取網絡包含至少一個第三特征提取模塊以及至少一個第四特征提取模塊,其中,利用第二特征提取網絡中的低頻特征提取網絡從接收到的語音信號中提取低頻特征信息的步驟包括:利用所述至少一個第三特征提取模塊,提取接收到的語音信號的語音特征信息;利用所述至少一個第四特征提取模塊,根據提取的語音特征信息獲得低頻特征信息,其中,所述高頻特征提取網絡包含至少一個第五特征提取模塊和至少一個第六特征提取模塊,其中,利用第二特征提取網絡中的高頻特征提取網絡根據所述低頻特征信息恢復高頻特征信息并將所述高頻特征信息和低頻特征信息進行融合處理的步驟包括:利用所述至少一個第五特征提取模塊,根據所述低頻特征信息來恢復高頻特征信息;利用至少一個第六特征提取模塊,將所述高頻特征信息和對應的第四特征提取模塊提取出的低頻特征信息進行融合處理,得到包含所述高頻特征信息和所述低頻特征信息的特征信息。
14、所述第二特征提取網絡中的至少一個特征提取模塊通過至少兩種卷積處理參數分別對輸入的信息進行特征提取,并輸出提取得到的特征信息;和/或所述至少一個第六特征提取模塊針對輸入的至少兩種卷積處理參數分別對應的高頻特征信息,分別將高頻特征信息和對應的第四特征提取模塊按照相應的卷積處理參數提取出的低頻特征信息進行融合處理,輸出包含高頻特征信息和低頻特征信息的特征信息。
15、所述卷積處理參數包括卷積操作對應的卷積核大小。
16、第二特征提取網絡包含至少一個第七特征提取模塊以及至少一個第八特征提取模塊,
17、利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息的步驟包括:利用至少一個第七特征提取模塊,提取接收到的語音信號的語音特征信息;利用至少一個第八特征提取模塊,根據提取的語音特征信息,提取包含高頻特征和低頻特征之間的相關信息的低頻特征信息,并恢復高頻特征信息,得到包含高頻特征信息和低頻特征信息的特征信息。
18、所述至少一個第七特征提取模塊通過至少兩種卷積處理參數分別對輸入的信息進行特征提取,并輸出提取出的特征信息;和/或所述至少一個第八特征提取模塊通過至少兩種反卷積處理參數分別對輸入的信息提取出低頻特征信息,并恢復高頻特征信息,得到包含高頻特征信息和低頻特征信息的特征信息。
19、輸出包含所述低頻特征信息和高頻特征信息的語音信號的步驟包括:利用第二特征融合網絡,將第二特征提取網絡輸出的包含高頻特征信息和低頻特征信息的特征信息進行融合,獲得與包含高頻特征信息和低頻特征信息的特征信息對應的語音信號;輸出該語音信號。
20、利用第二特征提取網絡從接收到的語音信號中提取低頻特征信息并恢復高頻特征信息的步驟可包括:利用第二特征提取網絡中的低頻特征提取網絡從接收到的語音信號中提取低頻特征信息本文檔來自技高網...
【技術保護點】
1.一種發送語音信號的方法,所述方法包括:
2.如權利要求1所述的方法,其中,通過使用第一特征提取網絡從輸入的語音信號中提取低頻特征信息的步驟包括:
3.如權利要求2所述的方法,其中,提取輸入的語音信號的語音特征信息的步驟包括:基于所述至少兩種卷積處理參數分別對輸入的信息進行特征提取,并輸出所述語音特征信息。
4.如權利要求3所述的方法,其中,所述至少兩種卷積處理參數包括下述至少兩種:
5.如權利要求3所述的方法,其中,所述至少兩種卷積處理參數包括與卷積操作對應的卷積核大小。
6.如權利要求2所述的方法,其中,通過使用至少一個第二特征提取模塊根據所述語音特征信息獲得所述低頻特征信息的步驟包括:在一個或更多個尺度上對所述語音特征信息進行下采樣。
7.如權利要求1所述的方法,其中,第一特征提取網絡提取出的所述低頻特征信息中包括高頻特征和低頻特征之間的相關信息。
8.如權利要求1或7所述的方法,還包括:通過使用第一特征融合網絡將第一特征提取網絡輸出的一個或更多個低頻特征信息進行融合,得到與所述低頻特征信
9.一種用于接收語音信號的方法,所述方法包括:
10.一種用于發送語音信號的設備,包括:
11.一種用于接收語音信號的設備,包括:
12.一種記錄有計算機程序的非暫時性計算機可讀記錄介質,所述計算機程序用于執行如權利要求1至9中任一項所述的方法。
...【技術特征摘要】
1.一種發送語音信號的方法,所述方法包括:
2.如權利要求1所述的方法,其中,通過使用第一特征提取網絡從輸入的語音信號中提取低頻特征信息的步驟包括:
3.如權利要求2所述的方法,其中,提取輸入的語音信號的語音特征信息的步驟包括:基于所述至少兩種卷積處理參數分別對輸入的信息進行特征提取,并輸出所述語音特征信息。
4.如權利要求3所述的方法,其中,所述至少兩種卷積處理參數包括下述至少兩種:
5.如權利要求3所述的方法,其中,所述至少兩種卷積處理參數包括與卷積操作對應的卷積核大小。
6.如權利要求2所述的方法,其中,通過使用至少一個第二特征提取模塊根據所述語音特征信息獲得所述低頻特征信息的步驟包括:在一個或更多個尺度上對所述語音特征信息進行下采樣。
7.如權...
【專利技術屬性】
技術研發人員:溫亮,王立眾,易安希,閔超,姚梁希,
申請(專利權)人:北京三星通信技術研究有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。