本發明專利技術提供一種基于多通道的音視頻信號處理方法和裝置，所述方法包括：計算所有輸入通道的音頻信號能量和語音活動性檢測信息，根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道；在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減，對所有輸入通道的音頻進行混音并輸出。該方法和裝置針對多人音視頻通話、音視頻教學或者音視頻會議時，多人同時開麥克風場景下聲音嘈雜的問題，通過合理的音頻通道選擇及音頻增強，使用戶更加容易獲取到自己需要的信息，提升了用戶的聽覺感受，使線上交流更加順暢，節約用戶的時間成本。
【技術實現步驟摘要】
本專利技術涉及音視頻處理，尤其涉及一種基于多通道的音視頻信號處理方法和裝置。
技術介紹
1、在多人音視頻通話、音視頻教學或者音視頻會議時，經常遇到的一個場景是多人的線上互動，但是在有幾十路音頻同時開麥克風的情況下，聽到的聲音是非常雜亂的，而多樣的設備類型和不同的講話環境更是加劇了這種聲音的嘈雜。在實際應用場景中，在同一時刻往往只需要關注其中幾個人的講話內容，而其他大部分用戶的信息可以忽略，或者多個通道的用戶是一種輪流上臺發言的狀態。
2、在多音頻同時存在的情況下，如何對多通道音頻信號進行選擇和增強，以便突出正在發言的目標音頻，弱化其他音頻的干擾，保證目標音頻的接收質量，就成為本領域技術人員亟待解決的問題。
技術實現思路
1、本專利技術提供一種基于多通道的音視頻信號處理方法和裝置，通過對目標音頻通道的選擇及音頻增強，可以顯著提升用戶的聽覺感受，使用戶的線上交流更加簡潔順暢，節省用戶的交流成本。
2、本專利技術提供一種基于多通道的音視頻信號處理方法，所述方法包括：
3、計算所有輸入通道音頻信號的能量和語音活動性檢測信息；
4、根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道；
5、在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減；
6、對所有輸入通道的音頻進行混音并輸出。
7、在一些實施例中，計算所有輸入通道的音頻信號能量，具體包括：
>8、計算當前通道的單幀內各音頻采樣點中的能量最大值；9、計算當前通道的預設時長內所有幀的能量最大值的平均值；
10、對能量最大值的平均值進行量化整形計算，以得到當前通道的音頻信號能量；
11、依次以每個輸入通道作為所述當前通道，以得到所有輸入通道的音頻信號能量。
12、在一些實施例中，計算所有輸入通道的語音活動性檢測信息，具體包括：
13、將當前通道的音頻信號重采樣到預設采樣頻率，并根據梅爾倒譜頻率劃分為多個頻帶，計算每個頻帶內的能量信息；
14、利用高斯混合模型分別計算各子帶的語音和噪聲的高斯概率密度函數；
15、計算語音和噪聲的對數似然比，并對所有子帶的對數似然比求和；
16、基于預先設定的閾值與所有子帶的對數似然比之和的大小關系，對當前通道的語音活動性檢測進行標定；
17、依次以每個輸入通道作為所述當前通道，以得到所有輸入通道的語音活動性檢測信息。
18、在一些實施例中，根據音頻信號能量的計算結果和語音活動性的計算結果，確定多個目標通道，具體包括：
19、根據語音活動性檢測的計算結果，選擇標定為有語音的通道作為備選通道；
20、根據所述音頻信號能量的計算結果，對所有備選通道按音頻信號能量大小進行排序，選擇音頻信號能量較大的預設數量的通道作為所述目標通道。
21、在一些實施例中，在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減，具體包括：
22、在所述目標通道的數量大于或等于預設數量的情況下，對所有的所述目標通道進行音頻增強；
23、在所述目標通道的數量小于所述預設數量的情況下，在其余通道中選擇候補通道作為補充的目標通道，并對所有的目標通道進行音頻增強；
24、其中，所述候補通道的數量為所述目標通道與所述預設數量的差值。
25、在一些實施例中，在其余通道中選擇候補通道作為補充的目標通道，具體包括：
26、根據語音活動性檢測的計算結果，選擇標定為有語音的通道作為候補備選通道；
27、根據所述音頻信號能量的計算結果，對所有候補備選通道按音頻信號能量大小進行排序，選擇音頻信號能量較大的至少一個通道作為所述補充的目標通道；
28、在各候補備選通道的音頻信號能量值相同的情況下，選擇信噪比較高的通道作為補充的目標通道。
29、本專利技術還提供一種基于多通道的音視頻信號處理裝置，所述裝置包括：
30、參數計算單元，用于計算所有輸入通道的音頻信號能量和語音活動性檢測信息；
31、通道選擇單元，用于根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道；
32、音頻處理單元，用于在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減；
33、結果輸出單元，用于對所有輸入通道的音頻進行混音并輸出。
34、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序時實現如上所述的方法。
35、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如上所述的方法。
36、本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上所述的方法。
37、本專利技術提供的基于多通道的音視頻信號處理方法和裝置，通過計算所有輸入通道的音頻信號能量和語音活動性檢測信息，根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道；在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減，對所有輸入通道的音頻進行混音并輸出。該方法和裝置針對多人音視頻通話、音視頻教學或者音視頻會議時，多人同時開麥克風場景下聲音嘈雜的問題，通過合理的音頻通道選擇及音頻增強，使用戶更加容易獲取到自己需要的信息，提升了用戶的聽覺感受，使線上交流更加順暢，節約用戶的時間成本。
本文檔來自技高網...
【技術保護點】
1.一種基于多通道的音視頻信號處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，計算所有輸入通道的音頻信號能量，具體包括：
3.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，計算所有輸入通道音頻信號的能量和語音活動性檢測信息，具體包括：
4.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道，具體包括：
5.根據權利要求4所述的基于多通道的音視頻信號處理方法，其特征在于，在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減，具體包括：
6.根據權利要求5所述的基于多通道的音視頻信號處理方法，在其余通道中選擇候補通道作為補充的目標通道，具體包括：
7.一種基于多通道的音視頻信號處理裝置，其特征在于，所述裝置包括：
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述的方法。
9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述的方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述的方法。
...
【技術特征摘要】
1.一種基于多通道的音視頻信號處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，計算所有輸入通道的音頻信號能量，具體包括：
3.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，計算所有輸入通道音頻信號的能量和語音活動性檢測信息，具體包括：
4.根據權利要求1所述的基于多通道的音視頻信號處理方法，其特征在于，根據音頻信號能量的計算結果和語音活動性檢測的計算結果，確定多個目標通道，具體包括：
5.根據權利要求4所述的基于多通道的音視頻信號處理方法，其特征在于，在所述目標通道滿足數量要求的情況下，所述目標通道進行音頻增強，對其余通道進行音頻衰減，具體包...
【專利技術屬性】
技術研發人員：王群，田克平，孟然，柴華，姜安，朱海濤，
申請(專利權)人：北京中科慧眼科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。