音頻信號處理設備、方法和電子設備技術

公開了一種音頻信號處理設備、方法和電子設備。該音頻信號處理設備包括：揚聲器；麥克風陣列，包括具有不同拾音區的多個指向麥克風，每個指向麥克風用于在自身的拾音區內采集分路輸入信號，分路輸入信號包括來自信號源的關注信號分量和來自揚聲器的回聲信號分量；復用器，用于將每個指向麥克風所采集的分路輸入信號合并為總輸入信號；聲源定位器件，用于確定信號源和揚聲器的位置；以及增益控制器件，用于根據信號源和揚聲器的位置來調整每個指向麥克風的增益，以使得在總輸入信號中從信號源接收到的關注信號分量的功率與從揚聲器接收到的回聲信號分量的功率之間的信回比最大。因此，可以實現無損的關注信號增強和回聲信號抑制。

Audio signal processing device, method and electronic equipment

An audio signal processing apparatus, method, and electronic device are disclosed. The audio signal processing apparatus includes a loudspeaker; microphone array, including a plurality of different points to register each picked up the microphone, pointing to the microphone used in picking up the input signal range within its collection shunt, shunt input signal includes a signal from a signal source of concern and speakers from echo signal components; multiplexer for each pointing to the branch input signal captured by the microphone with input signal; sound source positioning device, used to determine the signal source and the position of the loudspeaker; and a gain control device, according to the signal source and the speaker to adjust the location of each point to the microphone gain, so that the power between the attention signal component of the received signal from the source and from the speaker received echo signal components in the total input signal in the letter back than the maximum. Thus, lossless attention can be achieved by signal enhancement and echo signal suppression.

【技術實現步驟摘要】
音頻信號處理設備、方法和電子設備
本申請涉及音頻
，且更具體地，涉及一種音頻信號處理設備、音頻信號處理方法、電子設備、計算機程序產品和計算機可讀存儲介質。
技術介紹
無論是智能化的語音識別系統(例如，智能家電、機器人等)，還是傳統的語音通信系統(例如，會議系統、因特網協議傳送話音VoIP系統等)，都會遇到回聲抵消的問題。例如，在單講模式下：在智能設備應用場景中，設備不希望自己所播放的內容中包括的喚醒詞或識別詞再次進入自己的識別系統從而造成誤報，影響體驗和浪費資源；在傳統通信系統中，遠端用戶不希望聽到自己說話的回音。在雙講模式下：在智能設備應用場景中，希望設備可以聽到用戶說話的聲音，但不被自己播放的內容所干擾；在傳統通信系統中，希望即使近端和遠端用戶同時說話，也能夠保證清晰的通信質量和較高的可懂度。以上都是在語音體驗中非常重要的場景，也是當今音頻信號處理中的難題。目前現有的回聲消除技術是基于單麥克風和回聲抑制算法的結合。回聲抑制算法僅僅從時域和頻域的角度來處理輸入信號，使得在處理回聲的時候也會同時損傷語音，從而影響后續的識別率。并且，在存在大回聲的情況下，就會面臨要么回聲處理不干凈而影響識別率，要么算法抑制過強而損傷語音成分，二者都會影響識別效果。
技術實現思路
為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種音頻信號處理設備、音頻信號處理方法、電子設備、計算機程序產品和計算機可讀存儲介質，其可以利用指向麥克風陣列的特性來實現無損的關注信號增強和回聲信號抑制。根據本申請的一個方面，提供了一種音頻信號處理設備，所述設備包括：揚聲器；麥克風陣列，包括具有不同拾音區的多個指向麥克風，每個指向麥克風用于在自身的拾音區內采集分路輸入信號，所述分路輸入信號包括來自信號源的關注信號分量和來自所述揚聲器的回聲信號分量；復用器，與每個指向麥克風電連接，用于將每個指向麥克風所采集的分路輸入信號合并為總輸入信號；聲源定位器件，用于確定所述信號源的位置和所述揚聲器的位置；以及增益控制器件，與所述聲源定位器件和每個指向麥克風電連接，用于根據所述信號源的位置和所述揚聲器的位置來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述信號源接收到的關注信號分量的功率與從所述揚聲器接收到的回聲信號分量的功率之間的信回比最大。在本申請的一個實施例中，所述聲源定位器件包括：信號源定位器件，用于檢測在當前場景中是否存在正在輸出關注信號的信號源、所述信號源的數量及其相應位置；以及揚聲器定位器件，用于檢測在所述當前場景中是否存在正在播放聲音信號的揚聲器、所述揚聲器的數量及其相應位置。在本申請的一個實施例中，所述信號源定位器件包括：攝像頭，用于捕捉所述當前場景的場景圖像；以及圖像識別單元，用于在所述場景圖像中識別所述信號源，確定所述信號源的數量，并且確定所述信號源與所述音頻信號處理設備的基準位置之間的相對位置。在本申請的一個實施例中，所述圖像識別單元根據所述信號源在所述場景圖像中的位置來確定所述信號源與所述信號源定位器件的基準位置之間的相對位置，并且根據所述信號源定位器件的基準位置與所述音頻信號處理設備的基準位置之間的配準關系來確定所述信號源與所述音頻信號處理設備的基準位置之間的相對位置。在本申請的一個實施例中，所述信號源定位器件包括：信號分離單元，用于接收由至少兩個指向麥克風所采集的至少兩路分路輸入信號，并且從所述至少兩路分路輸入信號中分離來自所述信號源的關注信號分量；以及聲音識別單元，用于根據分離出的所述信號源的關注信號分量的相位來確定所述信號源與所述音頻信號處理設備的相對位置。在本申請的一個實施例中，所述揚聲器定位器件包括：信號分離單元，用于接收由至少兩個指向麥克風所采集的至少兩路分路輸入信號，并且從所述至少兩路分路輸入信號中分離來自所述揚聲器的關注信號分量；以及聲音識別單元，用于根據分離出的所述揚聲器的關注信號分量的相位來確定所述揚聲器與所述音頻信號處理設備的相對位置。在本申請的一個實施例中，所述增益控制器件包括：比較單元，用于響應于存在正在輸出關注信號的一個或多個信號源且不存在正在播放聲音信號的揚聲器，比較所述一個或多個信號源與每個指向麥克風的拾音區之間的第一位置關系；以及增益調整單元，用于根據所述第一位置關系來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個信號源接收到的關注信號分量的功率最大。在本申請的一個實施例中，所述增益調整單元增大所述一個或多個信號源位于其拾音區的一個或多個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個信號源接收到的關注信號分量的功率最大且沒有任何一個關注信號分量發生失真。在本申請的一個實施例中，所述增益調整單元進一步減小所述麥克風陣列中除了所述一個或多個指向麥克風的其他麥克風的增益，以降低在所述總輸入信號中從噪聲源接收到的噪聲分量的功率。在本申請的一個實施例中，所述增益控制器件包括：比較單元，用于響應于不存在正在輸出關注信號的信號源且存在正在播放聲音信號的一個或多個揚聲器，比較所述一個或多個揚聲器與每個指向麥克風的拾音區之間的第二位置關系；以及增益調整單元，用于根據所述第二位置關系來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個揚聲器接收到的回聲信號分量的功率最小。在本申請的一個實施例中，所述增益調整單元減小所述一個或多個揚聲器位于其拾音區的一個或多個指向麥克風的增益。在本申請的一個實施例中，所述增益控制器件包括：比較單元，用于響應于同時存在正在輸出關注信號的一個或多個信號源和正在播放聲音信號的一個或多個揚聲器，比較所述一個或多個信號源與每個指向麥克風的拾音區之間的第一位置關系和所述一個或多個揚聲器與每個指向麥克風的拾音區之間的第二位置關系；以及增益調整單元，用于根據所述第一位置關系和所述第二位置關系來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個信號源接收到的關注信號分量的功率與從所述一個或多個揚聲器接收到的回聲信號分量的功率之間的信回比最大。在本申請的一個實施例中，所述設備還包括：自適應濾波器，用于根據所述揚聲器正在播放的聲音來在時域和/或頻域上對增益調整后的總輸入信號進行回聲消除。根據本申請的另一方面，提供了一種音頻信號處理方法，所述方法包括：從麥克風陣列中的每個指向麥克風接收分路輸入信號，所述麥克風陣列包括具有不同拾音區的多個指向麥克風，每個指向麥克風用于在自身的拾音區內采集包括來自信號源的關注信號分量和來自揚聲器的回聲信號分量的所述分路輸入信號；將每個指向麥克風所采集的分路輸入信號合并為總輸入信號；確定所述信號源的位置和所述揚聲器的位置；以及根據所述信號源的位置和所述揚聲器的位置來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述信號源接收到的關注信號分量的功率與從所述揚聲器接收到的回聲信號分量的功率之間的信回比最大。根據本申請的另一方面，提供了一種電子設備，包括：處理器；存儲器；以及存儲在所述存儲器中的計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執行上述的音頻信號處理方法。根據本申請的另一方面，提供了一種計算機程序產品，包括計算機程序指令，所述計算機程序指令在被處理器運行本文檔來自技高網...

【技術保護點】
一種音頻信號處理設備，其特征在于，所述設備包括：揚聲器；麥克風陣列，包括具有不同拾音區的多個指向麥克風，每個指向麥克風用于在自身的拾音區內采集分路輸入信號，所述分路輸入信號包括來自信號源的關注信號分量和來自所述揚聲器的回聲信號分量；復用器，與每個指向麥克風電連接，用于將每個指向麥克風所采集的分路輸入信號合并為總輸入信號；聲源定位器件，用于確定所述信號源的位置和所述揚聲器的位置；以及增益控制器件，與所述聲源定位器件和每個指向麥克風電連接，用于根據所述信號源的位置和所述揚聲器的位置來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述信號源接收到的關注信號分量的功率與從所述揚聲器接收到的回聲信號分量的功率之間的信回比最大。

【技術特征摘要】
1.一種音頻信號處理設備，其特征在于，所述設備包括：揚聲器；麥克風陣列，包括具有不同拾音區的多個指向麥克風，每個指向麥克風用于在自身的拾音區內采集分路輸入信號，所述分路輸入信號包括來自信號源的關注信號分量和來自所述揚聲器的回聲信號分量；復用器，與每個指向麥克風電連接，用于將每個指向麥克風所采集的分路輸入信號合并為總輸入信號；聲源定位器件，用于確定所述信號源的位置和所述揚聲器的位置；以及增益控制器件，與所述聲源定位器件和每個指向麥克風電連接，用于根據所述信號源的位置和所述揚聲器的位置來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述信號源接收到的關注信號分量的功率與從所述揚聲器接收到的回聲信號分量的功率之間的信回比最大。2.如權利要求1所述的設備，其特征在于，所述聲源定位器件包括：信號源定位器件，用于檢測在當前場景中是否存在正在輸出關注信號的信號源、所述信號源的數量及其相應位置；以及揚聲器定位器件，用于檢測在所述當前場景中是否存在正在播放聲音信號的揚聲器、所述揚聲器的數量及其相應位置。3.如權利要求2所述的設備，其特征在于，所述信號源定位器件包括：攝像頭，用于捕捉所述當前場景的場景圖像；以及圖像識別單元，用于在所述場景圖像中識別所述信號源，確定所述信號源的數量，并且確定所述信號源與所述音頻信號處理設備的基準位置之間的相對位置。4.如權利要求3所述的設備，其特征在于，所述圖像識別單元根據所述信號源在所述場景圖像中的位置來確定所述信號源與所述信號源定位器件的基準位置之間的相對位置，并且根據所述信號源定位器件的基準位置與所述音頻信號處理設備的基準位置之間的配準關系來確定所述信號源與所述音頻信號處理設備的基準位置之間的相對位置。5.如權利要求2所述的設備，其特征在于，所述信號源定位器件包括：信號分離單元，用于接收由至少兩個指向麥克風所采集的至少兩路分路輸入信號，并且從所述至少兩路分路輸入信號中分離來自所述信號源的關注信號分量；以及聲音識別單元，用于根據分離出的所述信號源的關注信號分量的相位來確定所述信號源與所述音頻信號處理設備的相對位置。6.如權利要求2所述的設備，其特征在于，所述揚聲器定位器件包括：信號分離單元，用于接收由至少兩個指向麥克風所采集的至少兩路分路輸入信號，并且從所述至少兩路分路輸入信號中分離來自所述揚聲器的關注信號分量；以及聲音識別單元，用于根據分離出的所述揚聲器的關注信號分量的相位來確定所述揚聲器與所述音頻信號處理設備的相對位置。7.如權利要求1所述的設備，其特征在于，所述增益控制器件包括：比較單元，用于響應于存在正在輸出關注信號的一個或多個信號源且不存在正在播放聲音信號的揚聲器，比較所述一個或多個信號源與每個指向麥克風的拾音區之間的第一位置關系；以及增益調整單元，用于根據所述第一位置關系來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個信號源接收到的關注信號分量的功率最大。8.如權利要求7所述的設備，其特征在于，所述增益調整單元增大所述一個或多個信號源位于其拾音區的一個或多個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個信號源接收到的關注信號分量的功率最大且沒有任何一個關注信號分量發生失真。9.如權利要求8所述的設備，其特征在于，所述增益調整單元進一步減小所述麥克風陣列中除了所述一個或多個指向麥克風的其他麥克風的增益，以降低在所述總輸入信號中從噪聲源接收到的噪聲分量的功率。10.如權利要求1所述的設備，其特征在于，所述增益控制器件包括：比較單元，用于響應于不存在正在輸出關注信號的信號源且存在正在播放聲音信號的一個或多個揚聲器，比較所述一個或多個揚聲器與每個指向麥克風的拾音區之間的第二位置關系；以及增益調整單元，用于根據所述第二位置關系來調整每個指向麥克風的增益，以使得在所述總輸入信號中從所述一個或多個揚聲器接收到的回聲信號分量的功率最小。11.如權利要求10所述的設備，其特征在于，所述增益調整單元減小所述一個或多個揚聲器位于其拾音區的一個或多個指向麥克風的增益。12...

【專利技術屬性】
技術研發人員：徐榮強，
申請(專利權)人：北京地平線信息技術有限公司，
類型：發明
國別省市：北京,11