【技術實現步驟摘要】
本專利技術涉及語音數據庫，具體為一種噪聲環境中語音數據庫的智能構建系統及方法。
技術介紹
1、隨著人工智能和語音識別技術的迅速發展，語音數據庫的構建已成為提高語音識別系統性能的關鍵因素之一。傳統的語音數據庫構建方法主要依賴于在相對安靜的環境中錄制語音數據，這種方法雖然能夠獲得高質量的語音樣本，但在實際應用場景中，語音信號往往混雜著各種背景噪聲，如交通噪聲、人群喧嘩、風聲等。這些噪聲會嚴重影響語音識別系統的準確率。
2、傳統的語音數據庫構建方法通常依賴于人工篩選和標注，這種方法不僅耗時耗力，而且難以覆蓋多樣化的噪聲場景。此外，由于噪聲的多樣性和不可預測性，人工篩選往往無法完全模擬真實世界的噪聲環境，導致語音識別系統在實際應用中的性能下降。
3、近年來，雖然有一些研究嘗試通過模擬噪聲來增強語音數據庫，但這些方法往往需要復雜的信號處理技術和專業的音頻工程師，且模擬的噪聲與真實環境中的噪聲存在差異，難以完全滿足實際應用的需求。
技術實現思路
1、(一)解決的技術問題
2、針對現有技術的不足，本專利技術提供了一種噪聲環境中語音數據庫的智能構建系統及方法，具備能夠自動識別、采集和處理噪聲環境中的語音數據，提高語音識別系統的性能等優點，解決了
技術介紹
中提出的問題。
3、(二)技術方案
4、為實現上述能夠自動識別、采集和處理噪聲環境中的語音數據，提高語音識別系統的性能的目的，本專利技術提供如下技術方案：一種噪聲環境中語音數據庫的智能構建方
5、步驟一：從多種噪聲環境中采集語音和視頻樣本；
6、步驟二：對采集的語音樣本進行預處理，包括通過頻譜減法減少背景噪聲對語音信號的影響；
7、步驟三：通過視頻數據輔助識別說話人的口型，結合環境聲音分析識別噪聲類型和強度；
8、步驟四：使用深度學習模型學習噪聲環境下的語音特征，對采集的語音數據進行噪聲和語音的實時分離；
9、步驟五：利用自然語言處理技術和語音識別算法，對分離出的純凈語音進行自動轉寫和標注；
10、步驟六：對轉寫出來的純凈語音進行校驗，用于修正和確保數據準確性，校驗后輸出純凈語音。
11、優選的，所述步驟二中的預處理進一步包括采用聲音活動檢測算法來區分語音信號與非語音信號，用于移除無聲片段。
12、優選的，所述步驟二在頻譜減法處理中，采用自適應噪聲估計方法，其中噪聲估計的更新公式如下：
13、
14、其中，為當前幀的噪聲估計，β為平滑系數，y(f,t)為當前幀的傅里葉變換，為前一幀的噪聲估計。
15、優選的，所述步驟三中使用卷積神經網絡算法提取視頻數據中說話人的口型特征，并且結合光流法來捕捉口型動態變化，用于對說話人口型進行輔助識別。
16、優選的，所述步驟四中的深度學習模型是循環神經網絡或長短時記憶網絡，用于建模語音信號的時間序列特性。
17、優選的，所述步驟四中實時分離噪聲和語音的詳細算法公式采用深度神經網絡，其目標函數表示為：
18、
19、其中，j(θ)是代價函數，s(t)是純凈語音的目標值，fθ(x(t))是深度神經網絡在參數θ下的輸出，x(t)是含噪聲的輸入語音信號，λ是正則化參數，r(θ)是正則化項，用以控制深度學習模型的復雜度。
20、優選的，所述步驟五中的自然語言處理技術進一步包括使用語言模型和聲學模型的結合，用于改進自動轉寫的準確度。
21、優選的，所述步驟六進一步包括根據校驗結果反饋到步驟四和步驟五中，對深度學習模型和自然語言處理技術進行迭代優化。
22、本專利技術還提供一種噪聲環境中語音數據庫的智能構建系統，所述系統包括采集模塊，所述采集模塊用于在噪聲環境中采集語音和視頻樣本，所述采集模塊連接預處理模塊，所述預處理模塊用于對語音數據進行預處理，所述預處理模塊連接深度處理模塊，所述深度處理模塊對語音數據進行噪聲和語音的分離，所述深度處理模塊連接轉寫模塊，所述轉寫模塊對分離出來的純凈語音進行轉寫和標注，所述轉寫模塊連接校驗模塊，所述校驗模塊用于對轉寫后的純凈語音進行分析校驗，所述校驗模塊連接輸出模塊，所述輸出模塊用于對校驗的語音數據進行保存和輸出。
23、優選的，所述校驗模塊還連接深度處理模塊，所述輸出模塊配置有云存儲接口，用于將校驗后的語音數據直接上傳到云端數據庫。
24、與現有技術相比，本專利技術提供了一種噪聲環境中語音數據庫的智能構建系統及方法，具備以下有益效果：
25、1、本專利技術提供的一種噪聲環境中語音數據庫的智能構建系統及方法，通過在噪聲環境中采集語音數據和視頻數據，然后將這些上傳到預處理模塊中，采用聲音活動檢測算法來區分語音信號與非語音信號，如此能夠移除無聲片段，減小后續語音處理的范圍，通過使用卷積神經網絡算法提取視頻數據中說話人的口型特征，并且結合光流法來捕捉口型動態變化，有助于更準確地識別和分析說話人口型的特征，從而輔助識別語音數據，有利于在噪聲環境下提高整體的語音識別和理解能力。
26、2、本專利技術提供的一種噪聲環境中語音數據庫的智能構建系統及方法，通過深度學習模型采用循環神經網絡或長短時記憶網絡，能夠捕捉到數據點之間的時間依賴關系，長短時記憶網絡具有強大的長期記憶能力，可以保留之前的信息，這使得它能夠在處理長序列的語音數據時保持更好的性能，通過深度學習模型能夠根據輸入數據自動調整其權重，從而更好地適應語音信號的變化性和動態特性，通過訓練，深度學習模型可以學會在有噪聲的環境中識別語音信號，進而能夠對噪聲和純凈語音進行分離，使得提高系統對噪聲環境下語音處理的能力和準確性。
本文檔來自技高網...【技術保護點】
1.一種噪聲環境中語音數據庫的智能構建方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟二中的預處理進一步包括采用聲音活動檢測算法來區分語音信號與非語音信號，用于移除無聲片段。
3.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟二在頻譜減法處理中，采用自適應噪聲估計方法，其中噪聲估計的更新公式如下：
4.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟三中使用卷積神經網絡算法提取視頻數據中說話人的口型特征，并且結合光流法來捕捉口型動態變化，用于對說話人口型進行輔助識別。
5.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟四中的深度學習模型是循環神經網絡或長短時記憶網絡，用于建模語音信號的時間序列特性。
6.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟四中實時分離噪聲和語音的詳細算法公式采用深度神經網絡，其目標函數表示為：
7.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟五中的自然語言處理技術進一步包括使用語言模型和聲學模型的結合，用于改進自動轉寫的準確度。
8.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟六進一步包括根據校驗結果反饋到步驟四和步驟五中，對深度學習模型和自然語言處理技術進行迭代優化。
9.一種噪聲環境中語音數據庫的智能構建系統，其特征在于：所述系統包括采集模塊，所述采集模塊用于在噪聲環境中采集語音和視頻樣本，所述采集模塊連接預處理模塊，所述預處理模塊用于對語音數據進行預處理，所述預處理模塊連接深度處理模塊，所述深度處理模塊對語音數據進行噪聲和語音的分離，所述深度處理模塊連接轉寫模塊，所述轉寫模塊對分離出來的純凈語音進行轉寫和標注，所述轉寫模塊連接校驗模塊，所述校驗模塊用于對轉寫后的純凈語音進行分析校驗，所述校驗模塊連接輸出模塊，所述輸出模塊用于對校驗的語音數據進行保存和輸出。
10.根據權利要求9所述的一種噪聲環境中語音數據庫的智能構建系統，其特征在于：所述校驗模塊還連接深度處理模塊，所述輸出模塊配置有云存儲接口，用于將校驗后的語音數據直接上傳到云端數據庫。
...【技術特征摘要】
1.一種噪聲環境中語音數據庫的智能構建方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟二中的預處理進一步包括采用聲音活動檢測算法來區分語音信號與非語音信號，用于移除無聲片段。
3.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟二在頻譜減法處理中，采用自適應噪聲估計方法，其中噪聲估計的更新公式如下：
4.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟三中使用卷積神經網絡算法提取視頻數據中說話人的口型特征，并且結合光流法來捕捉口型動態變化，用于對說話人口型進行輔助識別。
5.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟四中的深度學習模型是循環神經網絡或長短時記憶網絡，用于建模語音信號的時間序列特性。
6.根據權利要求1所述的一種噪聲環境中語音數據庫的智能構建方法，其特征在于：所述步驟四中實時分離噪聲和語音的詳細算法公式采用深度神經網絡，其目標函數表示為：
7.根據權利要求1所述的一種噪聲環...
【專利技術屬性】
技術研發人員：許召輝，黃文君，邢曉天，朱飛要，陶國效，
申請(專利權)人：中航華東光電上海有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。