一種聲調評估方法技術

本發明專利技術公開了一種聲調評估方法，包括：分別建立基于幀級別特征的聲調模型和基于音段級別特征的聲調模型；根據所述基于幀級別特征的聲調模型獲取待識別語音的平均幀級別后驗概率和對數后驗比；根據基于音段級別特征的聲調模型獲取所述待識別語音的音段層級對數后驗概率；根據所述平均幀級別后驗概率、所述對數后驗比以及所述音段層級對數后驗概率對所述待識別語音進行聲調評估。根據本發明專利技術的聲調評估方法，可以提高聲調評估的魯棒性。

【技術實現步驟摘要】

本專利技術涉及聲調識別
，特別涉及一種聲調評估方法。
技術介紹
隨著第二外語的大力推廣和普及，加之課堂教學模式(時間地點固定，人員數量多)和教師主觀測評(個體差異性大，穩定性差)存在的缺陷，急需一種更加便利和有效的手段，可以對外語學習者的發音質量進行及時有效的評估和反饋。CAPT(Computer-Aided Pronunciation Training，計算機輔助發音教學)為以上問題的解決提供了可能性，其以人機交互智能技術為媒介，幫助或引導學生進行發音練習的教學方法。在CAPT系統中，比較重要的一塊為“發音質量評價”，也就是計算機自動評估學習者發音的質量好壞，適合用于對發音者的整體語言發音能力進行評判，類似于教學中的考試環節。在過去的幾年里，CAPT系統中的“發音質量評價”研究取得了顯著進展，主要集中在“音段”層級上的評估和檢測。以漢語為例，由于其是“聲調”語言，“聲調”起到相當重要的詞義區分角色以及韻律相關作用，如外國留學生的“洋腔洋調”現象，不僅與“音段”的發音偏誤有關，而且與“聲調”的異常也有很大關系。因此，對于一個漢語CAPT系統，“聲調評測”也是非常關鍵的。而“聲調識別”又是“聲調評測”的基礎。對于標準語音，如果聲調識別系統的“調型”識別率很高，那么建立在該聲調識別技術基礎上的聲調評測系統就能準確地分辨出聲調的正確與否，從而比較可靠地評價出聲調發音的水平。在“孤立音節”中，標準的聲調發音基本符合其原有聲調模式，聲調評測可以根據是否符合聲調的標準模式進行評價。相對于“孤立音節”的聲調識別，在“連續語流”中，“聲調識別”是非常困難的，原因是在連續語流中聲調存在很多復雜變化，具體如下：第一，在語音學中有一種sandi規則：由于聲調間連接，聲調曲線會發生改變。比如，相鄰的上聲+上聲序列可能會變成陽平+上聲；第二，音節的聲調曲線會受到它相鄰音節基頻曲線的影響，這種現象被稱作“協同發音”影響，“協同發音”主要是由于人的發音器官的局限性，也就是說，發音器官不能夠充分的活動以保持基頻F0曲線為它們的標準模式；第三，調階與句子語調結構保持一致，如在陳述句中，基頻F0曲線一般呈現逐漸下降的趨勢。除此之外，“調形”、“調階”還會受到其他因素的影響，比如交叉話者，焦點變化，話題變換等等。這些復雜的變化都為在連續語流中聲調識別帶來了困難，使得音節聲調之間存在著不容忽視的連續性，而且普遍存在的變調現象又具有多樣性，進一步導致了自然語流的聲調識別難度的增加，進而也影響了聲調評測系統的準確性。
技術實現思路
本專利技術旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本專利技術的一個目的在于提出一種聲調評估方法，能夠提高聲調評估的魯棒性。為達到上述目的，本專利技術提出了一種聲調評估方法，包括：分別建立FLTM(Frame Level Tone Model，基于幀級別特征的聲調模型)和SLTM(Segment Level Tone Model，基于音段級別特征的聲調模型)；根據所述基于幀級別特征的聲調模型獲取待識別語音的平均幀級別后驗概率和對數后驗比；根據基于音段級別特征的聲調模型獲取所述待識別語音的音段層級對數后驗概率；根據所述平均幀級別后驗概率、所述對數后驗比以及所述音段層級對數后驗概率對所述待識別語音進行聲調評估。根據本專利技術提出的聲調識別方法，把韻律特征、頻譜特征和發音特征融合在一起而建立基于幀級別特征的聲調模型，與此同時，訓練一個以音段特征為輸入特征的基于音段級別特征的聲調模型，根據上述兩個聲調模型，提取與聲調相關的幀層級和音段層級的多層級置信度量而進行聲調評測，實現了上述兩個置信度量的互補性，提高了聲調評估的魯棒性。具體地，所述根據所述基于幀級別特征的聲調模型獲取待識別語音的AFLP(Average Frame Level Probability，平均幀級別后驗概率)和LPR(Log posterior ratio，對數后驗比)，包括：提取所述待識別語音的MFCC(Mel Frequency Cepstrum Coefficient，梅爾頻率倒譜系數)特征以及基頻F0特征；基于提取的所述待識別語音的MFCC特征，利用DNN(Deep Neural Networks，深度神經網絡)分類器獲取所述待識別語音的發音特征；基于所述待識別語音的所述MFCC特征、所述基頻F0特征以及所述發音特征，利用DNN-HMM(Deep Neural Networks-Hidden Markov Model，深度神經網絡-隱馬爾可夫模型)獲取所述待識別語音的所述平均幀級別后驗概率和所述對數后驗比。根據本專利技術的一個實施例，所述平均幀級別后驗概率由以下公式估計： A F L P ( p ) = log p ( p | o ; t s , t e ) ≈ 1 t e - t s + 1 Σ t = t s t e log p ( p | o t ) ]]> p ( p | o t ) = Σ s ∈ p p ( s | o t ) ]]>其中，s是幀t對應的HMM狀態標簽，通過將所述待識別語音的音素p進行強制對齊得到，{s|s∈p本文檔來自技高網...

【技術保護點】
一種聲調評估方法，其特征在于，包括：分別建立基于幀級別特征的聲調模型FLTM和基于音段級別特征的聲調模型SLTM；根據所述基于幀級別特征的聲調模型獲取待識別語音的平均幀級別后驗概率和對數后驗比；根據基于音段級別特征的聲調模型獲取所述待識別語音的音段層級對數后驗概率；根據所述平均幀級別后驗概率、所述對數后驗比以及所述音段層級對數后驗概率對所述待識別語音進行聲調評估。

【技術特征摘要】
1.一種聲調評估方法，其特征在于，包括：分別建立基于幀級別特征的聲調模型FLTM和基于音段級別特征的聲調模型SLTM；根據所述基于幀級別特征的聲調模型獲取待識別語音的平均幀級別后驗概率和對數后驗比；根據基于音段級別特征的聲調模型獲取所述待識別語音的音段層級對數后驗概率；根據所述平均幀級別后驗概率、所述對數后驗比以及所述音段層級對數后驗概率對所述待識別語音進行聲調評估。2.如權利要求1所述的聲調評估方法，其特征在于，所述根據所述基于幀級別特征的聲調模型獲取待識別語音的平均幀級別后驗概率和對數后驗比，包括：提取所述待識別語音的梅爾頻率倒譜系數MFCC特征以及基頻F0特征；基于提取的所述待識別語音的MFCC特征，利用深度神經網絡DNN分類器獲取所述待識別語音的發音特征；基于所述待識別語音的所述MFCC特征、所述基頻F0特征以及所述發音特征，利用深度神經網絡-隱馬爾可夫模型DNN-HMM獲取所述待識別語音的所述平均幀級別后驗概率和所述對數后驗比。3.如權利要求2所述的聲調評估方法，其特征在于，所述平均幀級別后驗概率由以下公式估計： A F L P ( p ) = l o g p ( p | o ; t s , t...

【專利技術屬性】
技術研發人員：張勁松，林舉，解焱陸，
申請(專利權)人：北京語言大學，
類型：發明
國別省市：北京;11