【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)處理，尤其是一種基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法。
技術(shù)介紹
1、當(dāng)前，隨著中醫(yī)聲診技術(shù)的發(fā)展，通過提取語音信號中的特征信息，將預(yù)診案例的特征信息與預(yù)儲存案例庫的特征信息進(jìn)行對比匹配，就可以輸出該預(yù)診案例的診斷報告；這種中醫(yī)聲診的技術(shù)一方面在提供醫(yī)療輔助的同時，也造成了當(dāng)用戶在社交網(wǎng)絡(luò)上分享的語音被惡意收集后，可以通過中醫(yī)聲診的方法來獲取用戶健康屬性，從而導(dǎo)致用戶的健康屬性暴露于風(fēng)險之中。
2、而，目前研究語音轉(zhuǎn)換技術(shù)大多集中在處理語音的情感屬性和聲紋屬性，并無針對中醫(yī)聲診對于健康屬性暴露于風(fēng)險問題的研究；因此對于如何在保證說話人的語音數(shù)據(jù)完整性的前提下，轉(zhuǎn)換語音數(shù)據(jù)中的健康屬性以保護(hù)患者的敏感信息，這是語音隱私保護(hù)領(lǐng)域亟待解決的問題。
技術(shù)實現(xiàn)思路
1、鑒于上述的分析，本專利技術(shù)旨在提供一種基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，實現(xiàn)在不影響語音數(shù)據(jù)正常使用的前提下，保護(hù)用戶的語音數(shù)據(jù)不能通過中醫(yī)聲診系統(tǒng)推斷出健康屬性。
2、本專利技術(shù)的目的主要是通過以下技術(shù)方案實現(xiàn)的：
3、本專利技術(shù)公開了一種基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，包括：
4、步驟s1、從聲學(xué)設(shè)備獲取作為訓(xùn)練語料的用戶語音數(shù)據(jù)；所述用戶語音數(shù)據(jù)中包括通過中醫(yī)聲診的方式能夠獲得各種癥候特征的待轉(zhuǎn)語音數(shù)據(jù)和不能獲得癥候特征的健康條件下的目標(biāo)語音數(shù)據(jù)；
5、步驟s2、提取出待轉(zhuǎn)語音數(shù)據(jù)中的fos、aps和40
6、步驟s3、將待轉(zhuǎn)語音數(shù)據(jù)的fos、mceps特征和目標(biāo)語音數(shù)據(jù)的fop、mcepp特征輸入至中醫(yī)聲診癥候特征隱私保護(hù)語音模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練；使訓(xùn)練好語音模型將輸入包含癥候特征的待轉(zhuǎn)語音數(shù)據(jù)的fos和mceps特征轉(zhuǎn)換為健康語音的fo*和mcep*特征；
7、步驟s4、將健康語音的fo*和mcep*特征和待轉(zhuǎn)語音數(shù)據(jù)中的fos進(jìn)行合成，得到進(jìn)行中醫(yī)聲診癥候特征隱私保護(hù)的用戶語音。
8、進(jìn)一步地，作為訓(xùn)練語料的用戶語音數(shù)據(jù)在通過中醫(yī)聲診后對語料數(shù)據(jù)進(jìn)行分類時，還對每個待轉(zhuǎn)語音數(shù)據(jù)和目標(biāo)語音數(shù)據(jù)進(jìn)行數(shù)據(jù)類別標(biāo)注；其中，待轉(zhuǎn)語音數(shù)據(jù)標(biāo)注為“s”，目標(biāo)語音數(shù)據(jù)標(biāo)注為“p”。
9、進(jìn)一步地，通過word聲碼器進(jìn)行待轉(zhuǎn)語音數(shù)據(jù)中的fos、aps和40維的mceps特征，以及目標(biāo)語音數(shù)據(jù)中的fop和40維的mcepp特征的提取。
10、進(jìn)一步地，中醫(yī)聲診癥候特征隱私保護(hù)語音模型包括生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)；其中，
11、生成器網(wǎng)絡(luò)的輸入數(shù)據(jù)為由待轉(zhuǎn)語音數(shù)據(jù)的fos、mceps特征和目標(biāo)語音數(shù)據(jù)的fop、mcepp特征組成的特征向量；生成器對于待轉(zhuǎn)語音數(shù)據(jù)的fos、mceps特征進(jìn)行特征降維并加入注意力機(jī)制后得到待轉(zhuǎn)語音的待轉(zhuǎn)語音的健康獨立表征z；對于目標(biāo)語音數(shù)據(jù)的fop、mcepp特征進(jìn)行特征降維并加入注意力機(jī)制后得到目標(biāo)語音的健康嵌入表征c；并將待轉(zhuǎn)語音的健康獨立表征z和目標(biāo)語音的健康嵌入表征c進(jìn)行深度特征融合后得到健康語音的fo*和mcep*特征；
12、鑒別器網(wǎng)絡(luò)的輸入為健康語音的fo*和mcep*特征；鑒別器網(wǎng)絡(luò)對輸入的健康語音的fo*和mcep*特征進(jìn)行中醫(yī)聲診癥候特征鑒別，當(dāng)鑒別為“s”時，對生成器網(wǎng)絡(luò)的參數(shù)進(jìn)行迭代更新，當(dāng)鑒別為“p”時，則停止更新生成器網(wǎng)絡(luò)，將生成器網(wǎng)絡(luò)輸出的健康語音的fo*和mcep*特征輸出。
13、進(jìn)一步地，所述生成器網(wǎng)絡(luò)包括順序連接的編碼器網(wǎng)絡(luò)、注意力機(jī)制模塊和解碼器網(wǎng)絡(luò)；其中，
14、編碼器網(wǎng)絡(luò)和注意力機(jī)制模塊順序連接，將輸入的待轉(zhuǎn)語音數(shù)據(jù)的fos、mceps特征進(jìn)行特征降維得到待轉(zhuǎn)語音的待轉(zhuǎn)語音的健康獨立表征z，將輸入的目標(biāo)語音數(shù)據(jù)的fop、mcepp特征進(jìn)行特征降維得到目標(biāo)語音的健康嵌入表征c；
15、解碼器網(wǎng)絡(luò)，將輸入的待轉(zhuǎn)語音的健康獨立表征z和目標(biāo)語音的健康嵌入表征c進(jìn)行深度特征融合concat操作，輸出最終融合為新的語言特征矢量的健康語音的fo*和mcep*特征。
16、進(jìn)一步地，編碼器網(wǎng)絡(luò)為由多尺度卷積神經(jīng)網(wǎng)絡(luò)組成，進(jìn)一步的對語音特征進(jìn)行降維；加入了attention機(jī)制，使得語音特征在編碼的過程中更加專注于語音數(shù)據(jù)的類別種類。
17、進(jìn)一步地，編碼器網(wǎng)絡(luò)包括9個conv層和對應(yīng)的bathnorm層以及2個linear層；conv層包括三類，其中，第一conv層和第二conv層為conv5-512；第三到第八conv層為conv3-64；第九conv層為conv1-512；對應(yīng)的bathnorm層也為三類，其中第一bathnorm層和第二bathnorm層為bathnorm1d-512；第三到第八bathnorm層為bathnorm1d-64；第九bathnorm層為bathnorm1d-512；linear層包括第一linear層linear-256和第二linear層linear-512。
18、進(jìn)一步地，中醫(yī)聲診癥候特征隱私保護(hù)語音模型的總框架損失函數(shù)為：
19、ltcm＝λreclrec+λcl(c)
20、其中，λrec、λc為超參數(shù)，lrec為生成器網(wǎng)絡(luò)的重構(gòu)損失，l(c)為編碼器網(wǎng)絡(luò)的損失函數(shù)。
21、進(jìn)一步地，編碼器網(wǎng)絡(luò)的損失函數(shù)l(c)為：
22、
23、其中，x為輸入的特征向量，z為編碼器網(wǎng)絡(luò)輸出待轉(zhuǎn)語音的健康獨立表征；yi，j為表示真實標(biāo)簽是否屬于第i個樣本的前j個類別，pi，j為表示模型預(yù)測第i個樣本屬于第j個類別的概率，i＝1，...，n，j＝1，...，k，n表示樣本數(shù)量，k為類別數(shù)量；
24、生成器網(wǎng)絡(luò)的重構(gòu)損失lrec為：
25、
26、其中，eθ(x)與ee(x)分別指編碼器網(wǎng)絡(luò)中對特征向量x中類別為“s”和“p”的特征進(jìn)行編碼的網(wǎng)絡(luò)輸出；d(·，·)為距離函數(shù)；為期望值函數(shù)，||·||1為l1范數(shù)。
27、進(jìn)一步地，鑒別器網(wǎng)絡(luò)包括順序連接的第一卷積層、第二卷積層、第三卷積層、第一bathnorm層、linear層和第二bathnorm層；
28、其中，第一、第二和第三卷積層分別為conv1-1536、conv1-128、conv1-1536；第一bathnorm層為bathnorm1d-3072；linear層為linear-192；第二bathnorm層為bathnorm1d-3072。
29、本專利技術(shù)有益效果如下：
30、本專利技術(shù)的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，在成功保護(hù)了患者的語音數(shù)據(jù)發(fā)布后的隱私信息的同時也保留了語音數(shù)據(jù)的其他屬性。最終的效果為用戶分享自己的語音數(shù)據(jù)，在聽感與內(nèi)容上保持著原有的屬性，但無法根據(jù)中醫(yī)聲診的理論知識判斷出用戶的相應(yīng)證候要素，從而保護(hù)到了用戶的隱私。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
3.根據(jù)權(quán)利要求2所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
4.根據(jù)權(quán)利要求3所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
5.根據(jù)權(quán)利要求3所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
6.根據(jù)權(quán)利要求5所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
7.根據(jù)權(quán)利要求6所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
8.根據(jù)權(quán)利要求6所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
9.根據(jù)權(quán)利要求8所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
10.根據(jù)權(quán)利要求4所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
【技術(shù)特征摘要】
1.一種基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
3.根據(jù)權(quán)利要求2所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
4.根據(jù)權(quán)利要求3所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
5.根據(jù)權(quán)利要求3所述的基于中醫(yī)聲診癥候特征隱私保護(hù)的語音數(shù)據(jù)處理方法，其特征在于，
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張先超，羅力，劉憶寧，
申請(專利權(quán))人：嘉興大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。