【技術(shù)實現(xiàn)步驟摘要】
本申請涉及終端，尤其涉及語義識別方法及相關(guān)裝置。
技術(shù)介紹
1、一些場景中，電子設(shè)備可以獲取用戶的語音并實現(xiàn)相應(yīng)的功能，例如通話場景、直播場景等。
2、然而，由于受到環(huán)境因素的干擾，使得電子設(shè)備接收到的用戶聲音中可能會夾雜其他噪聲；或者，由于用戶的聲音可能較小，使得電子設(shè)備無法清楚地獲取用戶聲音，導(dǎo)致降低了通話質(zhì)量。
技術(shù)實現(xiàn)思路
1、本申請實施例提供的語義識別方法及相關(guān)裝置，可以基于電子設(shè)備的雷達來獲取用戶聲帶的振動頻率等數(shù)據(jù)，并對雷達獲取的數(shù)據(jù)進行解析，從而得到用戶想要表達的語義，提高通話質(zhì)量，從而提升用戶體驗。
2、第一方面，本申請實施例提供的語義識別方法，方法應(yīng)用于電子設(shè)備，電子設(shè)備包括雷達，方法包括：
3、在采集用戶的音視頻數(shù)據(jù)的過程中，基于雷達獲取用戶的聲帶的振動頻率；得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果；基于第一聲音識別結(jié)果得到音視頻數(shù)據(jù)的目標(biāo)聲音識別結(jié)果；目標(biāo)聲音識別結(jié)果為第一聲音識別結(jié)果，或者，目標(biāo)聲音識別結(jié)果是對第一聲音識別結(jié)果和第二音頻識別結(jié)果處理得到的，或者，目標(biāo)聲音識別結(jié)果是對第一聲音識別結(jié)果、第二音頻識別結(jié)果和第三圖像識別結(jié)果處理得到的，其中，第二音頻識別結(jié)果為對音視頻數(shù)據(jù)中的音頻進行語義識別得到的，第三圖像識別結(jié)果為對音視頻數(shù)據(jù)中的用戶進行口型識別得到的；顯示目標(biāo)聲音識別結(jié)果。這樣，采用雷達檢測聲帶振動，具有較好的隱私性和透射能力，電子設(shè)備可以不完全依賴于對語音信號或口型的處理，使得即使在嘈雜、光線較暗
4、一種可能的實現(xiàn)中，得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：對聲帶的振動頻率進行距離維度的預(yù)處理，得到聲帶的振動頻率對應(yīng)的時頻圖；對聲帶的振動頻率對應(yīng)的時頻圖進行語義識別。這樣，雷達可以在不同距離維度上進行聲帶的振動頻率的搜索，并將搜索到的信息進行累加，從而可以對數(shù)據(jù)降維，得到較為完整的聲帶的振動頻率，方便進一步提取接收信號中的有用信號。
5、一種可能的實現(xiàn)中，雷達用于獲取電磁波信號，電磁波信號中包括聲帶的振動頻率，對聲帶的振動頻率進行距離維度的預(yù)處理，包括：在雷達搜索范圍內(nèi)，確定電磁波信號中最大能量的第一位置；以第一位置為中心，向雷達搜索范圍的邊界方向的第二位置進行搜索；若第二位置的瑞利熵小于預(yù)設(shè)值，則保留第二位置對應(yīng)的信號；或者，若第二位置的瑞利熵大于或等于預(yù)設(shè)值，則不保留第二位置對應(yīng)的信號；基于保留的信號輸出時頻圖，時頻圖中包括聲帶的振動頻率對應(yīng)的時頻圖。這樣，雷達可以選擇接收信號中能量最強的地方作為目標(biāo)中心點，并向目標(biāo)中心點的周圍搜索，從而得到較為完整的有用信息，方便進一步提取接收信號中的聲帶的振動頻率信號。
6、一種可能的實現(xiàn)中，確定電磁波信號中最大能量的第一位置之前，還包括：對電磁波信號的不同距離維度進行時頻變換，得到每個距離維度的時頻分布圖stft；基于ftfr的瑞利熵確定預(yù)設(shè)值，預(yù)設(shè)值包括部分或全部ftfr的瑞利熵之和的平均值。這樣，經(jīng)過時頻變換處理，使得目標(biāo)信號在時頻上具有更好的局部聚焦性，目標(biāo)信號和雜波的區(qū)分更加明顯，從而可以得到更加清晰和集中的目標(biāo)信號的能量分布。
7、一種可能的實現(xiàn)中，對聲帶的振動頻率進行距離維度的預(yù)處理之前，還包括：對電磁波信號進行下述的一項或多項處理：動目標(biāo)檢測、恒虛警檢測、多徑抑制處理、時頻聚焦處理；其中，動目標(biāo)檢測用于過濾電磁波信號中頻率為零或頻率小于預(yù)設(shè)頻率值的信號，恒虛警檢測用于過濾電磁波信號中頻率能量較低的信號，多徑抑制處理用于過濾電磁波信號中的回波信號，回波信號包括雷達的發(fā)射信號在遇到障礙物時，被反射回來的信號，時頻聚焦處理用于使得電磁波信號中聲帶的振動頻率的時頻聚焦能力增強。這樣，動目標(biāo)檢測可以過濾電磁波信號中頻率為零或頻率周期附近的值的信號，從而凸顯目標(biāo)信號。恒虛警檢測可以過濾電磁波信號中頻率能量較低的信號，對接收信號中的雜波進行抑制處理，從而更為準(zhǔn)確的識別目標(biāo)信號。多徑抑制處理可以過濾電磁波信號中的回波信號，降低回波信號對目標(biāo)信號的干擾。時頻聚焦處理可以利用目標(biāo)信號和雜波的時頻聚焦性差異，使得電磁波信號中聲帶的振動頻率的時頻聚焦能力增強，從而提高目標(biāo)信號的時頻聚焦性能力，進一步增強目標(biāo)信號的時頻提取效果。
8、一種可能的實現(xiàn)中，得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：顯示第一界面，第一界面包括下述的一個或多個選項：第一選項、第二選項、第三選項、第四選項；其中，第一選項用于指示對聲帶的振動頻率進行語義識別的實時性要求，第一選項包括第一等級和第二等級，第一等級的實時性要求高于第二等級；第二選項用于指示對聲帶的振動頻率進行語義識別的準(zhǔn)確度要求，第二選項包括第三等級和第四等級，第三等級的準(zhǔn)確度要求高于第四等級；第三選項用于指示對聲帶的振動頻率進行語義識別的隱私性要求，第三選項包括第五等級和第六等級，第五等級的隱私性要求高于第六等級；第四選項用于指示對聲帶的振動頻率進行語義識別的流量消耗要求，第四選項包括第七等級和第八等級，第七等級的流量消耗要求高于第八等級；當(dāng)選擇第一等級、第四等級、第五等級或第七等級時，第二等級、第三等級、第六等級和/或第八等級為不可選中的狀態(tài)；當(dāng)選擇第二等級、第三等級、第六等級和/或第八等級時，第一等級、第四等級、第五等級和/或第七等級為不可選中的狀態(tài)。這樣，第一界面中各個選項的選擇可能會發(fā)生沖突，例如，既要求實時性快，又要求準(zhǔn)確度嚴(yán)格。為了減少選項之間的沖突，當(dāng)用戶選擇某個選項后，電子設(shè)備可以將與該選項沖突的其他選項設(shè)置為不可選擇的狀態(tài)，例如進行置灰處理，使得用戶無法同時選中彼此沖突的選項，從而提升電子設(shè)備執(zhí)行邏輯的合理性。
9、一種可能的實現(xiàn)中，在接收到對第一等級、第四等級、第五等級或第七等級的選定操作的情況下，得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果，包括：采用卷積神經(jīng)網(wǎng)絡(luò)對聲帶的振動頻率進行語義識別，得到第一聲音識別結(jié)果。這樣，電子設(shè)備不需要將數(shù)據(jù)上傳至云端服務(wù)器，節(jié)省了上傳數(shù)據(jù)所占用的流量。由于本地處理不需要額外增加上傳云端服務(wù)器的時間，因此，在電子設(shè)備本地進行數(shù)據(jù)處理，可以較快完成通話內(nèi)容的識別。
10、一種可能的實現(xiàn)中，在接收到對第二等級、第三等級、第六等級和/或第八等級的選定操作的情況下，得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果，包括：將聲帶的振動頻率上傳云端服務(wù)器，并從云端服務(wù)器得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果，第一聲音識別結(jié)果是云端服務(wù)器采用卷積神經(jīng)網(wǎng)絡(luò)對聲帶的振動頻率進行語義識別得到的。這樣，由于云端服務(wù)器的算力較強和/或存儲能力較強，因此，云端服務(wù)器處理數(shù)據(jù)的能力較強，可以更準(zhǔn)確的對用戶的說話內(nèi)容進行分析和識別，提升用戶體驗。
11、一種可能的實現(xiàn)中，得到對聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：對聲帶的振動頻率進行主成分分析pca，提取與識別語義相關(guān)的特性數(shù)據(jù)，特性數(shù)據(jù)包括下述的一種本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種語義識別方法，其特征在于，應(yīng)用于電子設(shè)備，所述電子設(shè)備包括雷達，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述雷達用于獲取電磁波信號，所述電磁波信號中包括所述聲帶的振動頻率，對所述聲帶的振動頻率進行距離維度的預(yù)處理，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定所述電磁波信號中最大能量的第一位置之前，還包括：
5.根據(jù)權(quán)利要求2-4任一項所述的方法，其特征在于，對所述聲帶的振動頻率進行距離維度的預(yù)處理之前，還包括：
6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在接收到對所述第一等級、所述第四等級、所述第五等級或所述第七等級的選定操作的情況下，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果，包括：
8.根據(jù)權(quán)利要求6
9.根據(jù)權(quán)利要求1-8任一項所述的方法，其特征在于，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：
10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：一個或多個處理器和存儲器；
11.一種芯片系統(tǒng)，其特征在于，所述芯片系統(tǒng)應(yīng)用于電子設(shè)備，所述芯片系統(tǒng)包括一個或多個處理器，所述一個或多個處理器用于調(diào)用計算機指令以使得所述電子設(shè)備執(zhí)行如權(quán)利要求1-9中任一項所述的方法。
12.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)包括計算機指令，當(dāng)所述計算機指令在電子設(shè)備上運行時，使得所述電子設(shè)備執(zhí)行如權(quán)利要求1-9中任一項所述的方法。
13.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序代碼，當(dāng)所述計算機程序代碼在電子設(shè)備上運行時，使得所述電子設(shè)備執(zhí)行如權(quán)利要求1-9中任一項所述的方法。
...【技術(shù)特征摘要】
1.一種語義識別方法，其特征在于，應(yīng)用于電子設(shè)備，所述電子設(shè)備包括雷達，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述雷達用于獲取電磁波信號，所述電磁波信號中包括所述聲帶的振動頻率，對所述聲帶的振動頻率進行距離維度的預(yù)處理，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定所述電磁波信號中最大能量的第一位置之前，還包括：
5.根據(jù)權(quán)利要求2-4任一項所述的方法，其特征在于，對所述聲帶的振動頻率進行距離維度的預(yù)處理之前，還包括：
6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果之前，還包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在接收到對所述第一等級、所述第四等級、所述第五等級或所述第七等級的選定操作的情況下，所述得到對所述聲帶的振動頻率進行語義識別的第一聲音識別結(jié)果，包括：
8.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：菅宇鵬，
申請(專利權(quán))人：榮耀終端有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。