【技術實現步驟摘要】
本專利技術涉及閱讀輔助，具體為一種閱讀用聲控輔助方法及裝置。
技術介紹
1、現階段很多產品推出了各自風格的智能對話系統，這類系統可以根據用戶輸入的內容自動生成帶有特定風格的反饋內容，對于機器如何自動生成帶有特定風格的反饋內容這一問題，較為成熟的解決辦法為設置平行語料庫，通過平行語料庫中的句子對來實現，另外在申請號為201710817322.9的中國專利公開了“一種風格語句的生成方法、模型的訓練方法、裝置及設備，屬于自然語言處理領域。所述方法包括：獲取待轉換的自然語句；將所述自然語句輸入第一編碼模型對所述自然語句中的風格信息進行過濾，生成所述自然語句對應的目標內容向量；根據設置的目標語言風格，從至少一種風格向量中確定與所述目標語言風格相對應的目標風格向量，將所述目標內容向量和所述目標風格向量輸入第一解碼模型，生成與所述自然語句對應的風格語句；保證了每種自然語句都能轉換成具有目標語言風格的風格語句，提高了智能對話系統的智能化程度”，提供了一種通過編碼模型解決前述問題的方案，具體步驟為①獲取待轉換的自然語句；②將所述自然語句輸入第一編碼模型對所述自然語句中的風格信息進行過濾，生成所述自然語句對應的目標內容向量；③根據設置的目標語言風格，從至少一種風格向量中確定與所述目標語言風格相對應的目標風格向量，將所述目標內容向量和所述目標風格向量輸入第一解碼模型，生成與所述自然語句對應的風格語句；
2、該技術方案對于設置平行語料庫這一手段，在用戶閱讀的場景下，無法窮盡圖書中所有語料信息(如果強行窮盡需要非常大的計算量)；對于設置編碼模
技術實現思路
1、本專利技術的目的在于提供一種閱讀用聲控輔助方法及裝置，以解決上述
技術介紹
中提出的問題。
2、為實現上述目的，本專利技術提供如下技術方案：一種閱讀用聲控輔助方法，包括以下步驟：
3、s1、用戶輸入語音，對語音進行識別；
4、s2、提示用戶可以使用書籍中的角色或作者的風格進行回答，并根據用戶選擇啟動角色模型或作者模型；
5、s3、對用戶輸入的語音進行學習，并將經過角色模型或者作者模型訓練后反饋的內容進行輸出；
6、s4、根據角色模型或者作者模型反饋的內容與用戶的滿意度進行自我學習與修正，直到用戶滿意；
7、s5，根據用戶語音指令調用應用。
8、優選的，所述步驟s1中，首先對語音數據進行采集，然后對采集到的語音數據進行預處理，然后提取出特征，隨后創建聲學模型，將特征信息輸入到聲學模型中進行訓練，通過創建語言模型，將文本數據輸入到語言模型中進行訓練，并向解碼器中輸入標準字典，最后通過解碼算法進行識別，輸出文本完成語音識別，通過播報文本可使用戶僅通過語音進行閱讀輔助中的信息查詢、獲取與控制，把聲學模型與語言模型組合在一起，以對特征序列o＝{o1,o2,o3,...,ot}進行處理，使用最大以后驗證概率算法來得到最終識別結果；
9、最大以后驗證概率算法如下：
10、
11、其中，表示語音識別的最終結果，w表示位置的詞序列，p(w)表示w出現的先驗概率，即語言模型概率，p(o|w)表示當未知的序列是w、聲學模型輸出的是o特征序列時的概率，即聲學模型概率，p(o)表示聲學特征o發生的概率；
12、p(o)只和聲學特征有關，與w沒有關系，因此語音識別基本方程可表示為：
13、
14、其中，logp(o|w)表示聲學模型給出的評價值，logp(w)表示語言模型給出的評價值，當logp(o|w)與logp(w)的值越大，的值越大，表示最終識別結果就越大，λ作為權重系數，通過給定特殊值，使兩種模型評價值更加均衡。
15、優選的，所述步驟s1中對語音數據進行預處理包括語音預加重，以增強語音數據中高頻部分的能力，進而提高語音的分辨率，然后對語音進行分幀操作，得到信號頻率的大致輪廓，便于對語音特征進行提取，在語音特征提取時，對每一幀信號進行快速傅里葉變換，經過快速傅里葉變換后得到該幀語音信號的頻譜圖，然后以時間順序將每幀語音信號的頻譜合到一起，然后對每幀語音信號進行處理，最后對頻譜進行倒譜運算，以完成對語音數據的預處理。
16、優選的，所述步驟s2中，在提示用戶可以使用書籍中的角色或者作者的風格進行回答前，需要進行角色模型或作者模型的建立，首先將圖書文件上傳，通過對圖書內容進行掃描和識別以獲取圖書內容，然后根據圖書中所有的角色及圖書的作者對圖書內容進行拆分并且重構，然后存儲至圖書數據庫中，然后利用大模型對圖書中所有的角色及圖書的作者進行建模，包括不同角色的語音內容和語氣，通過大模型對圖書內容中的相關性內容按照不同角色進行分類，然后從該圖書中挖掘出角色所涉及的會話，構建角色相關的會話語料，并通過網絡學習該圖書同一作者類似作品中的角色信息、權威專家解讀角色的信息等其他維度的信息來源，對角色模型進行完善，對于作者模型，使用權威專家解讀作者的信息、作者自傳等其他維度的信息來源，對角色模型進行完善，以此建立風格不同的角色模型和內容全面的作者模型，然后用戶根據需要選擇啟動角色模型或作者模型。
17、優選的，所述步驟s3中，通過大模型對用戶輸入的語音進行學習，包括用戶語音年齡分析，然后根據用戶年齡對角色模型或者作者模型的語氣、語速以及回答內容進行適齡處理，在用戶與對話的角色進行語音交流時，根據對話角色和用戶的請求query，在角色的會話語料中檢索相似會話，用于角色的少樣本學習，然后提供構建系統prompt，結合角色少樣本語料，以及與用戶的會話歷史，重新組合構建成閱讀助手prompt。
18、優選的，所述步驟s3中，當產生會話請求時，對會話query在圖書數據庫中進行相關性檢索，將用戶語音中提及的與角色相關的內容在圖書數據庫中找出，得到候選相關片段，當閱讀助手prompt重新組合完成后，基于大模型能力，結合知識庫相關片段和閱讀助手prompt，生成符合該角色特點的會話應答，然后通過語音與用戶進行應答，然后根據用戶的請求將經過角色模型或者作者模型訓練后反饋的語音內容進行輸出，并不斷地與用戶進行會話應答，直到用戶停止應答。
19、優選的，所述步驟s4中，根據對話角色和請求query，在與用戶對話的過程中，進行自我學習和修正，通過語音識別對用戶與閱讀助手prompt對話時每一次問答進行記錄，然后通過大模型進行歸納，其中出現頻率最高的特征用作為下次相關回答內容，以提高用戶滿意度。
20、優選的，所述步驟s5中，通過語音識別來檢索用戶指令中與正在閱讀的圖書相關的所有游戲或應用，然本文檔來自技高網...
【技術保護點】
1.一種閱讀用聲控輔助方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S1中，首先對語音數據進行采集，然后對采集到的語音數據進行預處理，然后提取出特征，隨后創建聲學模型，將特征信息輸入到聲學模型中進行訓練，通過創建語言模型，將文本數據輸入到語言模型中進行訓練，并向解碼器中輸入標準字典，最后通過解碼算法進行識別，輸出文本完成語音識別，通過播報文本可使用戶僅通過語音進行閱讀輔助中的信息查詢、獲取與控制，把聲學模型與語言模型組合在一起，使用最大以后驗證概率算法來得到最終識別結果。
3.根據權利要求2所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S1中對語音數據進行預處理包括語音預加重，以增強語音數據中高頻部分的能力，進而提高語音的分辨率，然后對語音進行分幀操作，得到信號頻率的大致輪廓，便于對語音特征進行提取，在語音特征提取時，對每一幀信號進行快速傅里葉變換，經過快速傅里葉變換后得到該幀語音信號的頻譜圖，然后以時間順序將每幀語音信號的頻譜合到一起，然后對每幀語音信號進行處理，最后對頻譜進行倒譜運算，以完成對
4.根據權利要求3所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S2中，在提示用戶可以使用書籍中的角色或者作者的風格進行回答前，需要進行角色模型或作者模型的建立，首先將圖書文件上傳，通過對圖書內容進行掃描和識別以獲取圖書內容，然后根據圖書中所有的角色及圖書的作者對圖書內容進行拆分并且重構，然后存儲至圖書數據庫中，然后利用大模型對圖書中所有的角色及圖書的作者進行建模，包括不同角色的語音內容和語氣，通過大模型對圖書內容中的相關性內容按照不同角色進行分類，然后從該圖書中挖掘出角色所涉及的會話，構建角色相關的會話語料，并通過網絡學習該圖書同一作者類似作品中的角色信息、權威專家解讀角色的信息等其他維度的信息來源，對角色模型進行完善，對于作者模型，使用權威專家解讀作者的信息、作者自傳等其他維度的信息來源，對角色模型進行完善，以此建立風格不同的角色模型和內容全面的作者模型，然后用戶根據需要選擇啟動角色模型或作者模型。
5.根據權利要求4所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S3中，通過大模型對用戶輸入的語音進行學習，包括用戶語音年齡分析，然后根據用戶年齡對角色模型或者作者模型的語氣、語速以及回答內容進行適齡處理，在用戶與對話的角色進行語音交流時，根據對話角色和用戶的請求query，在角色的會話語料中檢索相似會話，用于角色的少樣本學習，然后提供構建系統prompt，結合角色少樣本語料，以及與用戶的會話歷史，重新組合構建成閱讀助手prompt。
6.根據權利要求5所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S3中，當產生會話請求時，對會話query在圖書數據庫中進行相關性檢索，將用戶語音中提及的與角色相關的內容在圖書數據庫中找出，得到候選相關片段，當閱讀助手prompt重新組合完成后，基于大模型能力，結合知識庫相關片段和閱讀助手prompt，生成符合該角色特點的會話應答，然后通過語音與用戶進行應答，然后根據用戶的請求將經過角色模型或者作者模型訓練后反饋的語音內容進行輸出，并不斷地與用戶進行會話應答，直到用戶停止應答。
7.根據權利要求6所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S4中，根據對話角色和請求query，在與用戶對話的過程中，進行自我學習和修正，通過語音識別對用戶與閱讀助手prompt對話時每一次問答進行記錄，然后通過大模型進行歸納，其中出現頻率最高的特征用作為下次相關回答內容，以提高用戶滿意度。
8.根據權利要求7所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟S5中，通過語音識別來檢索用戶指令中與正在閱讀的圖書相關的所有游戲或應用，然后調用出指令中的具體游戲或應用，以提高用戶使用的趣味性。
9.一種閱讀用聲控輔助裝置，其適用于權利要求1-8任意一項所述的一種閱讀用聲控輔助方法，其特征在于：包括：至少一個處理器和存儲器；
...【技術特征摘要】
1.一種閱讀用聲控輔助方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟s1中，首先對語音數據進行采集，然后對采集到的語音數據進行預處理，然后提取出特征，隨后創建聲學模型，將特征信息輸入到聲學模型中進行訓練，通過創建語言模型，將文本數據輸入到語言模型中進行訓練，并向解碼器中輸入標準字典，最后通過解碼算法進行識別，輸出文本完成語音識別，通過播報文本可使用戶僅通過語音進行閱讀輔助中的信息查詢、獲取與控制，把聲學模型與語言模型組合在一起，使用最大以后驗證概率算法來得到最終識別結果。
3.根據權利要求2所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟s1中對語音數據進行預處理包括語音預加重，以增強語音數據中高頻部分的能力，進而提高語音的分辨率，然后對語音進行分幀操作，得到信號頻率的大致輪廓，便于對語音特征進行提取，在語音特征提取時，對每一幀信號進行快速傅里葉變換，經過快速傅里葉變換后得到該幀語音信號的頻譜圖，然后以時間順序將每幀語音信號的頻譜合到一起，然后對每幀語音信號進行處理，最后對頻譜進行倒譜運算，以完成對語音數據的預處理。
4.根據權利要求3所述的一種閱讀用聲控輔助方法，其特征在于：所述步驟s2中，在提示用戶可以使用書籍中的角色或者作者的風格進行回答前，需要進行角色模型或作者模型的建立，首先將圖書文件上傳，通過對圖書內容進行掃描和識別以獲取圖書內容，然后根據圖書中所有的角色及圖書的作者對圖書內容進行拆分并且重構，然后存儲至圖書數據庫中，然后利用大模型對圖書中所有的角色及圖書的作者進行建模，包括不同角色的語音內容和語氣，通過大模型對圖書內容中的相關性內容按照不同角色進行分類，然后從該圖書中挖掘出角色所涉及的會話，構建角色相關的會話語料，并通過網絡學習該圖書同一作者類似作品中的角色信息、權威專家解讀角色的信息等其他維度的信息來源，對角色模型進行完善，對于作者模型，使用權威專家解讀作者的信息、作者自傳等其他維度的信息來源，對角色...
【專利技術屬性】
技術研發人員：施其明，溫亞莉，韓雙力，胥望軍，
申請(專利權)人：數傳上海企業發展有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。