一種同步語音及虛擬動作的方法、系統及機器人技術方案

本發明專利技術提供一種同步語音及虛擬動作的方法，包括：獲取用戶的多模態信息；根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；將語音信息的時間長度和動作信息的時間長度調整到相同。通過用戶的多模態信息例如用戶語音、用戶表情、用戶動作等的一種或幾種，來生成交互內容，而為了讓語音信息和動作信息能夠同步，將語音信息的時間長度和動作信息的時間長度調整到相同，這樣就可以讓機器人在播放聲音和動作時可以同步匹配，使機器人在交互時不僅具有語音表現，還可以具有動作等多樣的表現形式，機器人的表現形式更加多樣化，使機器人更加擬人化，也提高了用戶于機器人交互時的體驗度。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及機器人交互
，尤其涉及一種同步語音及虛擬動作的方法、系統及機器人。
技術介紹
機器人作為與人類的交互工具，使用的場合越來越多，例如一些老人、小孩較孤獨時，就可以與機器人交互，包括對話、娛樂等。而為了讓機器人與人類交互時更加擬人化，專利技術人研究出一種虛擬機器人的顯示設備和成像系統，能夠形成3D的動畫形象，虛擬機器人的主機接受人類的指令例如語音等與人類進行交互，然后虛擬的3D動畫形象會根據主機的指令進行聲音和動作的回復，這樣就可以讓機器人更加擬人化，不僅在聲音、表情上能夠與人類交互，而且還可以在動作等上與人類交互，大大提高了交互的體驗感。然而，虛擬機器人如何將回復內容中的語音和虛擬動作進行同步是一個比較復雜的問題，如果語音和動作不能匹配，則會大大影響用戶的交互體驗。因此，如何提供一種同步語音及虛擬動作的方法、系統及機器人，提升人機交互體驗成為亟需解決的技術問題。
技術實現思路
本專利技術的目的是提供一種同步語音及虛擬動作的方法、系統及機器人，提升人機交互體驗。本專利技術的目的是通過以下技術方案來實現的：一種同步語音及虛擬動作的方法，包括：獲取用戶的多模態信息；根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；將語音信息的時間長度和動作信息的時間長度調整到相同。優選的，所述將語音信息的時間長度和動作信息的時間長度調整到相同的具體步驟包括：若語音信息的時間長度與動作信息的時間長度的差值不大于閾值，當語音信息的時間長度小于動作信息的時間長度，則加快動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。優選的，當語音信息的時間長度大于動作信息的時間長度，則加快語音信息的播放速度或/和減緩動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。優選的，所述將語音信息的時間長度和動作信息的時間長度調整到相同的具體步驟包括：若語音信息的時間長度與動作信息的時間長度的差值大于閾值，當語音信息的時間長度大于動作信息的時間長度時，則將至少兩組動作信息進行排序組合，使組合后的動作信息的時間長度等于所述語音信息的時間長度。優選的，當語音信息的時間長度小于動作信息的時間長度時，則選取動作信息中的部分動作，使選取的部分動作的時間長度等于所述語音信息的時間長度。優選的，所述機器人可變參數的生成方法包括：將機器人的自我認知的參數與可變參數中場景的參數進行擬合，生成機器人可變參數。優選的，所述可變參數至少包括改變用戶原本的行為和改變之后的行為，以及代表改變用戶原本的行為和改變之后的行為的參數值。優選的，所述根據所述多模態信息和可變參數生成交互內容的步驟具體包括：根據所述多模態信息和可變參數以及參數改變概率的擬合曲線生成交互內容。優選的，所述參數改變概率的擬合曲線的生成方法包括：使用概率算法，將機器人之間的參數用網絡做概率估計，計算當生活時間軸上的機器人在生活時間軸上的場景參數改變后，每個參數改變的概率，形成所述參數改變概率的擬合曲線。一種同步語音及虛擬動作的系統，包括：獲取模塊，用于獲取用戶的多模態信息；人工智能模塊，用于根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；控制模塊，用于將語音信息的時間長度和動作信息的時間長度調整到相同。優選的，所述控制模塊具體用于：若語音信息的時間長度與動作信息的時間長度的差值不大于閾值，當語音信息的時間長度小于動作信息的時間長度，則加快動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。優選的，當語音信息的時間長度大于動作信息的時間長度，則加快語音信息的播放速度或/和減緩動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。優選的，所述控制模塊具體用于：若語音信息的時間長度與動作信息的時間長度的差值大于閾值，當語音信息的時間長度大于動作信息的時間長度時，則將至少兩組動作信息進行組合，使組合后的動作信息的時間長度等于所述語音信息的時間長度。優選的，當語音信息的時間長度小于動作信息的時間長度時，則選取動作信息中的部分動作，使選取的部分動作的時間長度等于所述語音信息的時間長度。優選的，所述系統還包括處理模塊，用于將機器人的自我認知的參數與可變參數中場景的參數進行擬合，生成可變參數。優選的，所述可變參數至少包括改變用戶原本的行為和改變之后的行為，以及代表改變用戶原本的行為和改變之后的行為的參數值。優選的，所述人工智能模塊具體用于：根據所述多模態信息和可變參數以及參數改變概率的擬合曲線生成交互內容。優選的，所述系統包括擬合曲線生成模塊，用于使用概率算法，將機器人之間的參數用網絡做概率估計，計算當生活時間軸上的機器人在生活時間軸上的場景參數改變后，每個參數改變的概率，形成所述參數改變概率的擬合曲線。本專利技術公開一種機器人，包括如上述任一所述的一種同步語音及虛擬動作的系統。相比現有技術，本專利技術具有以下優點：本專利技術的同步語音及虛擬動作的方法由于包括：獲取用戶的多模態信息；根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；將語音信息的時間長度和動作信息的時間長度調整到相同。這樣就可以通過用戶的多模態信息例如用戶語音、用戶表情、用戶動作等的一種或幾種，來生成交互內容，交互內容中至少包括語音信息和動作信息，而為了讓語音信息和動作信息能夠同步，將語音信息的時間長度和動作信息的時間長度調整到相同，這樣就可以讓機器人在播放聲音和動作時可以同步匹配，使機器人在交互時不僅具有語音表現，還可以具有動作等多樣的表現形式，機器人的表現形式更加多樣化，使機器人更加擬人化，也提高了用戶于機器人交互時的體驗度。附圖說明圖1是本專利技術實施例一的一種同步語音及虛擬動作的方法的流程圖；圖2是本專利技術實施例二的一種同步語音及虛擬動作的系統的示意圖。具體實施方式雖然流程圖將各項操作描述成順序的處理，但是其中的許多操作可以被并行地、并發地或者同時實施。各項操作的順序可以被重新安排。當其操作完成時處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。處理可以對應于方法、函數、規程、子例程、子程序等等。計算機設備包括用戶設備與網絡設備。其中，用戶設備或客戶端包括但不限于電腦、智能手機、PDA等；網絡設備包括但不限于單個網絡服務器、多個網絡服務器組成的服務器組或基于云計算的由大量計算機或網絡服務器構成的云。計算機設備可單獨運行來實現本專利技術，也可接入網絡并通過與網絡中的其他計算機設備的交互操作來實現本專利技術。計算機設備所處的網絡包括但不限于互聯網、廣域網、城域網、局域網、VPN網絡等。在這里可能使用了術語“第一”、“第二”等等來描述各個單元，但是這些單元不應當受這些術語限制，使用這些術語僅僅是為了將一個單元與另一個單元進行區分。這里所使用的術語“和/或”包括其中一個或更多所列出的相關聯項目的任意和所有組合。當一個單元被稱為“連接”或“耦合”到另一單元時，其可以直接連接或耦合到所述另一單元，或者可以存在中間單元。這里所使用的術語僅僅是為了描述具體實施例而不意圖限制示例性實施例。除非上下文明確地另有所指，否則這里所使用的單數形式“一個”、“一項”還意圖包括復數。還應當理解的是，這里所使用的術語“包本文檔來自技高網...

【技術保護點】
一種同步語音及虛擬動作的方法，其特征在于，包括：獲取用戶的多模態信息；根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；將語音信息的時間長度和動作信息的時間長度調整到相同。

【技術特征摘要】
【國外來華專利技術】1.一種同步語音及虛擬動作的方法，其特征在于，包括：獲取用戶的多模態信息；根據用戶的多模態信息和可變參數生成交互內容，所述交互內容至少包括語音信息和動作信息；將語音信息的時間長度和動作信息的時間長度調整到相同。2.根據權利要求1所述的方法，其特征在于，所述將語音信息的時間長度和動作信息的時間長度調整到相同的具體步驟包括：若語音信息的時間長度與動作信息的時間長度的差值不大于閾值，當語音信息的時間長度小于動作信息的時間長度，則加快動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。3.根據權利要求2所述的方法，其特征在于，當語音信息的時間長度大于動作信息的時間長度，則加快語音信息的播放速度或/和減緩動作信息的播放速度，使動作信息的時間長度等于所述語音信息的時間長度。4.根據權利要求1所述的方法，其特征在于，所述將語音信息的時間長度和動作信息的時間長度調整到相同的具體步驟包括：若語音信息的時間長度與動作信息的時間長度的差值大于閾值，當語音信息的時間長度大于動作信息的時間長度時，則將至少兩組動作信息進行排序組合，使組合后的動作信息的時間長度等于所述語音信息的時間長度。5.根據權利要求4所述的方法，其特征在于，當語音信息的時間長度小于動作信息的時間長度時，則選取動作信息中的部分動作，使選取的部分動作的時間長度等于所述語音信息的時間長度。6.根據權利要求1所述的方法，其特征在于，所述機器人可變參數的生成方法包括：將機器人的自我認知的參數與可變參數中場景的參數進行擬合，生成機器人可變參數。7.根據權利要求6所述的方法，其特征在于，所述可變參數至少包括改變用戶原本的行為和改變之后的行為，以及代表改變用戶原本的行為和改變之后的行為的參數值。8.根據權利要求1所述的方法，其特征在于，所述根據所述多模態信息和可變參數生成交互內容的步驟具體包括：根據所述多模態信息和可變參數以及參數改變概率的擬合曲線生成交互內容。9.根據權利要求8所述的方法，其特征在于，所述參數改變概率的擬合曲線的生成方法包括：使用概率算法，將機器人之間的參數用網絡做概率估計，計算當生活時間軸上的機器人在生活時間軸上的場景參數改變后，每個參數改變的概率，形成所述參數改變概率的擬合曲線。10.一...

【專利技術屬性】
技術研發人員：邱楠，楊新宇，王昊奮，
申請(專利權)人：深圳狗尾草智能科技有限公司，
類型：發明
國別省市：廣東;44