一種用于智能機(jī)器人的數(shù)據(jù)處理方法及裝置制造方法及圖紙

一種用于智能機(jī)器人的數(shù)據(jù)處理方法及裝置，其中，該方法包括：多模態(tài)輸入數(shù)據(jù)獲取步驟，獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)處理步驟，對(duì)多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，得到聲源定位結(jié)果，對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，得到情感信息；指令生成步驟，根據(jù)聲源定位結(jié)果生成視線轉(zhuǎn)移指令，根據(jù)情感信息生成表情輸出指令，并將視線轉(zhuǎn)移指令和表情輸出指令傳輸至下位機(jī)中的面部載體。本方法能夠使得智能機(jī)器人主動(dòng)將視線轉(zhuǎn)移到交互場(chǎng)景中的敏感方向，并且根據(jù)獲取到的語(yǔ)音信息來(lái)自動(dòng)地呈現(xiàn)出相應(yīng)的表情，這樣也就使得智能機(jī)器人的行為更加類人化，從而提高了智能機(jī)器人的用戶體驗(yàn)。

Data processing method and device for intelligent robot

Intelligent robot for data processing method and device, wherein, the method comprises: a multimodal input data acquisition step, obtaining multimodal interaction in input data; multimodal input data processing steps, sound source localization of audio information of multimodal input data, get the sound source localization results, analysis the multimodal input data, get emotional information; instruction generation steps, generating attention instruction according to the sound source localization results, according to the emotion information generation expression output instructions, and the attention and instruction expression output vector instruction is transmitted to the lower face of. This method can make the intelligent robot active the attention to sensitive direction of interaction in the scene, and according to the voice information acquisition to automatically show the corresponding expression, it also makes intelligent robot behavior more lifelike, so as to improve the user experience of intelligentmachines.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種用于智能機(jī)器人的數(shù)據(jù)處理方法及裝置
本專利技術(shù)涉及機(jī)器人
，具體地說(shuō)，涉及一種用于智能機(jī)器人的數(shù)據(jù)處理方法及裝置。
技術(shù)介紹
隨著科學(xué)技術(shù)的不斷發(fā)展，信息技術(shù)、計(jì)算機(jī)技術(shù)以及人工智能技術(shù)的引入，機(jī)器人的研究已經(jīng)逐步走出工業(yè)領(lǐng)域，逐漸擴(kuò)展到了醫(yī)療、保健、家庭、娛樂(lè)以及服務(wù)行業(yè)等領(lǐng)域。而人們對(duì)于機(jī)器人的要求也從簡(jiǎn)單重復(fù)的機(jī)械動(dòng)作提升為具有擬人問(wèn)答、自主性及與其他機(jī)器人進(jìn)行交互的智能機(jī)器人，人機(jī)交互也就成為決定智能機(jī)器人發(fā)展的重要因素。提高智能機(jī)器人的交互水平，改善用戶與機(jī)器人的交互體驗(yàn)，成為本領(lǐng)域技術(shù)人員亟需解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
為解決上述問(wèn)題，本專利技術(shù)提供了一種用于智能機(jī)器人的數(shù)據(jù)處理方法，其包括：多模態(tài)輸入數(shù)據(jù)獲取步驟，獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)處理步驟，對(duì)所述多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，得到聲源定位結(jié)果，對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，得到情感信息；指令生成步驟，根據(jù)所述聲源定位結(jié)果生成視線轉(zhuǎn)移指令，根據(jù)所述情感信息生成表情輸出指令，并將所述視線轉(zhuǎn)移指令和表情輸出指令傳輸至下位機(jī)中的面部載體。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括能夠顯示多種面部圖形的顯示屏，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令顯示對(duì)應(yīng)形狀的面部圖形。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括能夠顯示眼睛圖形的顯示屏，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令調(diào)整所述眼睛圖形的形狀。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括面部模擬部件，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令調(diào)整所述面部模擬部件的朝向，并根據(jù)所述表情輸出指令調(diào)整所述面部模擬部件中眼部指示燈的亮滅狀態(tài)。本專利技術(shù)還提供了一種用于智能機(jī)器人的數(shù)據(jù)處理裝置，其包括：多模態(tài)輸入數(shù)據(jù)獲取模塊，其用于獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)處理模塊，其用于對(duì)所述多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，得到聲源定位結(jié)果，對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，得到情感信息；指令生成模塊，其用于根據(jù)所述聲源定位結(jié)果生成視線轉(zhuǎn)移指令，根據(jù)所述情感信息生成表情輸出指令，并將所述視線轉(zhuǎn)移指令和表情輸出指令傳輸至下位機(jī)中的面部載體。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括能夠顯示多種面部圖形的顯示屏，所述裝置還包括：反饋信息輸出模塊，其用于根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令顯示對(duì)應(yīng)形狀的面部圖形。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括能夠顯示眼睛圖形的顯示屏，所述裝置還包括：反饋信息輸出模塊，其用于根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令調(diào)整所述眼睛圖形的形狀。根據(jù)本專利技術(shù)的一個(gè)實(shí)施例，所述面部載體包括面部模擬部件，所述裝置還包括：反饋信息輸出模塊，其用于根據(jù)所述視線轉(zhuǎn)移指令調(diào)整所述面部模擬部件的朝向，并根據(jù)所述表情輸出指令調(diào)整所述面部模擬部件中眼部指示燈的亮滅狀態(tài)。本專利技術(shù)所提供的用于智能機(jī)器人的數(shù)據(jù)處理方法能夠使得智能機(jī)器人主動(dòng)將視線轉(zhuǎn)移到交互場(chǎng)景中的敏感方向，并且根據(jù)獲取到的語(yǔ)音信息來(lái)自動(dòng)地呈現(xiàn)出相應(yīng)的表情，這樣也就使得智能機(jī)器人的行為更加類人化，從而提高了智能機(jī)器人的用戶體驗(yàn)。本專利技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本專利技術(shù)而了解。本專利技術(shù)的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。附圖說(shuō)明為了更清楚地說(shuō)明本專利技術(shù)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要的附圖做簡(jiǎn)單的介紹：圖1是根據(jù)本專利技術(shù)一個(gè)實(shí)施例的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)流程示意圖；圖2是根據(jù)本專利技術(shù)另一個(gè)實(shí)施例的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)流程示意圖；圖3是根據(jù)本專利技術(shù)再一個(gè)實(shí)施例的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)流程示意圖；圖4是根據(jù)本專利技術(shù)又一個(gè)實(shí)施例的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)流程示意圖；圖5是根據(jù)本專利技術(shù)一個(gè)實(shí)施例的用于智能機(jī)器人的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。具體實(shí)施方式以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本專利技術(shù)的實(shí)施方式，借此對(duì)本專利技術(shù)如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。需要說(shuō)明的是，只要不構(gòu)成沖突，本專利技術(shù)中的各個(gè)實(shí)施例以及各實(shí)施例中的各個(gè)特征可以相互結(jié)合，所形成的技術(shù)方案均在本專利技術(shù)的保護(hù)范圍之內(nèi)。同時(shí)，在以下說(shuō)明中，出于解釋的目的而闡述了許多具體細(xì)節(jié)，以提供對(duì)本專利技術(shù)實(shí)施例的徹底理解。然而，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是，本專利技術(shù)可以不用這里的具體細(xì)節(jié)或者所描述的特定方式來(lái)實(shí)施。另外，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟?，F(xiàn)有的智能機(jī)器人在與用戶進(jìn)行交互的過(guò)程中，通常只是簡(jiǎn)單地獲取用戶所輸入的音頻信息或是獲取關(guān)于用戶的圖像信息，這使得智能機(jī)器人表現(xiàn)得較為機(jī)械、呆板。針對(duì)現(xiàn)有技術(shù)中所存在的上述問(wèn)題，本專利技術(shù)提供了一種新的用于智能機(jī)器人的數(shù)據(jù)處理方法，該方法能夠使得智能機(jī)器人主動(dòng)地視線轉(zhuǎn)移到交互場(chǎng)景中的敏感方向，并且根據(jù)獲取到的語(yǔ)音信息來(lái)自動(dòng)地呈現(xiàn)出相應(yīng)的表情。為了更加清楚地闡述本專利技術(shù)所提供的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)原理、實(shí)現(xiàn)流程以及優(yōu)點(diǎn)，以下分別結(jié)合不同的實(shí)施例來(lái)對(duì)該方法作進(jìn)一步地說(shuō)明。實(shí)施例一：圖1示出了本實(shí)施例所提供的用于智能機(jī)器人的數(shù)據(jù)處理方法的實(shí)現(xiàn)流程示意圖。如圖1所示，本實(shí)施例所提供的數(shù)據(jù)處理方法首先在步驟S101中獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)。本實(shí)施例中，該方法在步驟S101中所獲取到的交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)包括音頻信息。需要指出的是，在本專利技術(shù)的其他實(shí)施例中，根據(jù)實(shí)際交互場(chǎng)景，該方法在步驟S101中所獲取到的多模態(tài)輸入數(shù)據(jù)中還可以包含其他合理數(shù)據(jù)(例如圖像數(shù)據(jù)或場(chǎng)景數(shù)據(jù)等)，本專利技術(shù)不限于此。在得到多模態(tài)輸入數(shù)據(jù)后，該方法會(huì)在步驟S102中對(duì)上述多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，從而得到聲源定位結(jié)果。如圖1所示，在得到聲源定位結(jié)果后，該方法還會(huì)在步驟S103中對(duì)上述步驟S101中所獲取到的多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，從而得到情感信息。需要指出的是，本實(shí)施例中，根據(jù)步驟S101中所獲取到的多模態(tài)輸入數(shù)據(jù)中所包含的交互信息的具體形式的不同，該方法在步驟S103中可以采用多種不同的方式來(lái)對(duì)分別上述各種不同的交互信息進(jìn)行解析，從而得到情感信息。例如，對(duì)于步驟S101中所獲取到的多模態(tài)輸入數(shù)據(jù)中所包含的音頻信息，該方法在步驟S103中可以通過(guò)對(duì)上述音頻信息進(jìn)行語(yǔ)音識(shí)別、語(yǔ)義識(shí)別和/或語(yǔ)音情緒識(shí)別來(lái)確定情感信息。由于周圍環(huán)境的光線強(qiáng)弱并不會(huì)對(duì)音頻的監(jiān)測(cè)過(guò)程產(chǎn)生干擾，而如果用戶處于黑暗環(huán)境下時(shí)，監(jiān)測(cè)用戶的面部圖像和/或肢體動(dòng)作就需要配備專用設(shè)備(例如紅外攝像頭)以及特定的處理軟件，因此本實(shí)施例所提供的通過(guò)音頻信息確定用戶的情感信息的方法更加容易實(shí)現(xiàn)，其實(shí)現(xiàn)成本也較低，同時(shí)也能夠保證確定出的用戶情緒的準(zhǔn)確度。本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于智能機(jī)器人的數(shù)據(jù)處理方法，其特征在于，包括：多模態(tài)輸入數(shù)據(jù)獲取步驟，獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)處理步驟，對(duì)所述多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，得到聲源定位結(jié)果，對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，得到情感信息；指令生成步驟，根據(jù)所述聲源定位結(jié)果生成視線轉(zhuǎn)移指令，根據(jù)所述情感信息生成表情輸出指令，并將所述視線轉(zhuǎn)移指令和表情輸出指令傳輸至下位機(jī)中的面部載體。

【技術(shù)特征摘要】
1.一種用于智能機(jī)器人的數(shù)據(jù)處理方法，其特征在于，包括：多模態(tài)輸入數(shù)據(jù)獲取步驟，獲取交互環(huán)境中的多模態(tài)輸入數(shù)據(jù)；多模態(tài)輸入數(shù)據(jù)處理步驟，對(duì)所述多模態(tài)輸入數(shù)據(jù)中的音頻信息進(jìn)行聲源定位，得到聲源定位結(jié)果，對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行解析，得到情感信息；指令生成步驟，根據(jù)所述聲源定位結(jié)果生成視線轉(zhuǎn)移指令，根據(jù)所述情感信息生成表情輸出指令，并將所述視線轉(zhuǎn)移指令和表情輸出指令傳輸至下位機(jī)中的面部載體。2.如權(quán)利要求1所述的方法，其特征在于，所述面部載體包括能夠顯示多種面部圖形的顯示屏，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令顯示對(duì)應(yīng)形狀的面部圖形。3.如權(quán)利要求1所述的方法，其特征在于，所述面部載體包括能夠顯示眼睛圖形的顯示屏，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令在所述顯示屏中顯示注視對(duì)應(yīng)方向的眼睛圖形，并根據(jù)所述表情輸出指令調(diào)整所述眼睛圖形的形狀。4.如權(quán)利要求1所述的方法，其特征在于，所述面部載體包括面部模擬部件，所述方法還包括：反饋信息輸出步驟，根據(jù)所述視線轉(zhuǎn)移指令調(diào)整所述面部模擬部件的朝向，并根據(jù)所述表情輸出指令調(diào)整所述面部模擬部件中眼部指示燈的亮滅狀態(tài)。5.一種用于智能機(jī)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張振宇，
申請(qǐng)(專利權(quán))人：北京光年無(wú)限科技有限公司，
類型：發(fā)明
國(guó)別省市：北京,11