一種基于虛擬人的手勢交互方法及系統技術方案

本申請提供的一種基于虛擬人的手勢交互方法及系統，其中，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，所述方法包括：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。

【技術實現步驟摘要】
一種基于虛擬人的手勢交互方法及系統
本申請涉及人工智能
，特別涉及本申請提供的一種基于虛擬人的手勢交互方法及系統、一種虛擬人、一種智能設備及一種計算機可讀存儲介質。
技術介紹
隨著科學技術的不斷發展，信息技術、計算機技術以及人工智能技術的引入，人與計算機的交互活動逐漸成為人們日常生活的重要組成部分。在這種情況下，更加自然和更加符合人交流習慣的人機交互技術也得到了較大的發展。目前，在人機交互中，尚未出現虛擬人與用戶進行流暢的交互，更無法實現開啟智能設備相機等操作，且用戶對外接設備的依賴性較強，用戶體驗效果差。
技術實現思路
有鑒于此，本申請提供一種基于虛擬人的手勢交互方法及系統、一種虛擬人、一種智能設備及一種計算機可讀存儲介質，以解決現有技術中存在的技術缺陷。一方面，本申請提供一種基于虛擬人的手勢交互方法，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，所述方法包括：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。可選地，所述預設條件包括所述V字手勢與預設V字手勢特征相匹配、所述V字手勢與預設位置的空間距離小于等于第一閾值，或，所述V字手勢位于預設位置的持續時長大于等于第二閾值。可選地，所述V字手勢特征包括：實時采集的手部輪廓、各手指輪廓和手指節點；根據所述手部輪廓、所述手指輪廓和所述手指節點確定所述V字手勢，其中，所述手指節點包括手指關節關鍵點和手指指尖。可選地，所述V字手勢包括：手心朝向所述智能設備，并且兩根手指豎起呈開口向上的“V”形。可選地，所述預設位置包括：頭部區域。可選地，所述V字手勢與預設位置的空間距離小于等于第一閾值包括：所述V字手勢與頭部的距離小于等于第一閾值。可選地，所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照之后，還包括：匹配所述虛擬人的肢體、情感和/或表情輸出。另一方面，本申請還提供了一種基于虛擬人的手勢交互系統，包括智能設備和云端服務器，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，其中：所述智能設備用于，通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；所述云端服務器用于，解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述智能設備還配置為呈現所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。另一方面，本申請還提供了一種虛擬人，所述虛擬人在智能設備運行，所述虛擬人執行所述基于虛擬人的手勢交互方法的步驟。另一方面，本申請還提供了一種智能設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現以下步驟：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述智能設備中所運行的虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。另一方面，本申請還提供了一種計算機可讀存儲介質，其存儲有計算機程序，該程序被處理器執行時實現所述基于虛擬人的手勢交互方法的步驟。本申請提供的一種基于虛擬人的手勢交互方法及系統、一種虛擬人、一種智能設備及一種計算機可讀存儲介質，其中，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，所述方法包括：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照；采用該方法當實時采集的手勢滿足預設條件時，即可實現虛擬人停止輸出多模態數據的狀態，并且實現所述智能設備開啟相機進行拍照，無需直接接觸即可實現對終端設備的操作，減少了對外設設備的依賴，并可通過視覺能力實現與虛擬人的多模態交互，用戶體驗效果好。附圖說明圖1是本申請實施例的一種基于虛擬人的手勢交互系統的結構示意圖；圖2是本申請實施例的一種基于虛擬人的手勢交互方法流程圖；圖3是本申請實施例的一種基于虛擬人的手勢交互方法流程圖；圖4是本申請實施例的一種基于虛擬人的手勢交互方法流程圖；圖5是本申請實施例的一種基于虛擬人的手勢交互方法流程圖；圖6是本申請實施例的一種基于虛擬人的手勢交互系統的結構示意圖。具體實施方式在下面的描述中闡述了很多具體細節以便于充分理解本申請。但是本申請能夠以很多不同于在此描述的其它方式來實施，本領域技術人員可以在不違背本申請內涵的情況下做類似推廣，因此本申請不受下面公開的具體實施的限制。本申請提供了一種基于虛擬人的手勢交互方法及系統、一種虛擬人、一種智能設備及一種計算機可讀存儲介質，在下面的實施例中逐一進行詳細說明。參見圖1，本申請一實施例提供的基于虛擬人的手勢交互系統結構示意圖。該基于虛擬人的手勢交互系統包括智能設備120和云端服務器110，所述虛擬人在所述智能設備120運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時可以啟動語音、情感、視覺和感知能力。所述智能設備120可以包括：用戶界面121、通信模塊122、中央處理單元123和人機交互輸入輸出模塊124；其中，所述用戶界面121，其在預設顯示區域內顯示被喚醒的虛擬人。所述人機交互輸入輸出模塊124，其用于獲取多模態數據以及輸出虛擬人執行參數，多模態數據包括來自周圍環境的數據及與用戶進行交互的多模態交互數據。所述通信模塊122，其用于調用所述云端服務器110的能力接口并接收通過所述云端服務器110的能力接口解析所述多模態交互數據以決策出多模態輸出數據。所述中央處理單元123，用于利用所述多模態輸出數據計算與所述多模態輸出數據相對應的應答數據。所述云端服務器110具備多模態數據解析模塊，用于對所述智能設備120接收的多模態交互數據進行解析，并決策多模態輸出數據。如圖1所示，多模態數據解析過程中各個能力接口分別調用對應的邏輯處理。以下為各個接口的說明：語義理解接口111，其接收從所述通信模塊122轉發的特定語音指令，對其進行語音識別以及基于大量語料的自然語言處理。視覺識別接口112，可以針對人體、人臉、場景依據計算機視覺算法、深度學習算法等進行視頻內容檢測、識別、跟蹤等。即根據預定的算法對圖像進行識別，給出定量的檢測結果。具備圖像預處理功能、特征提取功能和決策功能；其中，所述圖像預處理功能可以是對獲取的視覺采集數據進行基本處理，包括顏色空間轉換、邊緣提取、圖像變換和圖像閾值化；所述特征提取功能可以提取出圖像中目標的膚色、顏色、紋理、運動和坐標等特征信息；所述決策功能可以是對特本文檔來自技高網...

【技術保護點】
1.一種基于虛擬人的手勢交互方法，其特征在于，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，所述方法包括：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。

【技術特征摘要】
1.一種基于虛擬人的手勢交互方法，其特征在于，所述虛擬人在智能設備運行，且所述虛擬人具備預設形象特征和預設屬性，在處于交互狀態時啟動語音、情感、視覺和感知能力，所述方法包括：通過所述虛擬人輸出多模態數據；獲取用戶的多模態交互數據；解析所述多模態交互數據，其中，所述多模態交互數據包括通過視覺能力檢測并提取的V字手勢的圖像；當所述V字手勢滿足預設條件時，確定該手勢指示開啟相機拍照的意圖；所述虛擬人響應所述開啟相機拍照的意圖，開啟相機進行拍照。2.根據權利要求1所述的方法，其特征在于，所述預設條件包括:所述V字手勢與預設V字手勢特征相匹配、所述V字手勢與預設位置的空間距離小于等于第一閾值，或，所述V字手勢位于預設位置的持續時長大于等于第二閾值。3.根據權利要求2所述的方法，其特征在于，所述V字手勢特征包括：實時采集的手部輪廓、各手指輪廓和手指節點；根據所述手部輪廓、所述手指輪廓和所述手指節點確定所述V字手勢，其中，所述手指節點包括手指關節關鍵點和手指指尖。4.根據權利要求3所述的方法，其特征在于，所述V字手勢包括：手心朝向所述智能設備，并且兩根手指豎起呈開口向上的“V”形。5.根據權利要求2所述的方法，其特征在于，所述預設位置包括：頭部區域。6.根據權利要求2所述的方法，其特征在于，所述V字手勢與預設位置的空間距離小于等于第一閾值包括：所述V字手勢與頭部的空間距離小于等于第一閾值。7.根據權利要求1所述的方法，其特征在于，所述虛擬人響應所述開啟相機拍...

【專利技術屬性】
技術研發人員：尚小維，俞志晨，李曉丹，
申請(專利權)人：北京光年無限科技有限公司，
類型：發明
國別省市：北京,11