【技術實現步驟摘要】
本專利技術涉及圖像識別模仿的，具體涉及一種用于虛擬人物或機器人面部表情識別模仿算法。
技術介紹
1、隨著人工智能技術的發展，智能人機交互技術具有越來越高的趣味性，故而受到用戶的廣泛喜愛，但傳統的智能人機交互技術只局限于語音和圖像交互，已經難以滿足用戶使用的多元化需求；故而誕生了新興的表情識別與交互技術與眼動追蹤交互技術，但是這些技術均需要一個載體來更好的呈現，傳統呈現載體一般為ai虛擬人物，但目前仿真擬人型的表情機器人無疑是其人機交互的最佳載體，它不僅可以多元化的集成呈現各種人機交互技術，而且對于用戶而言也是最親切自然的交互載體。故而，成熟的表情機器人產品未來可以廣泛應用于教育輔助、醫療陪伴護理、客戶引導服務以及娛樂演示和社交等領域。
2、但是，目前表情機器人技術還需要大量的表情識別模仿數據以使得機器人表情交互更加自然生動，現有技術中，公告號為cn116597484a的專利文件公開了一種機器人實時表情模仿方法及裝置，該方法通過識別待檢測人臉圖像，可以獲得圖像中的所有人臉上的關鍵點位置，根據這些關鍵點位置確定待檢測人臉圖像中的待模仿人臉，實時將待檢測人臉圖像的當前幀與上一幀作對比，可以得出待模仿人臉的變換趨勢和變換比例，變換趨勢用于調整機器人的頭部轉動角度，變換比例用于計算機器人的所有舵機的轉動角度和運行時間，以使機器人的舵機可以控制機器人的動作，對待模仿人臉進行表情模仿。上述方案雖然能夠提供機器人表情模仿，但其采用實時表情模仿的方式很難提供大量的表情識別模仿數據，其通過獲取待模仿人臉的所有關鍵點坐標的變換趨勢和變換比
技術實現思路
1、本專利技術為彌補現有圖像識別模仿技術方面的不足，提出一種能夠得到動態幅度較小的微表情的機器人表情模仿數據，并且便于從大量視頻表情中準確映射到機器人實體中得到大量機器人識別模仿數據，且聯動整體的頭部位姿，使得表情表達更加準確，同時還可關聯虛擬人物進行同步表情識別模仿，進行聯合互動或進行對比參照觀察試驗的用于虛擬人物或機器人面部表情識別模仿算法。
2、具體技術方案如下：
3、提供了一種用于機器人面部表情識別模仿算法，包括以下步驟：
4、s1、循環采集人臉圖像，并將人臉圖像進行裁剪預處理；
5、s2、將裁剪后的人臉圖像輸入到深度模型mediapipe中，通過深度模型mediapipe識別人臉圖像中面部關鍵點，以及得出頭部位姿參數，然后由面部關鍵點來預測出面部表情的值；
6、s3、計算機器人頭部位姿：通過頭部位姿參數建立三個基本旋轉矩陣，三個基本旋轉矩陣的乘積為旋轉矩陣，然后將旋轉矩陣轉變為三個對應機器人頭部位姿的歐拉角；
7、s4、根據預測出面部表情的值在其預測的原始數據集范圍內的位置，映射到機器人面部控制舵機轉動的目標數據集內，從而得到機器人面部控制舵機的轉動角度；
8、s5、最后根據歐拉角與轉動角度，控制機器人頭部位姿和機器人面部控制舵機轉動。
9、進一步地，在s3中計算機器人頭部位姿具體為：
10、根據深度模型mediapipe得出頭部位姿參數分別為α、β和γ，建立三個基本旋轉矩陣分別如下：
11、
12、
13、
14、然后，根據三個基本旋轉矩陣的乘積為旋轉矩陣rm=，最后，根據旋轉矩陣轉變為三個對應機器人頭部位姿的歐拉角。
15、進一步地，在s1中通過圖像采集設備循環采集人臉圖像。
16、進一步地，對于s3和s4中分別得到歐拉角與轉動角度的數值，進行濾波處理。
17、進一步地，其濾波處理方式為均值濾波處理，通過將當前處理的角度值的發生時間的相鄰時間內產生的角度值進行求平均值，得到的平均值替換當前處理的角度值進行調整控制機器人頭部位姿或者機器人面部控制舵機轉動，具體為：
18、
19、其中，求得的為濾波處理后得到穩定角度值，為當前處理的角度值，為根據選取的鄰域窗口大小，為相鄰時間內得出的角度值。
20、進一步地，其中取值為5-10。
21、進一步地，通過深度模型mediapipe識別人臉圖像中面部關鍵點有52個，得出頭部位姿參數有3個，然后由面部關鍵點來預測出面部表情的值也為52個。
22、還提供了一種用于虛擬人物面部表情識別模仿算法，通過在blender?軟件中選取與人臉面部的52個形態鍵和3個頭部形態位姿，并分別與虛擬人物頭部的對應位置進行綁定，然后將通過深度模型mediapipe識別人臉圖像得出的3個頭部位姿參數與blender?軟件中3個頭部形態位姿形成映射關系，將面部關鍵點預測出的52個面部表情的值與blender軟件中選取的52個形態鍵形成映射關系，從而實現對虛擬人物面部表情52個形態鍵與3個頭部形態位姿的綁定控制。
23、本專利技術的有益效果為：能夠得到動態幅度較小的微表情的機器人表情模仿數據，并且便于從大量視頻表情中準確映射到機器人實體中得到大量機器人識別模仿數據，且聯動整體的頭部位姿，使得表情表達更加準確，同時還可關聯虛擬人物進行同步表情識別模仿，進行聯合互動或進行對比參照觀察試驗。
本文檔來自技高網...【技術保護點】
1.一種用于機器人面部表情識別模仿算法，其特征在于，包括以下步驟：
2.根據權利要求1所述的用于機器人面部表情識別模仿算法，其特征在于，在S3中計算機器人頭部位姿具體為：
3.根據權利要求1或2所述的用于機器人面部表情識別模仿算法，其特征在于，在S1中通過圖像采集設備循環采集人臉圖像。
4.根據權利要求1或2所述的用于機器人面部表情識別模仿算法，其特征在于，對于S3和S4中分別得到歐拉角與轉動角度的數值，進行濾波處理。
5.根據權利要求4所述的用于機器人面部表情識別模仿算法，其特征在于，其濾波處理方式為均值濾波處理，通過將當前處理的角度值的發生時間的相鄰時間內產生的角度值進行求平均值，得到的平均值替換當前處理的角度值進行調整控制機器人頭部位姿或者機器人面部控制舵機轉動，具體為：
6.根據權利要求5所述的用于機器人面部表情識別模仿算法，其特征在于，其中取值為5-10。
7.根據權利要求1、2、5或6任一項所述的用于機器人面部表情識別模仿算法，其特征在于，通過深度模型mediapipe識別人臉圖像中面部關鍵點有5
8.一種用于虛擬人物面部表情識別模仿算法，其特征在于，通過在blender?軟件中選取與人臉面部的52個形態鍵和3個頭部形態位姿，并分別與虛擬人物頭部的對應位置進行綁定，然后將通過深度模型mediapipe識別人臉圖像得出的3個頭部位姿參數與blender?軟件中3個頭部形態位姿形成映射關系，將面部關鍵點預測出的52個面部表情的值與blender軟件中選取的52個形態鍵形成映射關系。
...【技術特征摘要】
1.一種用于機器人面部表情識別模仿算法，其特征在于，包括以下步驟：
2.根據權利要求1所述的用于機器人面部表情識別模仿算法，其特征在于，在s3中計算機器人頭部位姿具體為：
3.根據權利要求1或2所述的用于機器人面部表情識別模仿算法，其特征在于，在s1中通過圖像采集設備循環采集人臉圖像。
4.根據權利要求1或2所述的用于機器人面部表情識別模仿算法，其特征在于，對于s3和s4中分別得到歐拉角與轉動角度的數值，進行濾波處理。
5.根據權利要求4所述的用于機器人面部表情識別模仿算法，其特征在于，其濾波處理方式為均值濾波處理，通過將當前處理的角度值的發生時間的相鄰時間內產生的角度值進行求平均值，得到的平均值替換當前處理的角度值進行調整控制機器人頭部位姿或者機器人面部控制舵機轉動，具體為：<...
【專利技術屬性】
技術研發人員：袁野，任欽澤，劉娜，李清都，
申請(專利權)人：上海卓益得機器人有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。