一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法技術

一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，屬于與機械手相關的任務編程、自然語言處理、計算機等技術領域，用戶通過自然語言描述機械手裝配任務中各個部件的裝配關系，經自然語言處理后，生成目標裝配關系矩陣；機械手通過視覺攝像頭進行部件檢測，分割和識別分散在平面上的各個部件，與自然語言中提及的部件進行關聯；針對目標裝配關系矩陣，經相關的矩陣運算將裝配任務分解為具有一定時序關系的子任務，在每個子任務中確定待裝配的部件及其與已裝配部件的目標裝配關系；機械手根據分解后的各個子任務的時序，在基于視覺的裝配定位與抓取輔助下，依次完成部件的裝配。

【技術實現步驟摘要】

本專利技術屬于與機械手相關的任務編程、自然語言處理、計算機等
，涉及一種采用自然語言的機械手裝配任務編程方法，特別是一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法。
技術介紹
機器人正在快速融入人們的日常生活與工作，機器人利用機械手幫助人們自主地完成物體搬運、裝配等任務。然而，現有技術的機械手的自主功能主要面向特定的應用場景，功能相對固定。當任務發生變化時，需要專業的編程人員對機械手進行離線的編程或配置，廣泛采用手工引導、示教器、專用的機器人編程語言、圖形化編程工具等方式。這些編程方法比較耗時、成本高。利用自然語言對機器人進行任務編程是一種直觀高效的方式，用戶無需掌握編程知識，即可利用自然語言描述機器人操作任務，完成任務在線編程。然而，現有的采用自然語言的機器人任務編程方法，都嚴重依賴用戶根據機器人的動作能力把新的任務人工分解成動作序列，并通過自然語言傳達動作序列交由機器人執行。對沒有接受過訓練的普通用戶而言，無疑增加了負擔，人機交互體驗的自然與舒適度大大降低。
技術實現思路
為克服現有技術中的缺陷，本專利技術提出一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，可讓不具備任何編程知識的普通使用者僅通過自己習慣的自然語言表達方式描述新的裝配任務中各個部件的裝配關系，就可以完成新的機械手裝配任務的編程，機械手能自主完成該任務的執行。本專利技術的技術方案是：一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于，包括如下步驟：(1)用戶通過自然語言描述機械手裝配任務中各個部件的裝配關系，經自然語言處理后，生成目標裝配關系矩陣；(2)機械手通過視覺攝像頭進行部件檢測，分割和識別分散在平面上的各個部件，與自然語言中提及的部件進行關聯；(3)針對目標裝配關系矩陣，經相關的矩陣運算將裝配任務分解為具有一定時序關系的子任務，在每個子任務中確定待裝配的部件及其與已裝配部件的目標裝配關系；(4)機械手根據分解后的各個子任務的時序，在基于視覺的裝配定位與抓取輔助下，依次完成部件的裝配。步驟(1)中所述目標裝配關系矩陣是一個N×N的方陣，記為GARMN×N，該方陣由自然語言處理模塊直接生成，方陣中元素的取值直接體現自然語言語句中所描述部件之間的關系，部件由自然語言處理模塊自動從自然數1開始編號，方陣中的第i行第j列的元素定義為：步驟(1)中所述自然語言處理是指利用斯坦福解析器對自然語言文本進行解析，生成語法成分依賴關系樹，在結合機械手關于部件關系的先驗知識的基礎上，輸出部件引用表達和部件關系表達；部件引用表達中實現了對所描述部件的自然數編號；將部件關系表達，按照公式(1)填充至目標裝配矩陣。步驟(2)中所述部件檢測是指利用視覺攝像頭采用視覺檢測算法分割出分散在某一平面上的各個部件，識別各個部件的屬性，包括名稱、顏色和形狀，并與自然語言中已經編號的物體進行關聯，確定視覺檢測部件的編號，能夠根據目標裝配關系計算待裝配部件的目標裝配位姿和抓取位姿。步驟(3)中所述的矩陣運算，一方面指利用部件之間關系的對稱性、傳遞性更新GARM，對稱性與傳遞性準則分別由公式(2)和公式(3)給出；其中，將經對稱性準則更新后的GARM保存為SGARM；[GARM]ij＝-[GARM]ji,if|[GARM]ij|＞1 (2)[GARM]ik＝r,if[GARM]ij＝r且[GARM]jk＝r (3)另一方面，指利用公式(4)和公式(5)來計算部件裝配的優先級；利用公式(4)消除左右、前后等裝配關系對裝配優先級的影響，得到中間矩陣WARM；利用公式(5)對矩陣進行按列求和運算，得到一個行向量Indicator，其中sum(GARM,1)表示對矩陣GARM的第1維進行求和運算。該行向量中每個元素所在的列號代表部件的編號，元素的取值越大代表裝配該部件的優先級越高；通過對該列向量中元素進行降序排序，從而確定各個部件的裝配時序； [ W A R M ] i j = [ G A R M ] i j , i f | [ G A R M ] i j | < 4 0 e l s e - - - ( 4 ) ]]>Indicator＝sum(WARM本文檔來自技高網...

【技術保護點】
一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于，包括如下步驟：(1)用戶通過自然語言描述機械手裝配任務中各個部件的裝配關系，經自然語言處理后，生成目標裝配關系矩陣；(2)機械手通過視覺攝像頭進行部件檢測，分割和識別分散在平面上的各個部件，與自然語言中提及的部件進行關聯；(3)針對目標裝配關系矩陣，經相關的矩陣運算將裝配任務分解為具有一定時序關系的子任務，在每個子任務中確定待裝配的部件及其與已裝配部件的目標裝配關系；(4)機械手根據分解后的各個子任務的時序，在基于視覺的裝配定位與抓取輔助下，依次完成部件的裝配。

【技術特征摘要】
1.一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于，包括如下步驟：(1)用戶通過自然語言描述機械手裝配任務中各個部件的裝配關系，經自然語言處理后，生成目標裝配關系矩陣；(2)機械手通過視覺攝像頭進行部件檢測，分割和識別分散在平面上的各個部件，與自然語言中提及的部件進行關聯；(3)針對目標裝配關系矩陣，經相關的矩陣運算將裝配任務分解為具有一定時序關系的子任務，在每個子任務中確定待裝配的部件及其與已裝配部件的目標裝配關系；(4)機械手根據分解后的各個子任務的時序，在基于視覺的裝配定位與抓取輔助下，依次完成部件的裝配。2.根據權利要求1所述的一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于：步驟(1)中所述目標裝配關系矩陣是一個N×N的方陣，記為GARMN×N，該方陣由自然語言處理模塊直接生成，方陣中元素的取值直接體現自然語言語句中所描述部件之間的關系，部件由自然語言處理模塊自動從自然數1開始編號，方陣中的第i行第j列的元素定義為：3.根據權利要求1所述的一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于：步驟(1)中所述自然語言處理是指利用斯坦福解析器對自然語言文本進行解析，生成語法成分依賴關系樹，在結合機械手關于部件關系的先驗知識的基礎上，輸出部件引用表達和部件關系表達；部件引用表達中實現了對所描述部件的自然數編號；將部件關系表達，按照公式(1)填充至目標裝配矩陣。4.根據權利要求1所述的一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于：步驟(2)中所述部件檢測是指利用視覺攝像頭采用視覺檢測算法分割出分散在某一平面上的各個部件，識別各個部件的屬性，包括名稱、顏色和形狀，并與自然語言中已經編號的物體進行關聯，確定視覺檢測部件的編號，能夠根據目標裝配關系計算待裝配部件的目標裝配位姿和抓取位姿。5.根據權利要求1所述的一種基于目標裝配關系自然語言描述的機械手裝配任務自主編程方法，其特征在于：步驟(3)中所述的矩陣運算，一方面指利用部件之間關系的對稱性、傳遞性更新GARM，對稱性與傳遞性準則分別由公式(2)和公式(3)給出；其中，將經對稱性準則更新后的GARM保存為SGARM；[GARM]ij＝-[GARM]ji,if|[GARM]ij|＞1 (2)[GARM]ik＝r,if[GARM]ij＝r且[GARM]jk＝r (3)另一方面，指利用公式(4)和公式(5)來計算部件裝配的優先級；利用公式(4)消除左右、前后等裝配關系對裝配優先級的影響，得到中間矩陣WARM；利用公式(5)對矩陣進行按列求和運算，得到一個行向量Indicator，其中sum(GARM,1)表示對矩陣GARM的第1維進行求和運算。該行向量中每個元素所在的列號代表部件的編號，元素的取值越大代表裝配該部件的優先級越高；通過對該列向量中元素進行降序排序，從而確定各個部件的裝配時序； [ W A R M ] i j = { ...

【專利技術屬性】
技術研發人員：包加桐，程宇，唐鴻儒，宋愛國，洪澤，
申請(專利權)人：揚州大學，
類型：發明
國別省市：江蘇;32