機(jī)器人系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)的機(jī)器人系統(tǒng)具備：控制裝置，其用于控制機(jī)器人；以及影像顯示裝置，其與控制裝置連接。影像顯示裝置具備：顯示部，其用于實(shí)時(shí)地顯示由照相機(jī)拍攝到的包含機(jī)器人的真實(shí)空間的圖像；以及增強(qiáng)現(xiàn)實(shí)圖像處理部，其用于將機(jī)器人的末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像疊加于由照相機(jī)拍攝到的機(jī)器人的真實(shí)圖像并使顯示部顯示。根據(jù)這樣的機(jī)器人系統(tǒng)，即使沒(méi)有末端執(zhí)行器、機(jī)器人周邊裝置也能夠視為它們存在來(lái)實(shí)施機(jī)器人示教作業(yè)。

Robot system

The robot system of the invention comprises a control device used for controlling the robot; and an image display device which is connected with the control device. The image display device includes a display unit, which is used for the display of real-time image of real space contains the robot camera; and augmented reality image processing, which is used for the real image of the manipulator end effector robot or peripheral device virtual image overlay on the camera to the robot and the display display. According to such a robot system, even if there is no end effector, the robot peripheral device can also be regarded as their presence to carry out the robot teaching operation.

【技術(shù)實(shí)現(xiàn)步驟摘要】
機(jī)器人系統(tǒng)
本專利技術(shù)涉及一種具備影像顯示裝置的機(jī)器人系統(tǒng)，該影像顯示裝置利用增強(qiáng)現(xiàn)實(shí)(AugmentedReality)處理技術(shù)來(lái)將虛擬物體的圖像疊加在機(jī)器人的影像上進(jìn)行顯示。
技術(shù)介紹
在制造現(xiàn)場(chǎng)的工業(yè)用機(jī)器人系統(tǒng)中，機(jī)器手、加工工具等末端執(zhí)行器安裝于機(jī)器人的臂部的前端。并且，帶式輸送機(jī)、軌道式輸送臺(tái)車等機(jī)器人周邊裝置配置于機(jī)器人的周邊。然而，存在在向機(jī)器人示教作業(yè)動(dòng)作的階段尚無(wú)法準(zhǔn)備上述那樣的末端執(zhí)行器、機(jī)器人周邊裝置的情況。在該情況下，直至準(zhǔn)備好末端執(zhí)行器、機(jī)器人周邊裝置為止，作業(yè)者不能實(shí)施適當(dāng)?shù)臋C(jī)器人示教作業(yè)。因此，期望即使在還沒(méi)有準(zhǔn)備末端執(zhí)行器、機(jī)器人周邊裝置的情況下也能夠視為它們存在來(lái)實(shí)施機(jī)器人示教作業(yè)。作為有可能解決上述問(wèn)題的技術(shù)，能夠想到將虛擬圖像疊加在實(shí)時(shí)的影像上進(jìn)行顯示這樣的增強(qiáng)現(xiàn)實(shí)處理技術(shù)。另外，近年來(lái)，公開(kāi)了一種利用這種增強(qiáng)現(xiàn)實(shí)處理技術(shù)來(lái)提高機(jī)器人示教作業(yè)時(shí)的操作性的裝置。例如，專利第4850984號(hào)公報(bào)公開(kāi)了一種利用增強(qiáng)現(xiàn)實(shí)處理來(lái)將按照動(dòng)作計(jì)劃進(jìn)行動(dòng)作的機(jī)器人的動(dòng)作空間疊加在真實(shí)機(jī)器人的圖像上進(jìn)行顯示的技術(shù)。并且，日本特開(kāi)2014-180707號(hào)公報(bào)公開(kāi)了一種利用增強(qiáng)現(xiàn)實(shí)處理來(lái)將基于動(dòng)作程序的機(jī)器人的動(dòng)作軌跡疊加在真實(shí)機(jī)器人的圖像上進(jìn)行顯示的技術(shù)。然而，在專利第4850984號(hào)公報(bào)和日本特開(kāi)2014-180707號(hào)公報(bào)中，并沒(méi)有提出使用增強(qiáng)現(xiàn)實(shí)處理技術(shù)來(lái)將上述那樣的末端執(zhí)行器、機(jī)器人周邊裝置的影像疊加在真實(shí)機(jī)器人的圖像上進(jìn)行顯示的技術(shù)。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供一種即使沒(méi)有末端執(zhí)行器、機(jī)器人周邊裝置也能夠視為它們存在來(lái)實(shí)施機(jī)器人示教作業(yè)的機(jī)器人系統(tǒng)。根據(jù)本專利技術(shù)的第一方式，提供一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)具備：控制裝置，其用于控制機(jī)器人；以及影像顯示裝置，其與控制裝置連接，其中，影像顯示裝置具備：顯示部，其用于實(shí)時(shí)地顯示由照相機(jī)拍攝到的包含機(jī)器人的真實(shí)空間的圖像；以及增強(qiáng)現(xiàn)實(shí)圖像處理部，其用于將機(jī)器人的末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像疊加于由照相機(jī)拍攝到的機(jī)器人的真實(shí)圖像并使顯示部顯示。根據(jù)本專利技術(shù)的第二方式，提供一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)是上述第一方式的機(jī)器人系統(tǒng)，影像顯示裝置具備虛擬物體圖像生成部，該虛擬物體圖像生成部基于機(jī)器人與照相機(jī)之間的相對(duì)的位置和角度，來(lái)生成要疊加于由照相機(jī)拍攝到的機(jī)器人的真實(shí)圖像的末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像。根據(jù)本專利技術(shù)的第三方式，提供一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)是上述第一方式或第二方式的機(jī)器人系統(tǒng)，增強(qiáng)現(xiàn)實(shí)圖像處理部基于由控制裝置控制的機(jī)器人的位置姿勢(shì)數(shù)據(jù)或來(lái)自控制裝置的模擬信號(hào)，來(lái)使末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像移動(dòng)并且使顯示部顯示。根據(jù)本專利技術(shù)的第四方式，提供一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)是上述第一方式至第三方式中的任一方式的機(jī)器人系統(tǒng)，控制裝置具備示教操作板，該示教操作板用于進(jìn)行機(jī)器人的示教操作。根據(jù)本專利技術(shù)的第五方式，提供一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)是上述第一方式至第四方式中的任一方式的機(jī)器人系統(tǒng)，影像顯示裝置是具備照相機(jī)的頭戴式顯示器(HeadMountDisplay)。附圖說(shuō)明基于附圖所示的本專利技術(shù)的典型的實(shí)施方式的詳細(xì)說(shuō)明，會(huì)使本專利技術(shù)的這些目的、特征和優(yōu)點(diǎn)以及其它目的、特征和優(yōu)點(diǎn)更加明確。圖1是示出本專利技術(shù)的一個(gè)實(shí)施方式的機(jī)器人系統(tǒng)的框圖。圖2是示出將虛擬物體的圖像疊加于真實(shí)機(jī)器人的圖像進(jìn)行顯示時(shí)的處理流程的流程圖。圖3是示意性地示出第一實(shí)施例的處理的情形的圖。圖4是示意性地示出在使機(jī)器人進(jìn)行動(dòng)作時(shí)在支持增強(qiáng)現(xiàn)實(shí)的顯示器的顯示部所顯示的圖像的情形的圖。圖5是示意性地示出第二實(shí)施例的處理的情形的圖。具體實(shí)施方式接著，參照附圖來(lái)說(shuō)明本專利技術(shù)的實(shí)施方式。在參照的附圖中，對(duì)相同的構(gòu)件或功能部標(biāo)注相同的參照附圖標(biāo)記。而且，設(shè)在不同的附圖中被標(biāo)注相同的參照附圖標(biāo)記的結(jié)構(gòu)要素是指具有相同功能的結(jié)構(gòu)要素。另外，為了易于理解，這些附圖適當(dāng)變更了比例尺。圖1是示出本專利技術(shù)的一個(gè)實(shí)施方式的機(jī)器人系統(tǒng)的框圖。如圖1所示，本實(shí)施方式的機(jī)器人系統(tǒng)10具備機(jī)器人11、控制機(jī)器人11的機(jī)器人控制裝置12、與機(jī)器人控制裝置12連接的作為影像顯示裝置的支持增強(qiáng)現(xiàn)實(shí)的顯示器(日語(yǔ)：拡張現(xiàn)実対応ディスプレイ)13、以及與機(jī)器人控制裝置12連接來(lái)進(jìn)行機(jī)器人11的示教操作的示教操作板14。機(jī)器人11例如是多關(guān)節(jié)垂直型操縱器。在機(jī)器人11的各關(guān)節(jié)軸設(shè)置有伺服電動(dòng)機(jī)(未圖示)。并且，對(duì)機(jī)器人11設(shè)置有對(duì)各伺服電動(dòng)機(jī)的軸位置(旋轉(zhuǎn)角度)進(jìn)行檢測(cè)的位置檢測(cè)傳感器15、例如脈沖編碼器。在機(jī)器人11的臂部的前端設(shè)置有用于安裝機(jī)器手、加工工具等裝卸自如的末端執(zhí)行器的安裝部(未圖示)。機(jī)器人控制裝置12具有基于動(dòng)作程序來(lái)生成控制信號(hào)并驅(qū)動(dòng)機(jī)器人11的功能。另外，機(jī)器人控制裝置12向機(jī)器人11輸出控制信號(hào)并且接收來(lái)自支持增強(qiáng)現(xiàn)實(shí)的顯示器13和示教操作板14的信號(hào)。并且，機(jī)器人控制裝置12具有保持機(jī)器人11的動(dòng)作程序的程序保持部16、以及生成機(jī)器人11的位置姿勢(shì)數(shù)據(jù)的位置姿勢(shì)數(shù)據(jù)生成部17。從示教操作板14向程序保持部16輸入機(jī)器人11的動(dòng)作程序。另外，示教操作板14能夠重寫程序保持部16內(nèi)的動(dòng)作程序。機(jī)器人控制裝置12按照程序保持部16內(nèi)的動(dòng)作程序來(lái)向伺服電動(dòng)機(jī)提供位置指令，并且對(duì)伺服電動(dòng)機(jī)進(jìn)行控制使得由位置檢測(cè)傳感器15檢測(cè)的伺服電動(dòng)機(jī)的位置與位置指令匹配。由此，機(jī)器人11依照程序保持部16內(nèi)的動(dòng)作程序進(jìn)行動(dòng)作。位置姿勢(shì)數(shù)據(jù)生成部17基于從位置檢測(cè)傳感器15輸出的伺服電動(dòng)機(jī)的位置信號(hào)來(lái)生成機(jī)器人11的位置姿勢(shì)數(shù)據(jù)，向支持增強(qiáng)現(xiàn)實(shí)的顯示器13輸出該位置姿勢(shì)數(shù)據(jù)。在實(shí)施機(jī)器人示教作業(yè)的情況下，作業(yè)者一邊對(duì)支持增強(qiáng)現(xiàn)實(shí)的顯示器13進(jìn)行目視確認(rèn)，一邊通過(guò)示教操作板14來(lái)操作機(jī)器人11。此時(shí)，從示教操作板14經(jīng)由機(jī)器人控制裝置12向機(jī)器人11示教期望的作業(yè)動(dòng)作。由此，期望的作業(yè)動(dòng)作記錄于機(jī)器人控制裝置12的程序保持部16。在進(jìn)行上述機(jī)器人示教作業(yè)時(shí)，存在無(wú)法準(zhǔn)備要安裝于機(jī)器人11的臂部的前端的機(jī)器手、加工工具等末端執(zhí)行器的情況。另外，也存在無(wú)法將用于輸送工件的帶式輸送機(jī)、軌道式輸送臺(tái)車等機(jī)器人周邊裝置配置于機(jī)器人11的周邊的情況。本實(shí)施方式的機(jī)器人系統(tǒng)10構(gòu)成為在這樣的情況下也將末端執(zhí)行器或機(jī)器人周邊裝置設(shè)為虛擬圖像而顯示于支持增強(qiáng)現(xiàn)實(shí)的顯示器13。具體來(lái)說(shuō)，如圖1所示，支持增強(qiáng)現(xiàn)實(shí)的顯示器13具備用于拍攝包含機(jī)器人11的真實(shí)空間的照相機(jī)18、用于實(shí)時(shí)顯示由照相機(jī)18拍攝到的包含機(jī)器人11的真實(shí)空間的圖像的顯示部19、以及計(jì)算機(jī)20。支持增強(qiáng)現(xiàn)實(shí)的顯示器13例如是頭戴式顯示器(參照?qǐng)D3和圖5)。在該情況下，優(yōu)選的是，顯示部19具有為眼鏡片程度的大小且以與人的兩個(gè)眼睛分別對(duì)應(yīng)的方式配置的顯示畫面。此外，支持增強(qiáng)現(xiàn)實(shí)的顯示器13只要使作業(yè)者能夠一邊拿著示教操作板14一邊對(duì)照相機(jī)18的影像進(jìn)行目視確認(rèn)即可，并不限定于頭戴式顯示器。如圖1所示，支持增強(qiáng)現(xiàn)實(shí)的顯示器13的計(jì)算機(jī)20具備照相機(jī)位置姿勢(shì)估計(jì)部21、虛擬物體數(shù)據(jù)保持部22、虛擬物體圖像生成部23以及增強(qiáng)現(xiàn)實(shí)圖像處理部24。但是，虛擬物體數(shù)據(jù)保持部22和虛擬物體圖像生成部23也可以內(nèi)置于機(jī)器人控制裝置12。照相機(jī)位置姿勢(shì)估計(jì)部21估計(jì)機(jī)器人本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種機(jī)器人系統(tǒng)，具備：控制裝置，其用于控制機(jī)器人；以及影像顯示裝置，其與所述控制裝置連接，其中，所述影像顯示裝置具備：顯示部，其用于實(shí)時(shí)地顯示由照相機(jī)拍攝到的包含所述機(jī)器人的真實(shí)空間的圖像；以及增強(qiáng)現(xiàn)實(shí)圖像處理部，其用于將所述機(jī)器人的末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像疊加于由所述照相機(jī)拍攝到的所述機(jī)器人的真實(shí)圖像并使所述顯示部顯示。

【技術(shù)特征摘要】
2015.12.10 JP 2015-2410071.一種機(jī)器人系統(tǒng)，具備：控制裝置，其用于控制機(jī)器人；以及影像顯示裝置，其與所述控制裝置連接，其中，所述影像顯示裝置具備：顯示部，其用于實(shí)時(shí)地顯示由照相機(jī)拍攝到的包含所述機(jī)器人的真實(shí)空間的圖像；以及增強(qiáng)現(xiàn)實(shí)圖像處理部，其用于將所述機(jī)器人的末端執(zhí)行器或機(jī)器人周邊裝置的虛擬圖像疊加于由所述照相機(jī)拍攝到的所述機(jī)器人的真實(shí)圖像并使所述顯示部顯示。2.根據(jù)權(quán)利要求1所述的機(jī)器人系統(tǒng)，其特征在于，所述影像顯示裝置具備虛擬物體圖像生成部，該虛擬物體圖像生成部基于所述機(jī)器人與所述照相機(jī)之間的相對(duì)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：加茂井敏晃，
申請(qǐng)(專利權(quán))人：發(fā)那科株式會(huì)社，
類型：發(fā)明
國(guó)別省市：日本,JP