【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)屬于增強(qiáng)現(xiàn)實(shí)(augmentedreality,ar)人機(jī)交互的設(shè)計(jì)領(lǐng)域，涉及一種基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)。
技術(shù)介紹
1、抓料機(jī)，作為一種廣泛應(yīng)用于人工操控的工程機(jī)械設(shè)備，通常用于卸載和裝載作業(yè)。對(duì)于用戶(hù)而言，其工作環(huán)境充滿(mǎn)挑戰(zhàn)性。駕駛路徑的重復(fù)循環(huán)、作業(yè)區(qū)域的重疊與遺漏；復(fù)雜的作業(yè)環(huán)境，如大量揚(yáng)塵、種類(lèi)繁多的障礙物以及照明不足；缺乏全局視野，感知盲區(qū)作業(yè)以及不合理的路徑規(guī)劃等問(wèn)題，均對(duì)用戶(hù)操控機(jī)械產(chǎn)生負(fù)面影響。加之用戶(hù)技術(shù)水平和工作經(jīng)驗(yàn)的差異，導(dǎo)致其操作抓料機(jī)的方法各異，不規(guī)范的操作往往導(dǎo)致設(shè)備損壞和能源消耗的增加；另外，用戶(hù)長(zhǎng)時(shí)間工作，高強(qiáng)度的勞動(dòng)容易導(dǎo)致疲勞，進(jìn)而可能引發(fā)安全事故。因此，有必要采用智能化工程機(jī)械輔助系統(tǒng)來(lái)輔助用戶(hù)操控機(jī)械，以降低人為操控錯(cuò)誤的可能性。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)要解決的問(wèn)題提供一種基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)，該系統(tǒng)能夠?qū)崿F(xiàn)抓料機(jī)的任務(wù)下發(fā)、監(jiān)控以及全局調(diào)度，并通過(guò)ar眼鏡提供映射到真實(shí)視野內(nèi)的智能虛擬輔助信息以輔助駕駛員更安全、規(guī)范及高效地操作抓料機(jī)。
2、為達(dá)到上述目的，本專(zhuān)利技術(shù)提供如下技術(shù)方案：
3、一種基于增強(qiáng)現(xiàn)實(shí)(augmentedreality,ar)的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于，包括：
4、現(xiàn)場(chǎng)作業(yè)子系統(tǒng)，用于監(jiān)控地面管理數(shù)據(jù)以及任務(wù)調(diào)度，與ar眼鏡通信，調(diào)用現(xiàn)場(chǎng)傳感子系統(tǒng)數(shù)據(jù)生成虛擬輔助信息傳送至ar眼鏡；
5、現(xiàn)場(chǎng)傳感子系統(tǒng)，用于獲取地面環(huán)境感知數(shù)據(jù)以及車(chē)
6、ar眼鏡，用于強(qiáng)化用戶(hù)對(duì)作業(yè)環(huán)境的感知，通過(guò)檢測(cè)用戶(hù)動(dòng)作并將接收到的虛擬輔助信息疊加到作業(yè)現(xiàn)場(chǎng)的ar眼鏡視野中以輔助現(xiàn)場(chǎng)作業(yè)；
7、現(xiàn)場(chǎng)作業(yè)子系統(tǒng)包括：
8、作業(yè)調(diào)度模塊，用于對(duì)ar眼鏡下發(fā)任務(wù)指令并實(shí)時(shí)監(jiān)控車(chē)端作業(yè)狀態(tài)；
9、地面建模模塊，用于建立作業(yè)場(chǎng)地地圖；劃分作業(yè)場(chǎng)地地圖中的功能區(qū)域；生成抓料機(jī)模型及抓料機(jī)模型周?chē)墓δ軈^(qū)域發(fā)送至ar眼鏡；
10、作業(yè)輔助模塊，用于生成任務(wù)相關(guān)虛擬輔助信息發(fā)送至ar眼鏡。
11、所述地面建模模塊包括：
12、場(chǎng)地建圖子模塊，用于利用所述地面環(huán)境感知數(shù)據(jù)生成且具有坐標(biāo)系的三維作業(yè)場(chǎng)地地圖，并且在該作業(yè)場(chǎng)地地圖內(nèi)對(duì)應(yīng)位置生成障礙物模型；
13、區(qū)域建圖子模塊，用于在作業(yè)場(chǎng)地地圖劃分出抓料機(jī)行駛區(qū)域、工作區(qū)域、停車(chē)區(qū)域、堆料區(qū)域及自定義功能區(qū)域；將從抓料機(jī)接收并存儲(chǔ)的人工操作數(shù)據(jù)存儲(chǔ)為規(guī)范化操作規(guī)則；
14、抓料機(jī)建模子模塊，用于生成三維抓料機(jī)模型及抓料機(jī)模型周?chē)念A(yù)警區(qū)域、急停區(qū)域、可抓取范圍區(qū)域及自定義功能區(qū)域；
15、所述作業(yè)輔助模塊包括：
16、任務(wù)輔助子模塊，用于接收所述作業(yè)調(diào)度模塊下發(fā)的任務(wù)指令，生成任務(wù)地點(diǎn)、任務(wù)要求等虛擬輔助信息；
17、視野輔助子模塊，用于接入所述地面環(huán)境感知數(shù)據(jù)生成視角虛擬輔助信息以查看抓料機(jī)狀態(tài)；
18、抓取輔助子模塊，用于提示抓料機(jī)進(jìn)入任務(wù)區(qū)域；并在抓取動(dòng)作時(shí)根據(jù)正在抓取的物料提供抓取范圍虛擬輔助信息；
19、規(guī)范輔助子模塊，用于調(diào)用所述規(guī)范化操作規(guī)則生成規(guī)范操作虛擬輔助信息；并在抓料機(jī)操作動(dòng)作不符合規(guī)范化操作規(guī)則時(shí)向ar眼鏡發(fā)送警報(bào)信息；
20、安全輔助子模塊，用于實(shí)時(shí)檢測(cè)抓料機(jī)周?chē)系K物并生成提示信息或警報(bào)信息。
21、所述視野輔助子模塊通過(guò)接入所述地面環(huán)境感知數(shù)據(jù)中的地面或車(chē)載攝像頭的視頻流為用戶(hù)提供外部視角，或通過(guò)接入所述車(chē)端運(yùn)動(dòng)感知數(shù)據(jù)與所述抓料機(jī)模型以構(gòu)建虛擬動(dòng)態(tài)抓料機(jī)模型為用戶(hù)提供虛擬視角以查看抓料機(jī)狀態(tài)。
22、所述抓取輔助子模塊提供的所述抓取范圍虛擬輔助信息包括抓取壓力范圍或抓取姿態(tài)范圍；抓取壓力范圍顯示在一壓力儀表盤(pán)圖示中；抓取姿態(tài)范圍則顯示在一連續(xù)變化的抓料機(jī)屬具姿態(tài)參考圖示中，抓取壓力范圍或抓取姿態(tài)范圍在圖示中以鮮明色塊呈現(xiàn)，且抓料機(jī)的實(shí)時(shí)抓取壓力或抓取姿態(tài)也實(shí)時(shí)顯示在圖示中。
23、當(dāng)抓料機(jī)行駛至任務(wù)地點(diǎn)，所述抓取輔助子模塊利用所述抓取范圍虛擬輔助信息生一段演示動(dòng)畫(huà)推送至所述ar眼鏡。
24、所述規(guī)范輔助子模塊生成的所述規(guī)范操作虛擬輔助信息通過(guò)所述ar眼鏡將其投射到抓料機(jī)駕駛室內(nèi)的操作部件上；利用車(chē)端運(yùn)動(dòng)感知數(shù)據(jù)判斷當(dāng)前時(shí)刻抓料機(jī)作業(yè)狀態(tài)是否符合所述規(guī)范化操作規(guī)則。
25、所述安全輔助子模塊將抓料機(jī)周?chē)系K物生成對(duì)應(yīng)的障礙物虛擬標(biāo)識(shí)，并實(shí)時(shí)顯示在所述抓料機(jī)模型周?chē)墓δ軈^(qū)域中對(duì)應(yīng)位置；當(dāng)障礙物達(dá)到所述預(yù)警區(qū)域，該模塊向ar眼鏡發(fā)送障礙物提示信息；若障礙物到達(dá)急停區(qū)域，該模塊則向ar眼鏡發(fā)送碰撞警報(bào)信息。
26、所述安全輔助子模塊還用于通過(guò)獲取所述抓料機(jī)模型以監(jiān)測(cè)當(dāng)前抓料機(jī)的位姿以及臨界限位關(guān)節(jié)所處情況，若抓料機(jī)位姿或臨界限位關(guān)節(jié)異常，則向ar眼鏡發(fā)送警報(bào)信息或提示信息。
27、本專(zhuān)利技術(shù)的有益效果在于：
28、通過(guò)ar技術(shù)，將虛擬輔助信息疊加到用戶(hù)的視野中，使用戶(hù)能夠更直觀地獲取作業(yè)現(xiàn)場(chǎng)的環(huán)境、任務(wù)及操作指導(dǎo)等信息，顯著提高了作業(yè)的準(zhǔn)確性和效率。其次，整合了現(xiàn)場(chǎng)作業(yè)子系統(tǒng)、現(xiàn)場(chǎng)傳感子系統(tǒng)以及ar眼鏡，實(shí)現(xiàn)了對(duì)作業(yè)場(chǎng)地的全面感知和精準(zhǔn)建模，為用戶(hù)提供了更為真實(shí)、詳盡的作業(yè)環(huán)境。再者，通過(guò)ar眼鏡實(shí)時(shí)檢測(cè)用戶(hù)的動(dòng)作，將調(diào)度任務(wù)以及虛擬輔助信息以文字、圖像、三維模型等多種形式發(fā)送到ar眼鏡，使用戶(hù)能夠根據(jù)自身需求靈活接收或斷開(kāi)信息，增強(qiáng)了作業(yè)的靈活性和個(gè)性化。此外，還能夠全方位地支持抓料機(jī)的現(xiàn)場(chǎng)作業(yè)，有效避免了作業(yè)過(guò)程中的安全隱患，提升了作業(yè)的安全性和可靠性。
29、本專(zhuān)利技術(shù)的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說(shuō)明書(shū)中進(jìn)行闡述，并且在某種程度上，基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見(jiàn)的，或者可以從本專(zhuān)利技術(shù)的實(shí)踐中得到教導(dǎo)。本專(zhuān)利技術(shù)的目標(biāo)和其他優(yōu)點(diǎn)可以通過(guò)下面的說(shuō)明書(shū)來(lái)實(shí)現(xiàn)和獲得。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于增強(qiáng)現(xiàn)實(shí)(Augmented?Reality,AR)的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：
3.根據(jù)權(quán)利要求2所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述視野輔助子模塊通過(guò)接入所述地面環(huán)境感知數(shù)據(jù)中的地面或車(chē)載攝像頭的視頻流為用戶(hù)提供外部視角，或通過(guò)接入所述車(chē)端運(yùn)動(dòng)感知數(shù)據(jù)與所述抓料機(jī)模型以構(gòu)建虛擬動(dòng)態(tài)抓料機(jī)模型為用戶(hù)提供虛擬視角以查看抓料機(jī)狀態(tài)。
4.根據(jù)權(quán)利要求2所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述抓取輔助子模塊提供的所述抓取范圍虛擬輔助信息包括抓取壓力范圍或抓取姿態(tài)范圍；抓取壓力范圍顯示在一壓力儀表盤(pán)圖示中；抓取姿態(tài)范圍則顯示在一連續(xù)變化的抓料機(jī)屬具姿態(tài)參考圖示中，抓取壓力范圍或抓取姿態(tài)范圍在圖示中以鮮明色塊呈現(xiàn)，且抓料機(jī)的實(shí)時(shí)抓取壓力或抓取姿態(tài)也實(shí)時(shí)顯示在圖示中。
5.根據(jù)權(quán)利要求2或4所述的任一項(xiàng)基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：當(dāng)抓料機(jī)行駛至任務(wù)地點(diǎn)，所述抓取輔助子模塊利用所述抓取范圍虛擬輔助信息
6.根據(jù)權(quán)利要求2所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述規(guī)范輔助子模塊生成的所述規(guī)范操作虛擬輔助信息通過(guò)所述AR眼鏡將其投射到抓料機(jī)駕駛室內(nèi)的操作部件上；利用車(chē)端運(yùn)動(dòng)感知數(shù)據(jù)判斷當(dāng)前時(shí)刻抓料機(jī)作業(yè)狀態(tài)是否符合所述規(guī)范化操作規(guī)則。
7.根據(jù)權(quán)利要求2所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述安全輔助子模塊將抓料機(jī)周?chē)系K物生成對(duì)應(yīng)的障礙物虛擬標(biāo)識(shí)，并實(shí)時(shí)顯示在所述抓料機(jī)模型周?chē)墓δ軈^(qū)域中對(duì)應(yīng)位置；當(dāng)障礙物達(dá)到所述預(yù)警區(qū)域，該模塊向AR眼鏡發(fā)送障礙物提示信息；若障礙物到達(dá)急停區(qū)域，該模塊則向AR眼鏡發(fā)送碰撞警報(bào)信息。
8.根據(jù)權(quán)利要求2所述的一種基于AR的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述安全輔助子模塊還用于通過(guò)獲取所述抓料機(jī)模型以監(jiān)測(cè)當(dāng)前抓料機(jī)的位姿以及臨界限位關(guān)節(jié)所處情況，若抓料機(jī)位姿或臨界限位關(guān)節(jié)異常，則向AR眼鏡發(fā)送警報(bào)信息或提示信息。
9.一種基于AR的抓料機(jī)輔助作業(yè)方法，其特征在于，包括以下步驟：
10.根據(jù)權(quán)利要求9所述的一種基于AR的抓料機(jī)輔助作業(yè)方法，其特征在于，所述生成虛擬輔助信息的步驟包括：
...【技術(shù)特征摘要】
1.一種基于增強(qiáng)現(xiàn)實(shí)(augmented?reality,ar)的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：
3.根據(jù)權(quán)利要求2所述的一種基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述視野輔助子模塊通過(guò)接入所述地面環(huán)境感知數(shù)據(jù)中的地面或車(chē)載攝像頭的視頻流為用戶(hù)提供外部視角，或通過(guò)接入所述車(chē)端運(yùn)動(dòng)感知數(shù)據(jù)與所述抓料機(jī)模型以構(gòu)建虛擬動(dòng)態(tài)抓料機(jī)模型為用戶(hù)提供虛擬視角以查看抓料機(jī)狀態(tài)。
4.根據(jù)權(quán)利要求2所述的一種基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：所述抓取輔助子模塊提供的所述抓取范圍虛擬輔助信息包括抓取壓力范圍或抓取姿態(tài)范圍；抓取壓力范圍顯示在一壓力儀表盤(pán)圖示中；抓取姿態(tài)范圍則顯示在一連續(xù)變化的抓料機(jī)屬具姿態(tài)參考圖示中，抓取壓力范圍或抓取姿態(tài)范圍在圖示中以鮮明色塊呈現(xiàn)，且抓料機(jī)的實(shí)時(shí)抓取壓力或抓取姿態(tài)也實(shí)時(shí)顯示在圖示中。
5.根據(jù)權(quán)利要求2或4所述的任一項(xiàng)基于ar的抓料機(jī)輔助作業(yè)系統(tǒng)，其特征在于：當(dāng)抓料機(jī)行駛至任務(wù)地點(diǎn)，所述抓取輔助子模塊利用所述抓取范圍虛擬輔助信息生一段演示動(dòng)畫(huà)推送至所述ar眼...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：鐘星立，周宇星，何立，陳開(kāi)，袁針云，蔣睿，
申請(qǐng)(專(zhuān)利權(quán))人：中冶賽迪技術(shù)研究中心有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。