【技術實現步驟摘要】
本專利技術涉及機器人巡檢，尤其涉及一種機器人巡檢作業方法、裝置及電子設備。
技術介紹
1、軌道交通憑借其載客量大、便捷舒適、人均能耗低等優點,?成為城市居民通勤的重要交通方式。根據城市軌道交通協會發布的《城市軌道交通?2023年度統計與分析報告》，軌道交通運營線路總長度達到11224公里，在建線路總長5671公里。然而，軌道交通設施巡檢作業仍以人工作業為主，這種方式存在效率低、勞動強度大等缺點，且面臨人口老齡化導致的勞動力短缺與運營里程快速增長帶來的巡檢作業需求之間的矛盾。
2、機器人技術憑借其巡檢效率高、作業質量穩定等優點，正在逐漸應用于軌道交通行業。中國專利技術專利cn116533252a?、cn117885117a、cn118274845a、cn117523637a分別公開了一種高鐵客站巡檢機器人機械臂操作系統的控制方法、基于遠程控制的接觸網線路巡檢方法和巡檢機器人、一種地鐵站機器人巡檢系統及巡檢方法和基于機器人巡檢的火車站可疑人員檢測方法、系統和介質，上述巡檢技術方案應用于單一軌道交通設施，存在通用性差的缺點，而針對不同軌道交通設施分別開發機器人技術則面臨研發成本高昂、后期維護難的問題。
3、對于現有的相關技術中存在的機器人巡檢技術通用性差的問題，目前還沒有提出有效的解決方案。
技術實現思路
1、本專利技術提供一種機器人巡檢作業方法、裝置及電子設備，用以解決現有技術中存在的機器人巡檢技術通用性差的缺陷。
2、第一個方面，本專利技術提供一種
3、s101，獲取巡檢任務，基于視覺語言大模型的任務分配模塊結合當前環境的設施布置圖對所述巡檢任務進行劃分，生成子任務集合，并選擇滿足任務要求的機器人；
4、s102，對于所述子任務集合中的每個子任務，基于視頻語言大模型的推理導航模塊結合所述子任務以及機器人端實時采集的視頻數據，生成所述機器人的導航指令；
5、s103，基于地形和障礙物感知的運動控制模塊按照所述導航指令控制所述機器人運動至作業位置；
6、s104，基于大模型的作業執行模塊根據所述子任務的任務內容，驅動所述機器人開展作業；
7、s105，重復步驟s102至步驟s104，直至完成全部子任務。
8、根據本專利技術提供的一種機器人巡檢作業方法，所述設施布置圖包括車站信號設備平面布置圖、地鐵站站層圖、地鐵車輛段布置圖、消防平面布置圖。
9、根據本專利技術提供的一種機器人巡檢作業方法，基于視頻語言大模型的推理導航模塊結合所述子任務以及機器人端實時采集的視頻數據，生成所述機器人的導航指令，包括：
10、將機器人端實時采集的視頻圖像幀編碼為當前視頻圖像幀令牌，并將所述當前圖像幀令牌與歷史圖像幀令牌進行拼接，得到圖像幀令牌集合；
11、獲取所述機器人端實時采集的視頻圖像幀中的標志語意令牌；
12、根據所述子任務的任務指令、所述圖像幀令牌集合和所述標志語意令牌，生成對于所述機器人的導航指令。
13、根據本專利技術提供的一種機器人巡檢作業方法，所述標志語意包括軌道交通線路標志、地鐵站引導標志、設備文本標志、車輛段引導標志。
14、根據本專利技術提供的一種機器人巡檢作業方法，基于地形和障礙物感知的運動控制模塊按照所述導航指令控制所述機器人運動至作業位置，包括：
15、根據所述導航指令規劃初始運動路徑，并加載默認平地運動策略，控制所述機器人開始運動；
16、根據所述機器人的前方圖像數據識別所述機器人當前所處環境的地形類別；
17、根據所述機器人當前所處環境的地形類別在預先構建的運動策略庫中選擇并加載相應運動策略；
18、根據所述機器人的前方rgbd圖像數據檢測所述機器人前方的運動路徑是否存在障礙物，并根據障礙物信息重新規劃所述機器人的運動路徑。
19、根據本專利技術提供的一種機器人巡檢作業方法，基于大模型的作業執行模塊根據所述子任務的任務內容，驅動所述機器人開展作業，包括：
20、獲取機器人采集的rgbd圖像，作業執行模塊中的感知網絡提取rgbd圖像特征；根據所述子任務指令和所述rgbd圖像特征，作業執行模塊中的視覺語言大模型生成子任務對應的作業描述文本；
21、根據預先構建的所述作業技能庫、所述作業描述文本和所述rgbd圖像特征，作業執行模塊中的視覺語言動作大模型規劃所述機器人完成本次作業的作業子動作集合；
22、根據所述作業子動作集合從所述作業技能庫中加載對應的作業技能，執行所述子任務對應的子動作集合。
23、根據本專利技術提供的一種機器人巡檢作業方法，若所述視覺語言動作大模型規劃作業子動作集合失敗，或所述視覺語言動作大模型判定所述機器人執行子動作集合失敗，則：
24、所述機器人發出人工介入請求，并由人工遙操作執行剩余的所述子動作集合；
25、記錄人工遙操作時的操作數據，并根據所述操作數據訓練機器人的作業技能，以及更新所述作業技能庫。
26、根據本專利技術提供的一種機器人巡檢作業方法，根據所述操作數據訓練機器人的作業技能，以及更新所述作業技能庫，包括：
27、根據所述子動作集合，構建包含所述機器人和作業設備的仿真訓練場；
28、基于所述人工遙操作的操作數據，使用模仿學習訓練得到用于強化學習訓練的初始化策略；
29、基于已訓練作業技能的獎勵函數，生成用于本次訓練的獎勵函數；
30、根據所述仿真訓練場、初始化策略和獎勵函數對機器人進行訓練，得到初始作業技能；
31、根據所述子動作選擇環境參數類型和初始范圍，機器人采用所述初始作業技能進行作業，確認作業成功則記錄當前環境參數類型和范圍；
32、根據所述環境參數類型和范圍再次訓練所述機器人，得到最終作業技能；
33、將所述最終作業技能添加至所述作業技能庫。
34、第二個方面，本專利技術還提供一種機器人巡檢作業裝置，包括：
35、任務分配子裝置，用于獲取巡檢任務，結合當前環境的設施布置圖對所述巡檢任務進行劃分，生成子任務集合，并選擇滿足任務要求的機器人；
36、推理導航子裝置，用于結合所述子任務以及機器人端實時采集的視頻數據，生成所述機器人的導航指令；
37、運動控制子裝置，用于按照所述導航指令控制所述機器人運動至作業位置；
38、作業執行子裝置，用于基于大模型的作業執行模塊根據所述子任務的任務內容，驅動所述機器人開展作業。
39、第三個方面，本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述第一個方面所述的機器人巡檢作業方法。
40、第四個方面，本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述本文檔來自技高網...
【技術保護點】
1.一種機器人巡檢作業方法，其特征在于，包括：
2.根據權利要求1所述的機器人巡檢作業方法，其特征在于，所述設施布置圖包括車站信號設備平面布置圖、地鐵站站層圖、地鐵車輛段布置圖、消防平面布置圖。
3.根據權利要求1所述的機器人巡檢作業方法，其特征在于，基于視頻語言大模型的推理導航模塊結合所述子任務以及機器人端實時采集的視頻數據，生成所述機器人的導航指令，包括：
4.根據權利要求3所述的機器人巡檢作業方法，其特征在于，所述標志語意包括軌道交通線路標志、地鐵站引導標志、設備文本標志、車輛段引導標志。
5.根據權利要求1所述的機器人巡檢作業方法，其特征在于，基于地形和障礙物感知的運動控制模塊按照所述導航指令控制所述機器人運動至作業位置，包括：
6.根據權利要求1所述的機器人巡檢作業方法，其特征在于，基于大模型的作業執行模塊根據所述子任務的任務內容，驅動所述機器人開展作業，包括：
7.根據權利要求6所述的機器人巡檢作業方法，其特征在于，若所述視覺語言動作大模型規劃作業子動作集合失敗，或所述視覺語言動作大模型判定所述機
8.根據權利要求7所述的機器人巡檢作業方法，其特征在于，根據所述操作數據訓練機器人的作業技能，以及更新所述作業技能庫，包括：
9.一種機器人巡檢作業裝置，其特征在于，包括：
10.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至8任一項所述的機器人巡檢作業方法。
...【技術特征摘要】
1.一種機器人巡檢作業方法，其特征在于，包括：
2.根據權利要求1所述的機器人巡檢作業方法，其特征在于，所述設施布置圖包括車站信號設備平面布置圖、地鐵站站層圖、地鐵車輛段布置圖、消防平面布置圖。
3.根據權利要求1所述的機器人巡檢作業方法，其特征在于，基于視頻語言大模型的推理導航模塊結合所述子任務以及機器人端實時采集的視頻數據，生成所述機器人的導航指令，包括：
4.根據權利要求3所述的機器人巡檢作業方法，其特征在于，所述標志語意包括軌道交通線路標志、地鐵站引導標志、設備文本標志、車輛段引導標志。
5.根據權利要求1所述的機器人巡檢作業方法，其特征在于，基于地形和障礙物感知的運動控制模塊按照所述導航指令控制所述機器人運動至作業位置，包括：
6...
【專利技術屬性】
技術研發人員：肖曉暉，朱成立，馮朝，張宗達，劉婧雯，羅寧，葉浩博，
申請(專利權)人：武漢大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。