用于通過人工操作員對機器進行遠程控制的遙操作方法和人機界面技術

本發明專利技術涉及用于使用遠程控制單元由人工操作員（５）來對機器進行遠程控制的遙操作方法和人機界面，特別是對無人駕駛飛機進行遠程控制的遙操作方法和人機界面，其中，將前庭反饋提供給操作員（５）以增強操作員（５）的環境感知，其中，前庭反饋表示遠程控制機器的真實運動。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及一種用于使用遠程控制單元由人工操作員來對機器進行遠程控制的遙操作(teleoperation)方法，特別是用于對無人機(UAV)進行遠程控制的遙操作方法。此外，本專利技術涉及一種用于在前面提到的遙操作方法中使用的人機界面(HRI)。
技術介紹
在現代戰爭中，在偵查任務甚至是戰斗任務中使用所謂的無人機(UAV)。通常而言，這些UAV是由操作員遠程控制的，操作員經由無線電通信鏈路與UAV連接。然而，在這種遠程控制場景中，操作員的環境感知(situational awareness)較差可能導致錯誤的反應，并且在最壞的情況中，會導致無人機的完全損失。因此，用于對UAV進行遠程控制的傳統遙操作方法是不盡如人意的，這是因為這些傳統方法經常導致操作員的錯誤反應和相當數量的完全無人機損失。
技術實現思路
因此，本專利技術的一個目標是改善前面提到的用于對UAV進行遠程控制的傳統遙操作方法。本專利技術的進一步目標是提供用于在新穎的遙操作方法中使用的人機界面(HRI)。這些目標是通過根據獨立權利要求的新穎的遙操作方法和相應的人機界面來實現的。專利技術人已經認識到前面提到的遠程控制的UAV的損失主要是由操作員的環境感知較差所導致的。因此，本專利技術通過向操作員提供前庭(vestibular)反饋來改善操作員的環境感知。優選地，前庭反饋是通過向操作員施加與遠程控制機器的運動相對應的運動來向操作員提供的，使得操作員感受到猶如該操作員在遠程控制機器(例如，UAV)上那樣的大體上相同的前庭感覺。但是，在本專利技術的上下文中所使用的術語“前庭反饋”不限于其中操作員完成大體上與遠程控制機器相同的運動的這些實施例。提供給操作員的前庭反饋僅包括少于三個自由度的操作員運動是非常有可能的。舉例而言，有可能操作員經歷與俯仰角和翻轉角相關的運動，而偏航角是固定的。進一步，有可能前庭反饋僅重現遠程控制機器的空間方位，而提供給操作員的前庭反饋不重現遠程控制機器的加速度。但是，優選地，前庭反饋重現與遠程控制機器的真實運動盡可能地相似的操作員運動。優選地，新穎的遙操作方法包括確定表示遠程控制機器的真實運動的前庭數據的步驟。隨后，基于遠程控制機器的前庭數據來確定前庭反饋。接著，向操作員施加與遠程控制機器的運動相對應的運動，其中，操作員的運動提供前庭反饋，并且操作員的運動是根據遠程控制機器的前庭數據來產生的。針對確定用于產生前庭反饋所需要的前庭數據，有若干不同的選擇。在本專利技術的一個實施例中，表示遠程控制機器的真實運動的前庭數據是由遠程控制機器的機載傳感器來測量的。舉例而言，UAV上可能載有陀螺儀和加速計，其中，這些傳感器以遠程控制機器的姿態(例如，俯仰角、翻轉角、偏航角和線性坐標)、UAV的速度和加速度的形式來測量前庭數據。隨后，由機載傳感器測量的前庭數據經由通信鏈路(例如，無線電通信鏈路)從遠程控制機器發送到遠程控制單元。在本專利技術的另一個實施例中，表示遠程控制機器的真實運動的前庭數據是由固定的運動跟蹤系統來遠程測量的，使得不需要將前庭數據經由無線鏈路從遠程控制機器發送到遠程控制單元。適當的運動跟蹤系統在商業上是可用的，例如，來自威康運動系統(Vicon Motion System)公司的運動跟蹤系統，使得不需要對運動跟蹤系統作進一步的解釋。進一步的，前庭數據可以由前面所提到的替代物的混合來計算。舉例而言，可以通過機載傳感器來測量原始數據。隨后，原始數據被發送到遠程控制單元，在遠程控制單元處，原始數據被用于例如更新遠程控制機器的動態模型。在本專利技術的另一個實施例中，完全不測量表示遠程控制機器的真實運動的前庭數據，前庭數據是根據從遠程控制單元發送到遠程控制機器的運動命令來得到的。換句話說， 可以在考慮遠程控制機器的行為的動態模型的情況下基于運動命令信號來計算前庭數據。在本專利技術的一個優選的實施例中，前庭反饋是通過承載操作員的自動設備 (robot)提供給操作員的。優選地，自動設備是多軸串行操縱器，后者包括通過接合部連接的若干個連桿(link)。這種多軸自動設備在商業上是可用的，例如，來自德國公司KUKA Roboter股份有限公司的品牌Robocoaster 。但是，也可以使用來自不同廠商的其他類型自動設備來實現本專利技術。或者，自動設備可以是并行操縱器，特別是所謂W^ewart平臺。在優選的實施例中，本申請額外地向操作員提供其他類型的反饋(例如，視覺反饋、聲反饋和/或觸覺反饋)，以進一步增強操作員的環境感知。對于向操作員提供視覺反饋，有不同的選擇。在本專利技術的一個實施例中，虛擬場景是基于遠程控制機器的前庭數據來計算的。隨后，將虛擬場景顯示給操作員。在本專利技術的另一個實施例中，遠程控制機器(例如，UAV)包括用于從遠程控制機器的視角來拍攝照片的機載相機。隨后，這些圖像經由通信鏈路發送到遠程控制單元，在遠程控制單元處，將這些圖像顯示給操作員。前面已經提到，優選地，遠程控制機器和遠程控制單元之間有通信鏈路。這個通信鏈路優選的是無線鏈路(例如，無線電通信鏈路、紅外遠程控制鏈路或超聲遠程控制鏈路)。但是，遠程控制機器和遠程控制單元之間的通信鏈路也可以是有線通信鏈路。舉例而言，遠程控制機器和遠程控制單元可以通過光學纖維或電力電纜來互連。此外，已經提到，優選地，前庭數據包括遠程控制機器的姿態，特別是遠程控制機器的俯仰角、翻轉角、偏航角和/或線性坐標。進一步，前庭數據可以包括遠程控制機器的速度，特別是遠程控制機器的俯仰角、翻轉角和/或偏航角的時間變化。此外，前庭數據包括遠程控制機器的加速度(特別是遠程控制機器的俯仰角、翻轉角和/或偏航角的加速度) 是可能的。換句話說，前庭數據優選地包括遠程控制機器的所有運動數據，這些數據對于重現幾乎相同的操作員運動而言是必要的。在本專利技術的一個優選的實施例中，遠程控制機器是無人機(UAV)，這已經在上文中提到。但是，遠程控制機器是無人地面車輛(UGV)，特別是無人地面戰斗車輛(UGCV)也是可能的。本專利技術的進一步應用包括對遠程操作的水下運載工具或無人宇宙飛船進行遠程控制。此外，本專利技術在醫學
中對所謂的納米機器人進行導航以使其通過動物體而言可能是有用的。在本專利技術的優選實施例中，在基于經過濾的前庭數據來確定前庭反饋之前，對前庭數據進行過濾，其中，前庭數據的過濾確保了提供給操作員的前庭反饋符合安全限制和/ 或機械限制。舉例而言，如果遠程控制的UAV與另一個飛行物或地面碰撞，則不期望在前庭反饋中重現該UAV的墜毀，這是因為前庭反饋設備(例如，自動設備)和操作員將會由于墜毀的重現而機械性地過度緊張。進一步需要注意的是，本專利技術不限于前面所提到的新穎的遙操作方法。本專利技術還包括用于在前面提到的遙操作方法中使用的相應的人機界面(HRI)。這個新穎的人機界面的特征在于其向操作員提供前庭反饋以增強操作員的環境感知，其中，前庭反饋表示遠程控制機器的真實運動。在本專利技術的優選實施例中，人機界面包括用于從遠程控制物接收前庭數據的接收機，其中，前庭數據是由上面所提到的機載傳感器來確定的。進一步，優選地，人機界面包括用于基于經由通信鏈路從遠程控制機器接收的前庭數據來確定適當的前庭反饋的控制器。此外，根據本專利技術的人機界面優選地包括用于向操作員提供前庭反饋的前庭反饋設備。優選地，前庭反本文檔來自技高網...

【技術保護點】
１．一種用于使用遠程控制單元（２）由人工操作員（５）來對機器（１）進行遠程控制的遙操作方法，特別是用于對無人機進行遠程控制的遙操作方法，其特征在于：向所述操作員（５）提供前庭反饋以增強所述操作員（５）的環境感知，其中，所述前庭反饋表示所述遠程控制機器（１）的真實運動。

【技術特征摘要】
【國外來華專利技術】

【專利技術屬性】
技術研發人員：H·H·比爾特霍夫，
申請(專利權)人：馬克思普朗克科學促進協會，
類型：發明
國別省市：DE