遠隔物体操作インターフェイス

協調制御による遠隔操作支援(Shared Control For Enhanced Teleoperation)

本研究テーマでは、誰もが熟練者のように遠隔ロボットを操作することを可能にする協調制御手法について研究開発を行なっております。 協調制御では、AIによる環境認識、軌道生成、把持計画、衝突回避を活用し、人の操作入力と組み合わせることで、直感的かつ作業効率の良い遠隔操作を実現します。 従来の遠隔操作では、通信遅延や感覚フィードバックの欠落による操作性の低下が問題となっています。 知能を伴う操作支援を行うことにより、様々な場面においても高い操作性を維持可能な遠隔操作システムの構築に取り組みます。 また、本研究テーマは日本 (Nagoya University)、ドイツ (Technische Universität Darmstadt)、フランス (École Centrale de Lyon)で構成される国際研究チームにて共同で行なっております。

遠隔操作のための接触式触覚インタフェイス開発

従来の遠隔操作インタフェイスでは、遠隔操作時の触覚フィードバックとして、主に力覚の伝送について研究開発されてきました。 しかし、In-Hand Pivotingのような既に把持された対象物の姿勢が手中で常に変化し、目標の姿勢へと調整する器用な操作では、接触面の法線方向力に加えせん断力の提示が重要です。 せん断力の提示により、把持物表面の滑りや姿勢の変化を随時に知覚することが可能となります。 開発した接触式触覚インタフェイスでは、多点接触式を採用することにより、引っ張るやねじるといったより複雑な皮膚変形を生成でき、把持対象物の手中での姿勢変化を忠実に提示できます。 本研究の成果は、日刊工業新聞にて取り上げられました(日刊工業新聞, ニュースイッチ)。

触覚センサの遠隔操作への応用

近年、視覚ベースの触覚センサは、ロボティクス分野や機械学習分野で広く注目を集めています。 これらの触覚センサは、ロボットハンドが把持した物体を操作する際に接触情報、すなわち触覚情報を抽出できると期待されています。 このような触覚センサの性質は、遠隔操作において触覚フィードバック系を構築するのに最適です。 本研究では、視覚ベースの触覚センサDIGITやGelsightを使用し、機械学習を用いた接触力推定方法を提案し、推定した力情報バイラテラル制御と連携することで力のフィードバックを行います。 また、接触面の法線方向力に加え、せん断力を推定し接触式触覚インタフェイスと組み合わせることで、触覚フィードバックの可能性を広げます。

大規模言語モデルおよび Human Robot Collaboration による自律ロボットの汎用性向上

本研究では、大規模言語モデル(Chat-GPT)による推論能力を活用し、高レベルの言語コマンドを実行可能な動作シーケンスに変換することで、汎用性の高い自律ロボットを実現します。 提案するシステムは、大規模言語モデルとYOLOによる環境認識を組み合わせ、与えられたコマンドに基づいてロボットが実世界で自律的に合理的な判断とタスク計画を行うことを可能にします。 さらに、大規模言語モデルに起因する行動計画の不正確さに対処するため、遠隔操作を用いた動作教示と動作プリミティブ(Movement Primitives)の連携により、自律ロボットの行動を修正し、追加学習を通してその汎用性を向上させます。

Publications

generated by bibbase.org
  A. Journal Article (5)
A Shared Control Framework for Enhanced Grasping Performance in Teleoperation. Zhu, Y.; Jiang, B.; Chen, Q.; Aoyama, T.; and Hasegawa, Y. IEEE Access. 2023.
link   bibtex  
Intention-reflected predictive display for operability improvement of time-delayed teleoperation system. Zhu, Y.; Fusano, K.; Aoyama, T.; and Hasegawa, Y. ROBOMECH Journal, 10(1): 1–11. 2023.
link   bibtex  
Improvement in the Manipulability of Remote Touch Screens Based on Peri-Personal Space Transfer. Yamamoto, K.; Zhu, Y.; Aoyama, T.; Takeuchi, M.; and Hasegawa, Y. IEEE Access. 2023.
link   bibtex  
Enhancing the transparency by onomatopoeia for passivity-based time-delayed teleoperation. Zhu, Y.; Aoyama, T.; and Hasegawa, Y. IEEE Robotics and Automation Letters, 5(2): 2981–2986. 2020.
link   bibtex  
Auditory Feedback for Enhanced Sense of Agency in Shared Control. Morita, T.; Zhu, Y.; Aoyama, T.; Takeuchi, M.; Yamamoto, K.; and Hasegawa, Y. Sensors, 22(24): 9779. 2022.
link   bibtex  
  B. Invited Journal Paper (1)
遠隔操作における接触式触覚インタフェースの応用. 朱曜南; and 長谷川泰久 ロボット/日本ロボット工業会 編, (272): 45–47. 2023.
link   bibtex   11 downloads  
  C. International Conference (2)
Visual Tactile Sensor Based Force Estimation for Position-Force Teleoperation. Zhu, Y.; Nazirjonov, S.; Jiang, B.; Colan, J.; Aoyama, T.; Hasegawa, Y.; Belousov, B.; Hansel, K.; and Peters, J. In 2022 IEEE International Conference on Cyborg and Bionic Systems (CBS), pages 49–52, 2023. IEEE
link   bibtex   1 download  
Cutaneous Feedback Interface for Teleoperated In-Hand Manipulation. Zhu, Y.; Colan, J.; Aoyama, T.; and Hasegawa, Y. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 605–611, 2022. IEEE
link   bibtex   8 downloads  
  D. Domestic Conference (2)
オンライン会議アプリケーション Zoom を用いたロボット遠隔操作システム. 畑野勝; 朱曜南; 青山忠義; and 長谷川泰久 In ロボティクス・メカトロニクス講演会講演概要集 2022, pages 1A1–T02, 2022. 一般社団法人 日本機械学会
link   bibtex  
環境認識に基づく協調制御を用いた時間遅れのある遠隔操作システムの操作性向上. 房野敬介; 朱曜南; Colan, J.; 青山忠義; and 長谷川泰久 In ロボティクス・メカトロニクス講演会講演概要集 2022, pages 2A1–N05, 2022. 一般社団法人 日本機械学会
link   bibtex  
  undefined (1)
Human Preferences and Robot Constraints Aware Shared Control for Smooth Follower Motion Execution. Chen, Q.; Zhu, Y.; Hansel, K.; Aoyama, T.; and Hasegawa, Y. In 2023.
link   bibtex  
S