(RAL 22) Tactile Gym 2.0 Sim-to-Real Deep Reinforcement Learning for Comparing Low-Cost High-Resolution Robot Touch

Abstract 摘要

[!Abstract] 研究背景

  1. 高分辨率光学触觉传感器在机器人学习环境中越来越受欢迎
  2. 触觉机器人平台、专业模拟软件和缺乏通用性的sim-to-real方法的成本很高

[!Todo] 研究目的

  1. 扩展Tactile Gym模拟器，包括三种新的光学触觉传感器（TacTip、DIGIT和DigiTac）
  2. 证明单一的Sim-to-Real方法可以用于这些不同的传感器以实现强大的现实世界性能

Contribution 主要贡献

[!Success] 主要贡献

  1. Tactile Gym扩展：将Tactile Gym从单一触觉传感器扩展到三种低成本、高分辨率光学触觉传感器。
  2. 实验验证：在三个需要触觉的物理交互任务（物体推动、边缘跟随和表面跟随）上验证了扩展环境。
    • Object Pushing
    • Edge Following
    • Surface Following
  3. 降低门槛：通过适配到一个便宜的4-DoF机器人臂(DOBOT MG400)上，进一步促进了这一基准的传播

Relative Work 相关工作

[!example] 相关工作

  1. DRL in Tactile Robotics：已被证明在解决许多顺序决策问题上是成功的
  2. Tactile Sim-to-Real Transfer：两种主要方向来缩小触觉的Sim-to-Real差距
    • 使用有限元（Finite Element）方法来模拟传感器变形动力学
    • 利用图像渲染（Image Rendering）方法来复现感官数据

Method and Experiment 方法与实验

A. Tactile Robot System 触觉机器人系统

[!info] 不同触觉仿真器的对比
[1] Tactile-Gym – (CoRL 22) Tactile Sim-to-Real Policy Transfer via Real-to-Sim Image Translation
[21] No Name by Unity – (ICRA 20) Sim-to-real transfer for optical tactile sensing
[23] Taxim – (RAL 22) Taxim: An Example-Based Simulation Model for GelSight Tactile Sensors

xxx

B. Tactile Sim-to-Real Deep RL Framework 触觉Sim-to-Real深度强化学习框架

[!todo] Framework

  1. Online Learning
  2. Domain Adaption
  3. Zero-Shot Sim-to-Real

1. Optical Tactile Sensors 光学触觉传感器

xxx

2. Real-to-Sim Tactile Image Transition 触觉图像转换

xxx

3. Online RL in Tactile Gym 在线强化学习

xxx

4. Sim-to-Real Policy Transfer 策略迁移

xxx

DOBOT MG400

xxx