四足 + 机械臂 Loco-Manipulation · Unitree Go2 + ARX X5
2025.09 – 2026.06
- 全身协调控制策略:浮动基座四足 + 6 自由度机械臂统一为 18 维动作空间,NVIDIA Isaac Gym 4096 并行训练,真机 50 Hz 策略 / 200 Hz 电机双速率闭环(unitree_sdk2 / DDS / ARX CAN)。
- 对比规则视觉抓取(YOLOv8 + 状态机)与 Diffusion Policy 端到端抓取两种范式,真机完成水瓶抓取全流程演示。
仿真训练
Isaac Gym
仿真迁移
MuJoCo
真机抓取
Go2 + ARX
人形机器人 BeyondMimic motion tracking 复现 · LimX Oli
2026.06 – 至今
- BeyondMimic 论文(arXiv:2508.08241v4)motion tracking 部分复现:DeepMimic 风格奖励 + PPO + 每动作一策略。Versatile control / guided diffusion 部分复现进行中。
- LAFAN1 / AMASS 等人体动作经 GMR 重定向到 LimX Oli 关节空间 → NVIDIA Isaac Lab 训练 → MuJoCo sim-to-sim → 已在真实硬件上完成策略部署。
仿真训练
Isaac Lab
仿真迁移
MuJoCo
GMR 通用动作重定向与训练数据生成管线
2026.05 – 2026.08
- 为新机器人构建可复用动作重定向管线:通用帧筛选替代人工挑帧,frame-selection JSON 统一输入,IK 候选生成 + 再标定提升初始化鲁棒性,首尾平滑优化动作可执行性。
- 打通 GMR 至 whole_body_tracking 导出链路:批量 pkl 生成、优化与 CSV / NPZ 转换,支撑训练数据集自动构建。
筛帧演示
GMR
初始重定向
init
再标定
calibrated
优化
optimized
推式对齐(CNC 刀具) · IEEE CAOS 2026(第一作者)
2024.09 – 2025.08
- Diffusion Policy + 语义一致 sim-to-real:1D temporal-conv U-Net 生成动作,U-Net 分割做颜色空间对齐,缩小 sim-real 视觉差异。
- 仿真成功率 96%;三种 CNC 刀具真机各 30 次实验成功率 90.0% / 86.7% / 83.3%,外部位置扰动下可快速恢复。
LimX TRON 1 双足行走
2025.09 – 2026.05
- NVIDIA Isaac Gym 4096 并行环境大规模训练,施加质量 / 质心 / 摩擦 / 力矩等领域随机化;多目标奖励 + 步态时钟 + 历史观测缓解部分可观测性;Isaac Gym → MuJoCo 跨引擎 sim-to-sim 迁移验证。
- 真机稳定动态行走。
DexUMI 复现 · CoRL 2025 Best Paper Finalist
2025.06 – 2025.09
- 轻量化可穿戴外骨骼将人手运动轨迹约束至灵巧手运动学空间,部署至 UR5 + Inspire-Robotics RH56DFX 真机平台。
LimX Oli 电磁定位遥操作
2026.05 – 2026.07
- 3 发射器(双腕 + 头部)+ 1 接收器(腰部)6-DoF 电磁位姿采集;构建至 LimX Oli 基座坐标系的转换,针对操作员身高 / 臂长差异设计个性化标定流程。