四足 + 机械臂 Loco-Manipulation · Unitree Go2 + ARX X5
2025.09 – 2026.06
- 项目角色:独立完成 · 核心研发
- 全身协调控制策略:浮动基座四足 + 6 自由度机械臂统一为 18 维动作空间,NVIDIA Isaac Gym 4096 并行训练(PPO + Teacher-Student 历史观测编码器估计基座速度潜变量),真机 50 Hz 策略 / 200 Hz 电机双速率闭环(unitree_sdk2 / DDS / ARX CAN)。
- 结合运动 / 操作子奖励构成多目标奖励,整定子奖励权重平衡行走稳定性与末端操作精度。
- 对比规则视觉抓取(YOLOv8 + 状态机)与 Diffusion Policy 端到端抓取两种范式,真机完成水瓶抓取全流程演示。
- 项目成果:真机完成稳定行走、站走切换、末端力位跟随与水瓶抓取全流程演示。
仿真训练
Isaac Gym
仿真迁移
MuJoCo
真机抓取
Go2 + ARX
真机演示
Go2 + ARX
人形机器人 BeyondMimic motion tracking 复现 · LimX Oli
2026.06 – 至今
- 项目角色:独立完成 · 核心研发
- BeyondMimic(arXiv:2508.08241v4)motion tracking 主线复现:DeepMimic 风格奖励 + PPO,支持按单动作与按动作类别训练;对抗训练路线含 teacher pretrain / frozen teacher-student / estimator-only。guided diffusion 部分仍在推进中。
- LAFAN1 / AMASS 等人体动作经 GMR 重映射到 LimX Oli 关节空间(含标定、筛帧、比例校正、穿模处理)→ Isaac Lab 训练 → MuJoCo sim2sim → 单动作路线已完成真机部署验证。
- 项目成果:训练、重映射、sim2sim 迁移链路已打通;单动作路线已完成真机验证,按类别路线持续迭代中。
仿真训练
Isaac Lab
仿真行走
LimX Oli · 仿真
仿真迁移
MuJoCo
真机部署
LimX Oli
GMR 通用动作重定向与训练数据生成管线
2026.05 – 2026.08
- 项目角色:独立完成 · 核心研发
- 基于原版 GMR 构建自动化数据生成管线,实现人体动作 → 机器人训练数据的端到端转换:自动参考帧筛选系统(原版不支持,站立性 / 躯干竖直度 / 四肢自然度 / 双侧对称性 / 接触稳定性多维度指标,生成 natural_standing_bank.json)、IK 配置自动生成(原版需手动配置,自动生成 rot_offset 与 human_scale_table,统一配置管理入口)。
- 重定向后处理优化(增强原版:脚触地时锁定足端位置并重新求解 IK,减少支撑相足端漂移;在默认站姿与动作边界帧间插入支撑脚锁定与摆动脚轨迹生成,实现首尾平滑过渡,避免动作切换时的姿态突变)与批量数据工具(原版不支持:GMR → whole_body_tracking 批量转换 PKL → CSV/NPZ、多机器人同屏回放与录制)。
- 项目成果:构建"自动筛帧 → IK 生成 → 重定向 → 后处理优化 → 批量导出"完整管线,支持 SMPL-X / Xsens / LaFAN1 多源数据到多机器人平台的自动化转换,为强化学习训练提供高质量动作数据。
多机器人重定向
多机 · 初始结果
重定向后处理优化
多机 · 优化结果
筛帧演示
单机 · GMR
重定向结果
单机 · GMR
推式对齐(CNC 刀具) · IEEE CAOS 2026(第一作者)
2024.09 – 2025.08
- 项目角色:独立完成 · 核心研发(第一作者)
- Diffusion Policy + 语义一致 sim-to-real:1D temporal-conv U-Net 生成动作,U-Net 分割做颜色空间对齐,缩小 sim-real 视觉差异。
- 仿真成功率 96%;三种 CNC 刀具真机各 30 次实验成功率 90.0% / 86.7% / 83.3%,外部位置扰动下可快速恢复。
- 项目成果:IEEE CAOS 2026 一作;仿真成功率 96%,三型刀具真机成功率 90.0% / 86.7% / 83.3%。
LimX TRON 1 双足行走
2025.09 – 2026.05
- 项目角色:独立完成 · 核心研发
- NVIDIA Isaac Gym 4096 并行环境大规模训练,施加质量 / 质心 / 摩擦 / 力矩等领域随机化;多目标奖励 + 步态时钟 + 历史观测缓解部分可观测性;Isaac Gym → MuJoCo 跨引擎 sim-to-sim 迁移验证。
- 真机稳定动态行走。
- 项目成果:完成 Isaac Gym → MuJoCo 跨引擎迁移验证,真机实现稳定动态行走。
DexUMI 复现 · CoRL 2025 Best Paper Finalist
2025.06 – 2025.09
- 项目角色:独立完成 · 核心研发
- 轻量化可穿戴外骨骼将人手运动轨迹约束至灵巧手运动学空间。
- 完成相机标定、数据采集、运动学重映射与策略训练,部署至 UR5 + Inspire-Robotics RH56DFX 真机平台。
- 项目成果:完成轻量化可穿戴外骨骼装置与完整数据管线,策略部署至 UR5 + Inspire-Robotics RH56DFX 真机平台。
LimX Oli 电磁定位遥操作
2026.05 – 2026.07
- 项目角色:独立完成 · 核心研发
- 3 发射器(双腕 + 头部)+ 1 接收器(腰部)6-DoF 电磁位姿采集;构建至 LimX Oli 基座坐标系的转换,针对操作员身高 / 臂长差异设计个性化标定流程。
- 项目成果:构建完整 6-DoF 电磁位姿采集与遥操作链路,支持不同操作员身高 / 臂长差异的个性化标定。