四足 + 机械臂移动操作 · Go2 + ARX L5
2025.09 – 至今
从腿臂联合 PPO、跨引擎迁移到真机抓取，进一步扩展地形感知策略与可微世界模型 Teacher 训练。
- 项目角色：独立完成 · 核心研发。
- 联合控制与末端跟踪：统一底盘速度、运动模式与末端目标，在浮动基座与腿臂动力学耦合下学习行走稳定性和末端跟踪；在平地策略中以历史观测估计基座速度，并随速度连续融合行走 / 操作奖励。
- 地形感知策略：基于 LeggedManip_Lab、参考 AME2，以 CNN 编码真值局部高度图，通过本体状态查询的多头注意力融合地形特征，训练面向粗糙地面、坡道和楼梯的腿臂联合 Teacher。
- 可微世界模型训练 Teacher：以地形、状态动作与动力学参数预测状态增量；采用 8 步模型拟合与 32 步想象，结合可微地形查询、FK 奖励及末端价值，通过 BPTT 更新 Teacher Actor，以想象轨迹的 λ-return 训练 Critic。
- 真机部署：完成原 PPO 路线 Isaac Gym → MuJoCo 迁移；基于 unitree_sdk2 / DDS / ARX CAN 接入真机，通过观测时间戳对齐与共享状态加锁处理时序和并发问题，结合 D435i、YOLOv8 与抓取状态机完成水瓶抓取。
验证：新增复杂地形仿真行走演示；原平地 PPO 路线已完成跨引擎迁移与真机水瓶抓取。
PPO · 联合控制、迁移与真机演示
腿臂联合策略从 Isaac Gym 训练迁移至 MuJoCo，并在 Go2 + ARX L5 上完成末端跟踪与水瓶抓取。
仿真训练
腿臂联合策略训练原平地 PPO 路线 · Isaac Gym18 秒精选 · 1.0 MB
Sim-to-Sim
跨引擎迁移原平地 PPO 路线 · MuJoCo18 秒精选 · 1.1 MB
真机演示
Go2 + ARX L5 · 水瓶抓取原 PPO 路线 · 目标检测与分阶段抓取18 秒精选 · 1.4 MB
真机演示
真机末端跟踪Go2 + ARX L5 · 腿臂协调控制18 秒精选 · 1.4 MB
地形感知策略 · 复杂地形行走
在原有移动操作工作上补充地形感知 Teacher 与世界模型训练流程；下面展示 Go2ARX L5 在粗糙地面、坡道和楼梯中的仿真行走。
Isaac Lab · 仿真
Go2ARX L5 · 地形行走粗糙地面 → 上坡 → 下坡 → 上楼梯 → 下楼梯；每段约 4 秒20 秒精选 · 1.1 MB
方法参考：LeggedManip_Lab · AME2
多机器人全身动作跟踪 · LimX Oli / Unitree G1
2026.06 – 至今
围绕人形机器人全身动作跟踪，完成 PPO 策略训练、跨引擎迁移与部分真机部署，并进一步实现世界模型 / BPTT 与 RGMT 时序策略，展示不同训练方法和 Actor 结构在 G1、HU 上的动作跟踪结果。
- 项目角色：独立负责机器人适配、算法扩展与验证。
- 多机器人适配：衔接 GMR 重定向与 motion bank，统一 HU 31 关节、G1 29 关节的观测、动作、参考轨迹与任务配置，支持单动作及动作类别训练。
- 课程与样本利用：实现 LKE 四级课程，结合动作活跃度、失败率与学习进展调整采样；引入全身跟踪质量判据，并扩展 STAR 高价值轨迹片段重采样与 PACE 旧阶段复习、教师蒸馏。
- 训练与部署：打通 GMR 动作重定向 → Isaac Lab 策略训练 → MuJoCo 迁移 → LimX Oli 部分单动作真机验证流程；支持 CPU / GPU Replay、分块梯度累积、检查点恢复与 ONNX Actor 导出。
PPO · 动作跟踪、跨引擎迁移与真机验证
基于 BeyondMimic 构建 PPO 动作跟踪流程，支持单动作和动作类别训练。已完成 Isaac Lab 中的动作与行走跟踪、MuJoCo 跨引擎迁移，并在 LimX Oli 上完成部分单动作真机验证。
世界模型 + BPTT · MLP Actor 结果
参考 SuperMimic，以 8 步动力学拟合、32 步想象轨迹和可微 FK 奖励训练世界模型，通过 BPTT 将回报梯度传回 MLP Actor。已在 G1、HU 上完成仿真动作跟踪演示；WM-PPO 保留为消融选项。
世界模型 + BPTT · RGMT-FSQ Actor 结果
在世界模型 / BPTT 训练流程中引入 RGMT 时序 Actor，以历史状态动作的因果注意力、未来参考的交叉注意力和 FSQ 条件命令生成关节动作。已在 G1、HU 上完成仿真演示；G1 与上组采用同一 fight1_subject2 动作，HU 均展示各自 Episode 1。
方法参考：BeyondMimic · SuperMimic（可微世界模型 / BPTT）
