LeRobot 0.6.0发布全新世界模型与奖励系统 加速机器人学习闭环

关键特性概览

• 想象式世界模型：VLA‑JEPA、LingBot‑VA、FastWAM 三种策略在训练阶段通过预测未来帧提升行为规划，推理时无需额外计算成本。
• 全新视觉语言模型（VLA）：GR00T N1.7、MolmoAct2、EO‑1、EVO1、Multitask DiT 共五款模型，覆盖跨机器人、跨任务的视觉‑语言‑动作能力。
• 奖励模型统一 API：Robometer（基于 Qwen3‑VL‑4B）和 TOPReward（零-shot VLM 评分）实现对任务进度与成功的自动判别。
• 数据集增强：支持深度摄像头、可自定义视频编码、自动语言标注流水线，加载速度提升约 2 倍。
• 统一评测套件：六大仿真基准（LIBERO‑plus、RoboTwin 2.0、RoboCasa365、RoboCerebra、RoboMME、VLABench）通过 lerobot-eval 一键调用。
• 云端与多卡训练：FSDP 分布式训练、HF Jobs 云作业、一键部署 CLI lerobot-rollout，实现 DAgger 纠错闭环。

想象式世界模型

VLA‑JEPA

VLA‑JEPA 采用 Qwen3‑VL‑2B 作为视觉编码器，在潜在空间预测未来帧。训练期间模型必须依据自身动作生成后续画面，推理时模型直接输出动作，零额外开销。提供三套预训练 checkpoint，包括 DROID‑pretrained 基础模型，便于二次微调。

LingBot‑VA

LingBot‑VA 为自回归视频‑动作模型，能够同步生成未来视频片段并实时回馈观测，实现“想象‑落地”闭环。支持 --policy.save_predicted_video=true 保存想象视频，便于对比实际执行效果。

FastWAM

FastWAM 将约 5B 视频生成专家与轻量动作专家合并为单一网络，训练时通过梦境式 rollout 学习，推理时直接去噪得到动作，省去测试时的想象步骤。

新增视觉语言模型（VLA）

• GR00T N1.7：基于 Qwen3‑VL 的 Cosmos‑Reason2‑2B，兼容 NVIDIA Isaac‑GR00T 的输入输出。
• MolmoAct2：Allen Institute 的 VLA，支持 LoRA 微调，单卡 12GB BF16 可零样本运行 SO‑100/101。
• EO‑1：使用 Qwen2.5‑VL‑3B 作为骨干，提供流匹配动作头。
• EVO1：InternVL3‑1B + 流匹配头，仅 0.77B 参数，可实时运行。
• Multitask DiT：约 450M 扩散 Transformer，支持 CLIP 视觉‑语言条件，单模型多任务。

奖励模型统一接口

LeRobot 0.6.0 将奖励模型纳入 lerobot.rewards API。

• Robometer‑4B：在超过 100 万轨迹上训练，可直接对任意数据集进行进度评分，无需任务专属微调。
• TOPReward：零-shot 方案，利用任意强大 VLM（如 Qwen3‑VL）读取 “True” token 的对数概率，实现即插即用。

数据集与编码升级

• 自定义视频编码：--dataset.rgb_encoder.* 参数开放 codec、quality、pixel format 等选项，自动检测 NVENC、VideoToolbox、VAAPI、QSV 硬件加速。
• 深度感知：接入 Intel RealSense，深度流以 12‑bit 视频形式存储，可在 SO‑100/101、Koch、Unitree G1 等平台端到端使用。
• 自动语言标注：lerobot-annotate 调用 Qwen2.5‑VL‑7B‑Instruct 为每帧生成子任务、计划、VQA 对话等结构化标注，生成可直接用于长时序对话机器人训练的数据。

统一评测基准

六大基准覆盖 bimanual 操作、厨房任务、记忆考核、知识推理等场景，均提供 Docker 镜像与基线 checkpoint。通过 lerobot-eval 可并行评估，整体评测速度提升约 2 倍。

训练与部署新体验

• FSDP 分布式：利用 Accelerate 实现参数、梯度、优化器状态全切片，支持跨 GPU 训练并自动合并为单文件 checkpoint。
• HF Jobs 云训练：在命令行加入 --job.target=a10g-small 即可在云端启动，从 T4 到 8× H200 均可按需计费。
• lerobot-rollout CLI：提供基础运行、实时 Chunking、DAgger 纠错等策略，自动记录失败片段并上传至 Hub，形成闭环数据流。

生态与社区

LeLab 浏览器 UI 将整个工作流（标定‑遥控‑录制‑本地/云训练‑部署）整合，无需 CLI；Isaac Teleop 与 NVIDIA 合作实现 VR 控制；全新硬件指南列出 RTX 4090‑4× H100 各模型的显存需求与训练时间基准。

结语：LeRobot 0.6.0 通过想象式世界模型、统一奖励系统以及从数据到部署的全链路升级，显著降低了机器人学习的门槛。社区贡献、学术合作与工业伙伴的共同努力，使其成为开源机器人 AI 生态的里程碑。立即在 Hugging Face Hub 下载并开始实验吧。