LeRobot推出v0.5.0全新版本,实现Humanoid全身控制与实时策略突破

6 阅读4分钟开源
LeRobot推出v0.5.0全新版本,实现Humanoid全身控制与实时策略突破

核心亮点概览

LeRobot v0.5.0 是迄今为止功能最全、扩展最广的版本,主要包括四大方向的升级:硬件兼容、策略模型、数据管线以及代码基座。以下逐项拆解。

硬件扩展:从臂式机器人到全身Humanoid

  • Unitree G1 Humanoid:首次完整支持该全身机器人,实现行走、导航、抓取以及全身协同控制(Whole‑Body Control),可通过遥控界面实现实时操作。
  • OpenArm & OpenArm Mini:新增双臂配置,Mini 作为专用遥操作设备,提升双臂协作能力。
  • 新增移动与臂式平台:Earth Rover(户外移动)、OMX Robot(可配置抓手)以及 SO‑100/101 合并为统一代码库,降低维护成本。
  • CAN 总线电机驱动:引入 RobStride 与 Damiao 两款高扭矩 CAN 总线控制器,兼容更专业的执行器。

策略模型与技术创新

  • Pi0‑FAST Autoregressive VLA:基于 Gemma 300M 的自回归动作序列生成,配合 FAST Tokenization,实现灵活的温度调节与步数控制。
  • 实时分块推理(RTC):在流式推理阶段持续融合新预测,显著降低响应延迟,适配所有流匹配类策略(Pi0 系列、SmolVLA、Diffusion)。
  • Wall‑X:基于 Qwen2.5‑VL 的视觉语言动作模型,融合强大的跨模态理解与流匹配控制头。
  • X‑VLA:采用微软 Florence‑2 作为视觉语言骨干,为 VLA 策略提供多样化的基础模型。
  • SARM(阶段感知奖励建模):通过预测任务阶段与阶段内进度,解决长时序任务的学习难题。
  • PEFT 支持:LoRA 等高效微调技术可直接在策略层面接入,大幅降低大模型微调成本。

数据管线与仿真环境

  • 流式视频编码:录制过程中实时硬件加速编码,消除剧集间的等待时间,实现“录完即训”。
  • 10× 图像训练加速 & 3× 编码加速:底层数据访问瓶颈被消除,CPU 利用率提升,训练吞吐显著提升。
  • 新数据工具:子任务标注、图像‑视频转换、多种编辑操作以及更细粒度的编解码配置,提升数据质量与可用性。
  • EnvHub:直接从 Hugging Face Hub 拉取仿真环境,无需本地安装,使用 --env.type=hub 即可快速注册。
  • NVIDIA IsaacLab‑Arena 集成:GPU 加速的高并行仿真任务库,配合 LeRobot 完整训练流水线,适用于大规模强化学习。

代码基座与社区生态

  • Python 3.12+ 与 Transformers v5:现代语法与最新模型生态同步,提升开发体验。
  • 第三方策略插件化:通过 pip install lerobot_policy_xxx 即可加载自定义策略,无需修改核心代码。
  • 远程 Rerun 可视化:支持压缩图像流式传输,便于跨地域调试。
  • 文档与社区升级:版本化文档、自动标签系统、Discord 频道重构,降低新手上手门槛。
  • ICLR 2026 论文录用:LeRobot 相关研究正式进入主流学术会议,进一步提升项目影响力。

结语

LeRobot v0.5.0 以硬件多样性、策略创新、数据高效和生态成熟四大维度实现同步扩展,为科研机构和企业提供了从仿真到真实部署的完整闭环。社区已贡献 200+ PR 与 50+ 新开发者,展现出强大的开源活力。下一步,团队预告将继续深化 Humanoid 控制、扩展多模态策略,并探索更大规模的分布式训练路径。

如需快速上手,请访问 LeRobot 官方 GitHub 与 Hugging Face Hub 的完整文档。

本文是对第三方新闻源的主观解读。消息可能出现过时、不准确、歧义或错误的地方,仅供参考使用。点击此处查看消息源。