蚂蚁集团Robbyant发布LingBot-VA 2.0 实现因果视频动作模型 225Hz异步控制

背景与意义

Robbyant是蚂蚁集团的嵌入式AI团队，致力于将大模型直接用于机器人操控。传统的视频‑动作模型大多基于用于数字内容创作的VAE和双向视频扩散网络，存在重建误差大、推理速度慢、缺乏因果推理等三大瓶颈。LingBot‑VA 2.0通过从头预训练因果DiT，摆脱了对现有生成模型的微调依赖，首次实现了“原生”物理AI模型。

核心技术创新

• 语义视觉‑动作分词器：在传统VAE之上加入感知编码器对齐与动作潜变量抽取，使视觉状态与动作共享同一潜空间，实现了从未标注网络视频中自动获得动作监督。
• 因果 DiT（Diffusion Transformer）：全新因果自注意力架构，前向仅保留时间顺序，避免了双向注意力在闭环控制中的信息泄漏。模型规模约13B参数，实际激活约1.9B。
• 稀疏 MoE 视频流：视频专家采用128个SwiGLU专家的稀疏路由（Top‑8），显著降低每帧计算量；动作专家保持密集FFN，二者共享因果注意力层，实现约2.5B的激活参数。

训练目标与数据

LingBot‑VA 2.0同步优化五大目标：

1. 文本‑图像（T2I）
2. 文本‑视频（T2V）
3. 文本‑视频‑动作（TI2VA）
4. 在上下文中学习（ICL）
5. 人机共训练（Human‑Robot Co‑training） 其中**多块预测（MCP）**通过预测后续三个视频块，克服了单步教师强迫的近视问题，使模型在仅20k步就达到基线45k步的精度，训练速度提升2.3倍。

性能提升

通过一致性蒸馏、低精度编译、长程注意力优化、运行时开销削减四项技术，整体推理时延从927 ms 降至 142 ms，异步控制频率突破 200 Hz，满足实时机器人闭环的苛刻要求。

部署场景与案例

• 少样本上手：仅需10‑15条示范即可完成新任务的快速适配。
• 示范条件控制：人类演示视频可直接替代文本指令，实现“看示范即执行”。
• 大规模数据扩展：利用手部抓取数据映射为机器人并行抓手，构建了 65.4k 条 egocentric 交互序列。
• 实时交互：在空中曲棍球、输送带分拣等高速场景下，模型能够提前预测并实时纠正轨迹，显著降低误差率。

行业影响

LingBot‑VA 2.0的发布标志着生成式视频模型向因果物理AI的关键转折。它证明了大模型可以在不依赖后置微调的情况下，直接学习“世界状态‑动作”映射，为通用机器人操作系统（ROS）提供了可直接部署的感知‑决策后端。未来，随着算力成本的进一步下降，类似的因果视频‑动作模型有望在制造、物流、服务机器人等场景实现规模化落地。

“从视频生成到机器人控制的跨越，核心在于让模型真正‘理解’动作背后的因果关系。”——Robbyant 研究团队