蚂蚁集团Robbyant发布LingBot-World‑Infinity 14B因果视频模型 打造交互式世界模拟器

背景介绍

Robbyant 是蚂蚁集团的具身智能部门，长期聚焦于大模型在仿真和交互场景的落地。本次发布的 LingBot‑World‑Infinity（亦称 LingBot‑World 2.0）是一款 14 B 参数的因果视频生成模型，能够在用户提供动作指令后逐帧生成连贯视频，定位于交互式世界模拟的前沿应用。

技术创新

• MoBA 注意力：模型核心采用双向与自回归混合的 Mixture of Bidirectional and Autoregressive（MoBA）注意力掩码，使得每一帧既能利用前向信息，又保留必要的双向上下文，显著降低长时程漂移导致的纹理模糊与几何扭曲。
• 分布匹配蒸馏（DMD）：在长序列自回滚轨迹上进行分布匹配蒸馏，进一步提升跨帧一致性，确保长达数十分钟的连续生成仍保持视觉质量。
• Director‑Pilot 代理框架：由视觉语言模型（VLM）担任 Director 提出事件脚本，Diffusion Transformer（Pilot）负责渲染，二者协同实现“指令‑生成‑反馈”闭环。

使用方式与性能

模型提供两套入口：

1. 原始脚本（8 GPU、480×832 分辨率）——通过 generate.py 采用 KV‑Cache 逐块推理，支持 60 fps 实时流式输出。
2. Diffusers 接口——一行代码即可在 diffusers 包中加载 checkpoint，适配单卡或多卡推理。

在公开的 60 分钟演示中，模型完成了 20 种场景的连续生成，覆盖自然风光、城市场景等多样化内容。官方文档还提供了 TensorRT 加速的 spatio‑temporal refiner，能够将解码帧上采样并插帧至 48 fps、1664×960 的高分辨率。

生态与授权

• 开源程度：发布仅包含单一 14 B checkpoint、480P 参考脚本以及 Diffusers checkpoint，未提供完整部署代码或量化工具。
• 授权协议：采用 CC BY‑NC‑SA 4.0，禁止商业化再分发，适用于学术研究、原型验证及内部产品实验。
• 生态接入：模型已在 Reactor 平台上注册为 reactor/lingbot-world-2，支持 API 调用、状态化指令（如 set_move_longitudinal）以及实时帧流输出。

业界影响

LingBot‑World‑Infinity 的发布标志着因果视频生成在交互式仿真领域的首次大规模开源尝试。相较于传统的离线渲染或基于 GAN 的短视频模型，它在长时程一致性与即时交互方面展示了可操作性。

• 游戏与关卡原型：开发者可用单张种子图快速迭代天气、光照等视觉要素，显著缩短美术资源制作周期。
• 机器人与政策学习：生成的第一人称视角视频可直接喂入动作策略学习器，降低对高成本模拟环境的依赖。
• 视频理解数据：基于块级提示生成的时序标注，为视频检索、时空分割等下游任务提供高质量合成数据。

尽管缺乏官方基准（VBench、FVD）和商业化部署套件，LingBot‑World‑Infinity 已在学术社区和开源生态中引发热议，预计后续将催生更多基于因果视频的大模型应用与评测框架。