Thinking Machines发布Inkling首个1万亿参数多模态开源大模型

模型概览

Inkling是由Thinking Machines开源的超大规模多模态语言模型，拥有约9750亿总参数、其中41 B为活跃参数，采用稀疏Mixture‑of‑Experts（MoE）设计。模型原生支持图像、音频和文本三模态输入，并配备1 M的上下文窗口，能够一次性处理长篇文档或跨模态对话。

关键技术亮点

• 稀疏MoE架构：256个专家中仅激活6个，加上2个共享专家，实现参数规模与计算效率的平衡。
• 相对注意力：摒弃传统RoPE，直接在注意力logits中学习相对位置信息，提高长序列建模能力。
• 混合注意力：全局注意力与滑动窗口注意力交替出现，5:1的比例实现了全局语义捕获与局部计算效率的双重优势。
• 短卷积（SConv）：在隐藏层加入1维短卷积，强化局部特征感知，减轻注意力模块的局部负担。
• 多模态塔：图像采用层级线性Patchifier，音频使用离散化Mel谱图嵌入，两者统一映射至同一隐藏空间，支持视频帧的时间维度扩展。

推理生态

Inkling在发布之日即获得transformers 5.14.0的day‑0支持，并可通过以下主流推理框架快速部署：

• SGLang：提供自定义模型实现，支持8卡Tensor‑Parallel部署，默认开放OpenAI兼容API。
• vLLM：一键shard并启动OpenAI兼容服务，适配多节点SLURM调度。
• llama.cpp 与 Unsloth：提供1‑bit GGUF 量化版本，仅需约600 GB显存即可在单机运行。

针对云端推理，Hugging Face Inference Providers已内置Inkling，用户可通过thinkingmachines/Inkling:auto自动选路，首两小时推理费用由官方全额覆盖。

性能基准

在公开的Vibe‑Eval多模态评测中，Inkling在文本‑图像、文本‑音频以及多选题任务上均实现了与同规模商业模型相当或更优的准确率。例如，在MMMU‑Pro视觉推理测试中，使用中等推理力度（reasoning_effort=0.7）时的token消耗约为1.3k‑3.3k，显著低于传统全参数模型。整体综合得分在所有对比模型中位居前列，尤其在工具增强推理（with_tools）场景下突破了50%+的加速比。

应用场景

• Agentic 编码：配合Pi代码助理，可在本地或云端完成复杂的数学推理与工具调用。
• 文档与音频处理：利用MTP（多令牌预测）层实现高速生成，适用于大规模文档摘要、会议记录转写等。
• 跨模态问答：支持一次性输入图文音三模态，能够在医学、化学等专业领域实现多源信息融合推理。

Inkling的开源策略配合丰富的推理接口，意在降低企业和科研机构构建多模态AI系统的门槛，促进社区共建与后续微调生态的快速成长。

“我们希望通过开放权重和完整的实验脚本，让每一位开发者都能在多模态大模型上进行创新。”——Thinking Machines 官方声明