Moonshot AI发布Kimi K3，首款2.8万亿参数开源MoE模型，支持百万级上下文

关键亮点

规模：2.8 万亿参数，属于全球首个开放的3T级模型。
稀疏结构：采用Stable LatentMoE，仅激活16/896专家，显著降低计算成本。
上下文：原生支持1 百万token的超长上下文，适配大规模文档与多模态交互。
架构创新：引入Kimi Delta Attention（KDA）和Attention Residuals（AttnRes），分别在序列长度和模型深度上提升信息流动效率。
兼容性：基于OpenAI SDK的统一接口，支持OpenAI‑compatible调用方式。

架构创新

Kimi Delta Attention 是一种混合线性注意力机制，官方称其在百万级上下文下可实现最高6.3倍的解码加速。

Attention Residuals 则在模型深度方向上进行选择性表征检索，而非统一累加，提升约25%训练效率，额外成本低于2%。

除此之外，模型还加入了

Quantile Balancing：通过路由分数分位直接分配专家，省去传统的平衡超参数。
Per‑Head Muon：对每个注意力头独立优化。
Sigmoid Tanh Unit（SiTU） 与 Gated MLA：增强激活控制与注意力选择性。

这些改进让Kimi K3在相同算力下的整体扩展效率约为前代K2的2.5倍。

基准表现

在Moonshot自研评测套件中，K3在多项任务上领跑：

Program Bench：77.8 分，超越Claude Fable 5的78.7分（该分数为fallback后得分）。
SWE Marathon：42.0 分，领先多数开源模型。
BrowseComp：91.2 分（在300K token上下文压缩场景下）。
Automation Bench、OmniDocBench 也均保持领先。

唯一的短板是对 FrontierSWE 与 HLE‑Full 两项指标仍落后于Claude Fable 5 与 GPT 5.6 Sol。

商业化与定价

Kimi K3 通过 OpenAI SDK 兼容的接口提供服务，计费结构为：

缓存命中：$0.30 / MTok
缓存未命中：$3.00 / MTok
输出：$15.00 / MTok

官方称在编码工作负载下缓存命中率超过90%，有效控制成本。模型权重采用 MXFP4 量化，激活使用 MXFP8，兼容多种硬件加速器；推荐在 64 节点以上的超级节点配置下运行。

市场意义

Kimi K3 的发布标志着开源大模型进入了万亿参数时代，首次在公开渠道提供 1 M‑token 上下文能力，为长文档理解、代码库检索、跨模态协同等高价值场景打开了可能。虽然在部分极限基准上仍逊色于商业闭源模型，但其开放性、成本优势以及与现有生态的兼容性，使其在企业内部部署和学术研究中具备强大吸引力。

“我们希望通过开放的规模和高效的稀疏技术，让更多组织能够在本地或私有云上运行类似 GPT‑5 规模的模型。” — Moonshot AI 技术负责人

未来，随着更多社区贡献和硬件算力的提升，Kimi K3 有望在生成式AI、长时序推理以及多模态协同等前沿任务中发挥更大作用。