NVIDIA发布Nemotron‑Puzzle‑75B‑A9B实现服务器吞吐提升逾两倍
背景
Nemotron‑3‑Super 是 NVIDIA 推出的混合 MoE（Mixture‑of‑Experts）大模型，拥有120.7 B 总参数和12.8 B 有效参数，能够在长上下文任务上保持领先性能。但其 KV‑cache、Mamba 状态以及专家路由的高内存占用，使得在实际部署时对算力和显存的需求异常苛刻。为解决此瓶颈，NVIDIA 在近期的 arXiv 预印本中提出了 Iterative Puzzle 压缩框架，并发布了压缩后模型 Nemotron‑Labs‑3‑Puzzle‑75B‑A9B。
模型压缩技术
Puzzle 框架将模型压缩视为离散的神经结构搜索问题。核心思路是：
- 分层通道剪枝：在每个 MoE 专家内部按贡献度排序，统一削减通道至 75%
- Top‑k 路由削减：将每层路由专家数从原始的 22 降至 50%
- Mamba SSM 状态裁剪：将状态维度从 128 降至 96，提升解码核算速度 1.2‑1.3 倍
压缩过程采用 迭代 方式：先在限定的硬件约束下完成一次轻度压缩并进行短时知识蒸馏恢复；随后再次压缩并恢复，如此循环三次，最终得到 75.3 B 总参数、9.3 B 有效参数的模型。每一步的蒸馏使用 30% 预训练数据 + 70% SFT 数据，并在 32K‑128K 序列长度上进行，累计消耗约 100 B token。
性能提升
在相同的 NVFP4 权重、FP8 KV‑cache 与 FP16 Mamba 状态下，Puzzle‑75B‑A9B 与原模型的区别仅在于参数规模和内部容量分配。实验表明：
- 8×B200 节点：总吞吐从 5.13 K tok/s 提升至 12.6 K tok/s（最高 2.14 倍）
- 单卡 H100（1 M‑token 并发）：并发请求数从 1 提升至 8，解码吞吐约为原模型的 4 倍
- 预填充 990 K‑token Prompt：前置时间提升约 1.2 倍
这些提升在 decode‑heavy（8K/64K）工作负载中尤为显著，而在 prefill‑heavy（50K/2K）场景下增幅相对 modest（约 1.6‑1.9 倍），说明压缩主要优化了解码阶段的显存占用。
基准测试结果
在十项公开基准上，Puzzle‑75B‑A9B 与 Super 的差距总体保持在 1‑2 分以内，具体表现为：
- MMLU‑Pro：83.8 → 82.4（‑1.4）
- GPQA：80.5 → 78.6（‑1.9）
- LiveCodeBench：82.1 → 81.1（‑1.0）
- SWE‑Bench：59.5 → 56.9（‑2.6）
- Arena‑Hard‑V2：最差下降 4.2 分
大多数长上下文评测（RULER‑256K/512K/1M）仅出现 1‑2 分的轻微回退，说明压缩对长文本推理的影响可控。
应用前景与局限
机遇
- 超长上下文检索（RAG）：在单卡 H100 上实现 1 M‑token 并发 8 条，可支撑文档分析、法律审阅等超大文档服务。
- 交互式编码助手：在 8K/64K 解码窗口下，每节点的 token 处理速率提升至 2.0‑2.2 倍，显著降低成本。
局限
- 指令遵循与 Agent 评测下降：Arena‑Hard‑V2 与 SWE‑Bench 均出现超 2 分的跌幅，说明在工具使用与复杂推理场景仍需额外微调。
- 硬件依赖：压缩收益在 Hopper（8×B200）上最为明显，Blackwell（NVFP4）仅在 1 M‑context 场景下才能发挥优势，需在显存 80 GB 以上的卡上部署。
总体来看，Nemotron‑Puzzle‑75B‑A9B 展示了结构化压缩与蒸馏相结合的可行路径，为大模型在算力受限的企业级部署提供了新思路。未来若在更灵活的框架下实现分层 SSM 大小可变，或许还能进一步削减显存占用，提升推理效率。