NVIDIA发布Nemotron‑Puzzle‑75B‑A9B实现2.03倍服务器吞吐提升

背景与目标

Nemotron‑3‑Super是一款混合MoE（Mamba‑Transformer）大模型，虽在准确率上表现卓越，却因参数规模和KV缓存开销导致部署成本高企。NVIDIA AI团队针对企业级部署需求，研发了 Nemotron‑Labs‑3‑Puzzle‑75B‑A9B，在保持模型结构的前提下进行多阶段压缩与知识蒸馏，目标是实现 2×服务器吞吐 与 8 并发 1M‑token 请求 的突破。

核心压缩技术

迭代Puzzle框架：将压缩过程划分为多轮结构剪枝 + 短时知识蒸馏恢复，每一步都在当前压缩模型上重新评估质量，避免一次性压缩导致的性能崩溃。
参数削减：总参数从 120.7B 降至 75.3B（62%），活跃参数从 12.8B 降至 9.3B（73%），其中 Mamba 状态从 128 通道削减至 96 通道，MoE 专家数量、路由维度保持不变。
混合量化：提供 BF16、FP8、NVFP4 三种检查点，其中 NVFP4（W4A4）在 Hopper 上实现最小显存占用（44.5 GB），显著提升长上下文并发能力。

性能评测

场景	Super 吞吐 (tok/s)	Puzzle‑75B‑A9B 吞吐	提升倍数
50K/2K (prefill‑heavy)	1,128	1,601	1.60×
8K/64K (decode‑heavy)	939	2,601	2.77×
单 H100, 1M‑token 并发	1	8	8×

在匹配相同 NVFP4 权重、FP8 KV 缓存和 FP32 Mamba 状态的前提下，吞吐提升完全来源于模型压缩而非数值格式的优势。Decode‑heavy 场景获益最大，说明压缩后 KV 缓存占用显著下降。

质量与任务表现

压缩带来的主要代价集中在 指令遵循 与 Agentic 评测上：

Arena‑Hard‑V2 下降 4.2 分，
SWE‑Bench 下降 2.6 分。然而在 MMLU‑Pro、GPQA、LiveCodeBench、SciCode 等基准上，得分仅有 0.5‑1.5 分的轻微回落，且 NVFP4 检查点在 RULER‑1M 上仍保持 93.2 分，优于 BF16。

部署场景示例

超长上下文 RAG：在单卡 H100 上，1M 上下文服务并发从 1 提升至 8，整体解码吞吐约为原模型的 4 倍。
交互式编码助手：在 8K/64K 解码模式下，每秒可处理 2.03 倍 token，等效提升约 2.16 倍请求完成率。
Prefill 为主的文档流水线：收益相对有限，仅 1.60 倍提升，提示在提示长度占比高的场景仍受算力瓶颈制约。

未来路线

团队计划在后续迭代中进一步优化 RL‑后训练 与 Verbosity 调整，以缩小指令类任务的性能差距。同时，探索更高压缩比的 Hybrid MoE 结构，期待在保持算力效率的同时，提升模型的通用智能水平。

“压缩不应是牺牲质量的代价，而是通过结构化搜索与蒸馏实现的性能跃迁。” — NVIDIA AI 团队