NVIDIA推出Nemotron 3 Embed 8B模型，RTEB检索基准夺冠

背景介绍

在生成式AI快速扩张的背景下，检索与嵌入模型成为知识密集型应用的关键底层。NVIDIA 通过其最新的 Nemotron 3 Embed 系列，旨在为大规模 RAG（检索增强生成）以及智能体记忆提供高效、开放的向量化方案。

模型概览

Nemotron-3-Embed-8B-BF16：基于 Mistral‑3‑8B‑Instruct‑2512，采用 BF16 精度，聚焦最高检索准确率。
Nemotron-3-Embed-1B-BF16：同样使用 Mistral‑3‑3B‑Instruct‑2512，保持原有架构，仅缩减参数规模。
Nemotron-3-Embed-1B‑NVFP4：在 1B‑BF16 基础上进行 4 位量化，针对 Blackwell GPU 进行深度优化，实现最高 2× 吞吐提升。

所有检查点均支持 32,768 令牌的超长序列输入，并在 OpenMDW‑1.1 许可证下开源。

关键性能

RTEB 领先：8B‑BF16 在 34 项公开任务中取得 78.46 的平均 NDCG@10，稳居榜首。
1B 版优势：相较于前代 llama‑nemotron‑embed‑vl‑1b‑v2，1B‑BF16 提升 10.4 分；NVFP4 仅以 0.38 分的微小损失保持 99.5%+ 的 BF16 精度。
吞吐提升：NVFP4 在 Blackwell GPU 上实现最高 2 倍的推理速度，满足高并发检索需求。

架构与训练细节

模型均为双向 Transformer 编码器，最终向量通过 平均池化 获得并进行 L2 正则化。8B 采用完整的 Mistral‑3‑8B‑Instruct 预训练；1B 系列则通过两轮 ModelOpt NAS 剪枝 + COS+MSE 蒸馏 从 3B 父模型压缩得到。剪枝过程覆盖隐藏层宽度、FFN 大小、注意力头数与层深度，并在前 10 条 Pareto 前沿中挑选最优候选。蒸馏阶段使用多语言、行业内数据混合的 50k 校准语料，并辅以 20k QAD 样本进行量化感知蒸馏。

部署与使用

NVIDIA 同时发布了基于 Rust 的 NIM 微服务，在 A100、H100、RTX 6000 PRO 等硬件上均表现优于同类 vLLM 实现。用户只需通过 /v2/embed 接口指定 query 或 document 类型，即可获得自动前缀、L2‑归一化后的向量。示例代码展示了如何使用 sentence‑transformers 库加载 8B‑BF16 检索模型并进行跨语言相似度计算。

应用场景

跨语言企业搜索：支持 34 种语言的统一索引，查询可在不同语言间自由匹配。
代码检索：训练数据涵盖 coir_apps、SWE‑bench 等代码库，能够实现自然语言到代码的高效映射。
智能体记忆：32k 令牌上限让长对话摘要可一次性嵌入，降低了分块处理的复杂度。
分层检索：高吞吐的 1B‑NVFP4 适合大流量召回，精度更高的 8B‑BF16 可用于难查询的二次排序。

业界意义与展望

Nemotron 3 Embed 系列的发布标志着 NVIDIA 在大规模向量检索领域的技术成熟度进一步提升。其开放检查点、长序列支持以及高效量化方案，为构建跨语言、跨模态的检索系统提供了可靠基石。随着 RAG 与自主智能体的落地需求增长，嵌入模型的性能与成本平衡将成为竞争焦点，Nemotron 3 Embed 有望成为行业标准之一。