NVIDIA发布Audex统一音频文本大模型，实现跨模态零文本退化

关键亮点

• 统一模型：Audex 采用 30 B 参数、3 B 激活的 Mixture‑of‑Experts（MoE）Transformer，音频输入与文本嵌入共享同一空间，音频输出通过离散音频 token 统一生成。
• 文本性能无退化：在 MMLU‑Redux、IMO AnswerBench 等文本基准上，Audex 与其文本专用骨干 Nemotron‑Cascade‑2 基座持平，甚至在部分任务上略有提升。
• 多模态能力：支持语音识别（ASR）、语音翻译（AST）、文本到语音（TTS）以及通用音频生成，覆盖 157.4 B 音频 token 与 320.5 B 文本 token 的大规模训练数据。
• 开放获取：模型权重（含 2 B 轻量版 Audex‑2B）在非商业许可下公开，兼容 Megatron‑LM 训练框架和 vLLM 推理服务。

技术细节

Audex 的核心仍是 Nemotron‑Cascade‑2‑30B‑A3B 文本‑MoE 骨干，采用 52 层混合 Mamba‑Transformer，拥有 128 条可路由专家、每步激活 6 条。音频前端使用 AF‑Whisper（基于 Whisper Large‑v3），将 16 kHz 原始波形编码为特征向量，再通过两层 MLP 适配器映射至模型维度。输出词表从原始 131 072 扩展至 205 312，加入两套离散音频编码：

• 语音使用 X‑Codec2（每秒 50 token，65 536 码本）
• 非语音音效使用 X‑Codec（每秒 200 token，四层残差向量量化）

训练流程采用多阶段 SFT：先在文本数据上微调，随后冻结文本嵌入进行音频热身，再逐步加入音频生成与理解任务，最后施行仅文本的 Cascade RL 与多域在线蒸馏（MOPD），确保音频加入不破坏文本能力。

基准表现

在语音识别、音频理解（MMAU）以及通用音频生成三大方向均位列公开开源模型前列，唯一不足在 MMAR、MMSU 以及部分复杂音效任务上稍逊于专门的音频 LLM。

应用场景

• 多语言客服：实时转录德语通话并输出英文翻译，统一接口即可完成跨语言沟通。
• 辅助阅读：开发者可将 Audex‑2B 嵌入阅读软件，实现高质量固定声线的文字转语音，英文 WER 仅 1.70。
• 音效原型：输入简短文字描述（如“森林鸟鸣”），模型即可生成 10 秒 48 kHz 高保真音频，适用于游戏音效或影视后期。
• 语音助手：通过单一 checkpoint 完成语音识别、翻译、合成，实现“一站式”语音交互。

限制与前景

Audex 采用 NVIDIA OneWay 非商业许可，商业化受限；音频理解在 MMAR、MMSU 上仍有提升空间；语音‑到‑语音仍采用级联方案，未实现全双工原生对话。未来计划在音频‑文本强化学习（Audio‑Text RL）上探索，以进一步缩小跨模态差距。

“Audex 的最大亮点在于它证明了跨模态模型完全可以在不牺牲文本能力的前提下，引入高质量音频功能。” — NVIDIA 研究团队

快速上手：模型遵循 ChatML 格式，可直接通过 vLLM 0.20.0 推理；音频输入需使用 audio_extras 参数，输出音频 token 可通过内置 VAE 解码得到 48 kHz WAV 文件。