斯坦福推出TRACE系统显著提升代理大模型表现

背景与挑战

近来，基于大语言模型的自主代理在实际任务中频繁出现同类失误——如数据检索错误、前置条件验证缺失、工具调用不精确等。传统的强化学习（RL）或指令微调（SFT）往往提供稀疏奖励，难以定位具体缺失的能力，导致计算资源浪费。

TRACE核心流程

TRACE（Turning Recurrent Agent failures into Capability‑targeted training Environments）通过四步自动化流水线，将重复失误转化为可验证的训练信号：

1. 对比能力分析：基模型在目标环境中生成任务轨迹，分析成功与失败集合，标注每条轨迹‑能力对为 NA、PRESENT 或 LACKING。仅保留对比差距 (Δ ≥ 0.20) 且覆盖率 (ρ ≥ 0.10) 的能力。
2. 合成环境生成：针对每个保留能力，生成一个仅包含该能力的合成环境，保持原工具 schema 与输入格式，任务实例由随机种子程序化生成，奖励可全自动验证。
3. 能力适配器训练：在合成环境上为每项能力训练一个 LoRA 适配器，采用 GRPO（Group Relative Policy Optimization）算法，基模型保持冻结，仅更新适配器参数。
4. MoE 组合与 Token 级路由：将所有 LoRA 适配器装配为 Mixture‑of‑Experts 模型，学习轻量门控网络，在推理时对每个 token 进行 top‑1 路由，使模型能够在同一轨迹中动态切换能力专家。

实验验证

TRACE在两种主流基模型上分别完成 τ²‑Bench（客服场景）和 SWE‑bench Verified（代码修复）两项基准测试。关键结果如下：

• Qwen3‑30B‑A3B：τ²‑Bench 综合提升 +15.3 分，SWE‑bench Verified Pass@1 达 48.2%，显著超越 Prompt Optimization（+8.6）和单一适配器基线。
• Qwen3.6‑27B：SWE‑bench Verified Pass@1 达 73.2%，超过 GPT‑5.2‑Codex（72.8%）以及 Claude 4.5 Sonnet。
• 采用不到四分之一的 rollout 数量，即可超过纯 RL 与提示优化的最终得分，展示出极高的样本效率。

开源实现与使用

TRACE 完全在 MIT 许可证下开源，代码托管于 GitHub，提供 Markdown‑驱动的流水线脚本。用户只需启动支持 LoRA 热插拔的 vLLM 服务，即可按能力批量生成合成环境并并行训练 LoRA 适配器。示例命令如下：

export VLLM_ALLOW_RUNTIME_LORA_UPDATING=True
vllm serve "$MODEL" --port 8000 --tensor-parallel-size 4 
    --enable-lora --max-loras 2 --max-lora-rank 32
export VLLM_BASE_URLS=http://localhost:8000
torchrun -n $N_GPUS -m train --game "capability_$NAME" --model "$MODEL"

每个 LoRA 适配器约占基模型参数的 5.3%，整体 MoE 门控仅增加约 0.5M 参数，保持了模型体积的可控性。

启示与展望

TRACE 的成功证明：

• 能力对比是可操作的信号，能够从海量失败轨迹中抽取少数关键缺陷。
• 合成环境提供密集奖励，显著提升样本利用率。
• Mixture‑of‑Experts 与 Token‑级路由 能在推理时实现细粒度能力切换，超越单一适配器的瓶颈。

未来，TRACE 可进一步扩展至多模态任务、跨语言能力以及更大规模的模型，帮助构建更可靠、更可解释的自主智能体。