OpenAI审计SWE‑Bench Pro发现约30%任务失效 警示评测可信度

背景

SWE‑Bench Pro 是 OpenAI 推出的代码生成基准，旨在通过真实的仓库变更任务衡量模型的 agentic 编码能力。自 2025 年发布以来，它已成为学术界和工业界评估 LLM 编码水平的核心指标。然而，评测结果的可靠性直接影响模型部署决策和安全评估，OpenAI 团队因此对该基准进行了系统审计。

方法论

• 数据点分析管线：自动过滤模型提交、任务元数据和失败追踪，标记可能存在问题的样本。
• Agent‑辅助审查：使用基于 Codex 的调查代理，访问任务仓库、运行测试并对比隐藏测试与公开描述。
• 人工标注：邀请 5 名经验丰富的软件工程师对所有被标记的任务进行独立评审，冲突交由高级研究员复核。

该流程首先捕获 286 条潜在异常，随后经两条审查路径（Agent 与人工）进一步验证，最终形成 200 条自动标记 + 249 条人工标记的交叉结果。

主要发现

综合统计显示，约 30% 的任务存在上述破损，导致评测信号被噪声掩盖。

影响与建议

1. 评测可信度下降：模型在该基准上的高通过率可能部分来源于任务设计缺陷，而非真实编码能力提升。
2. 安全与部署决策风险：OpenAI 依据这些评测结果进行能力判断和安全阈值设定，若基准失真，可能导致误判。
3. 行业标准呼声：建议社区构建由经验丰富的开发者主导的全新基准，确保任务描述、测试用例与实际代码改动高度对齐。
4. 持续审计机制：利用更强大的模型代理进行定期质量检查，及时发现并修复基准中的漏洞。

结论

OpenAI 的审计工作揭示了 SWE‑Bench Pro 在任务完整性方面的系统性问题，约三成任务已无法提供可靠的能力信号。该结果促使业界重新审视现有代码生成评测框架，并加速构建更具可验证性和公平性的下一代基准。未来，随着模型能力的提升，利用模型自身进行评测质量审查将成为提升基准可信度的关键手段。