OpenAI推出GPT‑Red 自动红队系统提升模型鲁棒性

0 阅读3分钟前沿
OpenAI推出GPT‑Red 自动红队系统提升模型鲁棒性

背景与需求

随着 GPT‑5 系列能力的快速提升,传统的人为红队已难以满足规模化、安全性测试的需求。OpenAI 在内部安全团队发现,现有的鲁棒性评估已被最新模型所超越,迫切需要一种能够随模型一起扩展的自动化红队手段。

GPT‑Red 系统概览

  • 核心原理:采用自我对抗强化学习(self‑play RL),让红队模型在每一步发送攻击提示,观察目标模型的响应并迭代优化。
  • 训练规模:与 OpenAI 最大的后训练算力同等规模,耗时数千 GPU‑年,仅用于安全提升。
  • 部署方式:GPT‑Red 与生产模型严格隔离,仅在训练阶段向目标模型提供对抗样本,防止恶意能力外泄。

关键实验与成果

  • 在最难的直接 Prompt Injection 基准上,GPT‑5.6 Sol 的失败率比四个月前的最佳模型低 6 倍
  • 与人类红队对比,GPT‑Red 在 84% 的新场景中成功发起攻击,而人类仅为 13%。
  • 对 Codex CLI 代理的 10 项数据泄露任务中,GPT‑Red 的攻击成功率超过基准模型 30%,且使用的 token 更少。

实际案例分析

  1. 自动售货机 Vendy:在模拟环境中迭代攻击后,GPT‑Red 成功将高价商品调至 0.5 美元、下单并取消他人订单,漏洞已上报并部署新防护。
  2. 内部文件泄露:通过伪造邮件指令,GPT‑Red 诱导模型上传敏感凭证,帮助团队完善文件访问审计机制。

对行业的影响与展望

GPT‑Red 证明了自动化红队可以形成安全的自我强化闭环:模型越强,红队越强,进而推动下一代模型的鲁棒性提升。OpenAI 表示将在未来继续扩大算力投入,训练更强的红队模型,并计划在学术预印本中公开详细方法,促进业界共享安全基准。

“自动红队是安全自我迭代的关键,引领模型从‘更强’走向‘更安全’。”——OpenAI 安全团队

未来,随着更多企业采用类似自我对抗机制,AI 安全的规模化、可测量将成为行业新常态。

本文是对第三方新闻源的主观解读。消息可能出现过时、不准确、歧义或错误的地方,仅供参考使用。点击此处查看消息源。