OpenAI 这次发布了一个更会找茬的模型。
它叫 GPT-Red。可以把它理解成 AI 圈的“测试同事”:别人负责把系统做出来,它负责上线前把桌子掀了。
OpenAI 给了一个很有画面感的案例:GPT-Red 去攻击办公室里一台 AI 自动售货机。这个售货机 Agent 本来负责管理商品、价格和订单。结果它把昂贵商品改到 0.50 美元,又下单一个 100 美元以上的新商品,也按 0.50 美元卖,还顺手取消了另一位顾客的订单。
这像便利店版《碟中谍》:不偷芯片,不炸机房,只让售货机突然学会了“老板跑路价”。
笑完以后,问题就来了。今天被改价的是售货机,明天换成代码仓库、CRM、财务系统、运维后台,结构并没有变:模型读信息,理解目标,调用工具,然后真的改了系统。
AI 安全不再是发布前找几个人试着越狱,而是要训练一个专门会攻击系统的 AI。

红队开始自动化
以前做 AI 安全,像找几个坏心眼同事围着模型问怪问题:能不能套出秘密?能不能骗它执行危险指令?能不能让它假装自己不是自己?
这个方法有用,但覆盖率有限。人会累,预算会见底,坏人却不会按测试计划上班。
GPT-Red 的做法,是把“坏心眼”产品化。它通过 self-play 训练:攻击模型想办法让防守模型失败,防守模型努力完成任务并抵抗攻击。防守方变强,攻击方继续升级。
OpenAI 给出的结果是:在一组间接 prompt injection 测试里,GPT-Red 成功攻击 84% 的场景,人类红队是 13%。这个数字不能乱外推,但方向很清楚:只要场景能批量构造、失败能被评分,人工红队就会变成瓶颈。
更关键的是,OpenAI 不只让 GPT-Red 找漏洞,还把这些攻击样本喂回 GPT-5.6 的训练里。漏洞不只是被修掉,还变成下一代模型的教材。
工程建议: 红队报告不够,失败样本库才有复利。
Agent 危险在“能动手”
GPT-Red 的重点在于攻击对象变了:它瞄准的是 Agent。
聊天模型说错话,最多让人截图吐槽;Agent 说错话之后,可能还会执行命令、改配置、发请求、读仓库。问题不在嘴快,而在手快。
这也是最近 AI 工具安全事故越来越刺眼的原因。联网、读文件、调用命令、访问业务系统,每一项单独看都合理。组合起来,就像给实习生配了门禁卡、报销权限和生产数据库密码,然后说:“放心,他很听话。”

上线 Agent 前,至少补三道门:权限最小化、对抗测试、失败回归。
权限最小化:别一上来就把整个仓库、完整历史、所有环境变量都交出去。对抗测试:提前准备恶意网页、污染文档、诱导性工具返回,让 Agent 在沙箱里先挨打。失败回归:把每次险情写成测试用例,之后每次改 prompt、改模型、改工具都重跑。
GPT-Red 没有宣布安全团队下岗。它只是提醒:安全团队不能只靠手工找洞,要开始设计对抗环境、维护失败样本库、把事故变成自动回归。
Agent 越像同事,权限就越不能像聊天窗口一样随手打开。
