Simon Willison 刚演示完怎么骗 Claude 把你的秘密编进 URL 偷运出去,OpenAI 就公布了攻击成功率 84% 的自动化红队 GPT-Red——攻和防都开始由 AI 自己上场,人类红队那 13% 的成绩,看起来像上个时代的遗物。
🛡️ 安全攻防:AI 打 AI 的第一天
• Simon Willison 骗 Claude 泄露你的「最深秘密」 —— 他用 prompt injection 让 Claude 把会话里的敏感信息编码进 URL,再借 web_fetch 发起抓取完成外传。「只抓用户提供的 URL」这道防线,被组合攻击直接击穿——用 Claude 处理私密数据的人,该重新审视一遍工具权限了。
• OpenAI 发布 GPT-Red:用 AI 攻击自家 AI —— self-play 训练出的自动化红队,测试场景攻击成功率 84%,人类红队只有 13%。官方定位是「self-improvement for robustness」——自我改进第一次以安全的名义正式产品化,防御方也不得不承认:找漏洞这件事,人类已经不是主力。
🚀 模型与硬件:开源添新玩家,27B 塞进手机
• Thinking Machines 发布首个开源权重模型 Inkling —— Mira Murati 创业首秀落地,HuggingFace 官
