正在刊行长文 · Essay
2026-10-28所有内容
随机比特 · Random Bits

Anthropic 内部军规曝光:做生产级智能体,绝不能让模型的大脑直接长在手上

2026-10-28AI Engineering / Systemsrbits.uk
Anthropic 内部军规曝光:做生产级智能体,绝不能让模型的大脑直接长在手上

很多团队搭建智能体的方式粗暴得令人心惊。给大模型接一个执行命令的终端工具,在提示词里求神拜佛写上几千字注意安全的叮嘱。这就好比请来一位思维敏捷的天才参谋,见面的第一分钟,直接把加特林机枪和火控扳机塞到了参谋手里。

前几轮交互里,参谋指挥若定。模型拆解模块、执行测试、自动修复,动作一气呵成。

然而只要任务链条拉长到二三十轮,灾难几乎必定发生。大模型在死循环报错里急于求成,为了排查一个依赖冲突,随手敲下一行强制清空命令,把整台宿主机的开发环境洗劫一空。

概率推理不能直接插进系统控制总线

大模型在底层是连续波动的概率引擎。自回归模型本质是概率引擎。无论模型参数扩张到多少,每次生成都会受到采样参数与上下文噪声的随机扰动。

操作系统的底层系统调用却要求确定性。一个删除目录指令发出去,磁盘扇区立刻被覆写。一次线上集群发布推上去,真实流量瞬间切换。

把一个充满随机波动的概率引擎,直接焊接到物理系统的操作总线上,无异于在火药库里随意丢掷火把。让自回归概率模型直接掌控物理操作权,是长周期自动化最大的系统性缺陷。

一旦模型在复杂的长任务中产生幻觉,没有一道物理防线能够在动作落地前踩下刹车。

全自主智能体神话与脑手分离确定性架构对比

顶尖团队在生产线上遭遇的现实痛点

很多团队想到的防御办法是给模型套一个容器。把模型和工具一起塞进沙盒里跑,以为这样就能高枕无忧。

研发前沿模型的 Anthropic 团队早期也遭遇过同样的工程挫折。在近期的技术访谈中,工程负责人公开了内部用 Claude 交付下一代模型的早期波折与教训。

把完整智能体塞进容器,首先带来的是冷启动时延灾难。每次调用都要等待整个环境初始化,交互体验彻底卡死。

更致命的问题是凭证寄生与会话陪葬。代码要在沙盒里拉取仓库,运维人员就必须把凭据注入环境。一旦模型遭遇恶意提示词诱导,沙盒反而成了泄露机房密钥的最佳温床。

只要沙盒进程因超时或内存溢出被系统杀死,模型苦心积累的数十万字会话记忆当场灰飞烟灭。

Latent Space 对谈 Anthropic 实拍截图

架构维度 全自主直连智能体 脑手分离工业架构
控制权限 概率模型直连系统终端 策略生成与物理执行隔离
执行载体 宿主机无边界高危进程 窄接口沙盒与轻量监督者
校验机制 依赖模型自我反思提示 离线确定性白名单强断言
事故防御 幻觉往往直接击穿生产 违规动作在出沙盒前熔断

把执行双手变成一次性的无菌手套

痛定思痛之后,Anthropic 立下的第一条生产军规就是脑手分离。

所谓的脑手分离,就是在大脑与物理双手之间拉起一道不可跨越的防弹玻璃。

大脑负责逻辑推理、策略编排与状态核查。大脑可以无限发挥聪明的规划能力,但它的神经元绝不直接连接物理扳机。

执行双手降维成极其狭窄的物理沙盒。双手被当作一次性的无菌手套来使用。成熟的 Agent 架构用物理沙盒把大脑与物理双手彻底隔离开。

双手所在的环境里绝不存放任何真实密钥。所有需要访问外部网络的请求,全部由外层的透明代理在出口处动态代打。沙盒一旦完成单步任务,立刻整机销毁。

在参数进入物理沙盒的前一微秒,外部监督组件进行确定性的白名单参数断言。只要发现越界路径,系统在发出系统调用的前一刻当场熔断。

工业级智能体的真正上限,在于用确定性的物理沙盒,把模型的随机波动彻底驯化在安全边界之内。

生产级智能体脑手分离三层执行管线

给大脑保留最从容的思考空间,给双手立下最无情的物理铁律。智能体才能在真实的工业生产线上长治久安。

公开参考

随机比特公众号二维码
公众号 · 随机比特
从 AI 工具热闹里拆工程真相

写边界、控制面、上下文、成本与安全。