正在刊行长文 · Essay
2026-11-03所有内容
随机比特 · Random Bits

Vercel 砍掉了电脑操作截图:智能体操控桌面全面退回无障碍树

2026-11-03AI Engineering / Systemsrbits.uk
Vercel 砍掉了电脑操作截图:智能体操控桌面全面退回无障碍树

很多开发者在让大模型操作桌面时,总会被迟钝的操作节奏逼得失去耐心。

模型每执行一步,后台都要先对桌面抓取一次全屏截图。数百万像素压缩编码后跨网络上传给多模态大模型,模型在像素网格里苦苦搜索按钮的坐标。大模型往往要耗费三到五秒才能吐出一条点击指令,而且屏幕分辨率稍有变动鼠标就会点偏。

大模型从来不需要看一眼花哨的电脑屏幕,丢掉昂贵且脆弱的视觉截图,直接向操作系统索取无障碍语义树,电脑操作才能从概率猜谜走向确定性执行。

截屏找坐标把智能体拖入迟钝泥潭

拿人眼视网膜的工具给模型当输入,是电脑操作智能体最根本的效率死穴。

当前主流的多模态视觉路线,强行让大模型模拟人类寻找光标的动作。全屏截图不仅上传延迟高昂,还会持续消耗数千个视觉词元。一旦遇到系统高分屏缩放或微小的界面动效,大模型计算出的坐标就会频繁产生几十像素的偏移。

视觉截屏坐标比对与原生无障碍树机制对比

更为痛苦的是前台焦点的无休止争抢。

传统的模拟点击脚本必须把目标窗口拉到屏幕最前面,并强行夺取物理鼠标控制权。开发者眼睁睁看着光标在屏幕上胡乱飞跳,自己的正常工作完全被强行打断。

把复杂的前端像素渲染当成唯一通道,让整个系统在充满偶发错误的概率泥潭中持续空转。

操作系统留好了不用截图的无障碍树

开源团队最近交出了一份回归系统底层的破局答卷。

Vercel 实验室开源了桌面操作工具 agent-desktop,上线首日便在开源社区引发广泛讨论。该工具完全采用底层系统语言从零编写,彻底抹去了图像识别与像素比对的全部逻辑。

Vercel agent-desktop 官方开源实录截图

它选择直接穿透到底层操作系统二十年前就打磨成熟的无障碍树。无论是苹果系统还是微软视窗,操作系统内部早就维护着一套严密可用的界面控件树状索引。

在新的架构体系下,智能体执行一次快照仅仅耗时几十毫秒。系统直接返回一份轻量的结构化数据,为屏幕上每一个可交互元素分配独一无二的快照引用编号。

智能体接收到清晰的文本数据后,直接调用点击命令命中具体的引用编号。系统底层的无障碍接口会静默触发按钮动作,物理鼠标不需要移动分毫,目标程序也无需强行抢占焦点。

更关键的是严格的时效性阻断。当界面发生跳转或按钮消失,调用会立即返回失效错误码,坚决阻止大模型凭空猜测误点残留元素。

结构化引用让桌面操作彻底确定性

面向生产环境的桌面自动化必须全面转向确定性工程。

工业级的桌面流水线应当在动作发起前建立严密的引用前置门禁。一旦检测到快照编号过期或存在多个同名窗口,调度系统必须即刻提前终止,强制要求智能体刷新局部数据,杜绝盲目试探破坏现场。

桌面智能体三层无头架构流水线图

系统架构应当放弃把庞大的全屏视觉模型塞入核心执行链路的笨重做法。将无头静默的系统命令作为专职轻量构件,与负责任务推理的大模型按需组装,才能在保证吞吐的同时把调用成本压缩到极致。

所有的交互结果都应表现为结构清晰的树状数据。借助纯文本格式的语义状态树,测试系统能够在每一次动作执行后完成百分之百确定的自动化断言。

彻底剥离花哨的视觉渲染包袱,智能体操控电脑才真正走进了工业级稳定的现实。

随机比特公众号二维码
公众号 · 随机比特
从 AI 工具热闹里拆工程真相

写边界、控制面、上下文、成本与安全。