今年三月底,我写过一篇《软件界面正在倒退回 40 年前,为什么大家反而更兴奋了?》,在公众号拿到了近九万阅读。
当时写下的核心推论很坚决。文章断定图形界面只是过去人类向机器妥协的翻译器。既然大模型听懂了自然语言,翻译器就成了累赘。命令行与自然语言的组合才是界面的终极形态,以后人类甚至不需要再学习操作软件。
然而在随后大半年的自动化开发与受控测试中,现实给出了截然相反的警示。今天我很想回访那篇文章,把当时写下的推论正式改掉半句。自然语言、图形界面与自动化脚本,在真实的工程系统里究竟各自适合哪一步?
依赖按钮文案的选择器在改名时停机
先来看一个具体的测试场景。
在九月初进行的一组网页表单受控基准测试中,任务目标非常单纯。系统要求程序在网页中把指定发票的审核备注更新为已审核,同时保持相邻发票数据不变。
测试环境对页面做了一次微小的文案变动。原本名为保存审核的按钮,文字被微调成了记录审核。
依赖固定文案的自动化脚本立刻遭遇了失败。由于预设的选择器文本无法匹配,脚本在等待二十秒后直接超时停机,后台数据库记录为零次写入。
而调用大模型进行局部语义识别的程序,凭借上下文理解,在十余秒内识别出新按钮并点击成功。这个反例印证了自然语言在输入端的价值。面对文案微调与模糊表述,大模型的语义泛化能力确实能避免依赖特定文字的脚本当场脆断。

缺少确认提示让自主代理发起了重试
但如果把整个任务全权交给自然语言代理,问题立刻滑向了另一个深渊。
这项测试是在本地受控页面上对既定脚本、局部模型识别与全任务代理三种配置进行的比较,并不代表工具的能力上限。在界面固定且无扰动的理想状态下,既定脚本在两秒内即可完成操作。而全任务代理由于要自主推导多步动作,包含默认的裁判评估,单次运行消耗了两万多令牌,耗时超过一分钟。
更具启发性的是无确认提示测试。当服务端已经成功落库,但前端页面由于设计原因没有弹出保存成功的确认提示时,代理陷入了困局。
在测试设置的单次最多十步限制下,该场景独立运行了三次。其中一次测试里,代理在首次点击后等待了三十余秒。由于界面上没有出现预期的确认回显,代理判断动作未完成,自主发起了第二次点击。测试审计记录显示,后台发票被重复写入了两次,两次点击相隔三十点八秒,整次运行最终在约九十秒超时退出。另外两次测试各自写入一次,但也均未正常确认完成。
这个失误暴露出我半年前最严重的认知盲区。我把大模型能理解意图,误当成了动作确认与结果反馈也会自动完成。

理解意图与执行动作和确认结果是三件事
把这两组受控轨迹放在一起,半年前那个界面终极形态的断言就必须彻底修正。
图形界面并没有过时,也不会因为大模型听懂人话而走向消亡。半年前我只看到了输入端的变化,却忽略了输出端的物理现实。
理解意图、执行动作与确认结果,是系统交互中三件完全独立的事情。能听懂人话,绝不等于结果确认会自动解决。
自然语言最适合处理输入端的意图分发。它擅长包容人类宽泛模糊的目标,并在界面文案微调时提供容错弹性。
确定性脚本适合执行已知且固定的操作步骤。对于明确的业务链路,几行脚本即可完成既定提交,规避冗长的模型等待。
图形界面的核心价值从来不是输入端的层级菜单,而是输出端的状态呈现。它把复杂的底层变动清晰地映射在屏幕上,让人类一眼看清系统究竟变成了什么状态。
自然语言负责表达意图,脚本负责流程执行,界面负责呈现确认结果。
界面不再强迫人类逐级点击,转而专注于提供连续的状态回显与安全锚点。把意图、执行与结果确认分清楚,自动化系统才能在复杂的现实中真正走得稳当。
公开参考
- 网页自动化受控基准实验记录 skills/daily-digest/drafts/2026-09-09-browser-automation-tradeoffs/
