正在刊行长文 · Essay
2026-09-12所有内容
随机比特 · Random Bits

同样是 DeepSeek,为什么换家供应商跑分能暴跌 35 分?

2026-09-12AI Engineering / Systemsrbits.uk
同样是 DeepSeek,为什么换家供应商跑分能暴跌 35 分?

在构建自主智能体时,许多团队习惯于将大模型接口视为标准化的公用设施。各大模型聚合网关也建立在相同的假设之上:只要传入相同的模型标识符,无论请求被调度给哪一家算力托管商,得到的输出质量与推理行为应当完全一致。

然而,线上真实的大规模调用数据彻底打破了这一假象。运行在不同托管商算力上的同款开源权重,正在表现为截然不同的实体。

同款模型在不同托管商下的工具调用跑分断崖

同款模型在不同托管商下的工具调用跑分断崖

权重同质化假象与跑分断崖

在累计处理超过 1800 万条线上消息的智能助手生产系统实测中,跨供应商的同款模型表现呈现出显著分化。以 DeepSeek V4 Flash 0731 为例,当聚合网关将请求分发给不同云服务商时,表面上运行的都是同一套开源权重,但基准数据却出现了断崖。

在评估工具调用能力的 TAU-Bench 基准中,官方原生端点的得分达到 81%。当同样的权重被托管在 DigitalOcean 时,跑分骤降至 58%;而在 Fireworks 节点上,历史得分曾下探至 46%。高达 35 点的基准落差,直接决定了具备操作权限的智能体究竟是精准执行任务,还是陷入死循环。

这种分化在多模态与控制参数上更为隐蔽。在针对开源视觉模型的标准化探针测试中,部分厂商如 Venice 与 Together 面对图像输入时,内部并未执行任何视觉特征提取,却依然返回 HTTP 200 状态码,导致智能体基于空事实捏造回答。在另一些厂商的 Qwen 端点上,视觉解析虽然运行,却将字母 K 误识为 R,将红色误识为蓝色。与此类似,虽然各节点均接收 reasoning.effort 推理控制参数,但在 DigitalOcean、GMI Cloud、Mancer 等节点上,无论参数设为最低还是最高,实际吐出的推理 Token 数量均毫无变化。

从静态模型权重到客户端输出之间的四重隐形黑盒

从静态模型权重到客户端输出之间的四重隐形黑盒

隐形运行时的四重工程黑盒

相同的模型权重产生质量悬崖,根源在于大模型调用从来不是纯函数计算。从开源权重文件到客户端接收到的数据流之间,横亘着四道供应商私有的工程黑盒。

第一道黑盒是量化修剪。实测显示声明为 FP4 精度的节点在基准榜单中频繁排在声明为 FP8 节点之前,各厂商为了降低显存占用采用的量化策略截然不同,粗暴的精度标签根本无法反映真实的数值质量。第二道黑盒是调度优化,部分供应商在长上下文场景下采用激进的注意力缓存压缩与分块丢弃,直接削弱了模型精准检索关联信息的能力。第三道黑盒是工具解析器,部分厂商的解析逻辑高频失效,直接将带有 <use_skills><parameters>...</parameters></use_skills> 的原始标记文本混入正文吐出,导致客户端结构化解析失败。第四道黑盒是空包响应,部分供应商在返回 HTTP 200 的同时吐出内容与推理双为空的完全空包。

聚合网关路由的只是模型权重,而供应商自研的量化与解析层才是决定智能体生死的隐形运行时。

智能体网关的动态金丝雀探测与响应防御状态机

智能体网关的动态金丝雀探测与响应防御状态机

协议契约碎裂与防御性网关重构

如果说跑分差异影响的是智能体的智力,那么协议契约的碎片化则会直接摧毁执行链路。

在 DeepSeek 思考模式下,智能体执行多轮工具调用时往往伴随空的推理历史。当该历史记录被传回聚合网关时,百度、阿里巴巴与 Cloudflare 端点均能平滑处理。但在请求被路由到 SiliconFlow 节点时,服务端直接抛出 HTTP 400 异常与私有错误代码 20015,明确要求思考模式下必须携带非空推理字段。这种厂商特异性的约束,直接让原本正常运转的多轮任务瞬间崩溃。

大模型基础设施不存在通用的行为契约,协议规范从来不是按模型定义,而是按供应商切片。

面对高度碎片化的生态,生产级智能体必须在网关层推行防御性设计:

首先是建立基于微型任务的动态金丝雀探针,定期下发轻量级的工具调用测试题与合成图像测试,实时核算各节点的有效响应与真实指标,动态生成供应商白名单并剔除失真节点。其次是构建确定性响应状态机,在网关出口对数据流进行断言校验,一旦捕获空内容响应或未解析标签,毫秒级触发提前终止并实施重试或切流。最后是解耦传输层与方言适配层,针对特定厂商的特异性规则建立修饰器,将协议分化隔离在业务逻辑之外。

在模型基础设施真正实现标准化之前,用工程确定性包裹外部不确定性,是智能体系统维持高可用的必由之路。

随机比特公众号二维码
公众号 · 随机比特
从 AI 工具热闹里拆工程真相

写边界、控制面、上下文、成本与安全。