正在刊行早报 · Morning Brief
2026-11-12所有内容
随机比特 · Random Bits

删掉推理记录,百川模型成功率从 51.8% 跌到 0.5%

2026-11-12AI Engineering / Systemsrbits.uk
删掉推理记录,百川模型成功率从 51.8% 跌到 0.5%

Baichuan-M2-32B 的工具调用记录完整保留,删掉历轮推理后,任务成功率却从 51.8% 跌至 0.5%。多模型网关切换服务商时,丢掉的上下文可能直接影响任务能否完成。

🚀 模型接口与任务测试

• 推理历史删除实验:同样删记录,模型反应悬殊 —— 研究在 794 项任务、七个开放推理模型上比较三种历史保留条件;百川大幅掉分,R1-Distill-14B 则提高约 4.4 个百分点。维护模型路由时,值得逐模型跑一轮“保留/删除”对照测试。

• Gemini Decisions API:一次处理最多 1000 个判断 —— Google 推出 Gemini Decision 1,支持对文本、图片、音频、视频和 PDF 做是非判断、选择与量规评分,返回概率及置信度。按输入计费、输出 token 免费,内容审核和模型路由多了一个专用接口。

🛠️ 开发工具与密钥安全

• LLM 0.37.2:修复 OpenAI 密钥误发 —— 指定的 api_key_name 尚未存储,或对 Responses 模型启用 Chat Completions 选项,都可能把 OpenAI 密钥发给其他兼容服务商。使用相关配置的开发者应升级,并检查请求目标与凭据是否对应。

• Codex Security:扫描之后还能验证与修补 —— 本次工具发现提供 CLI、TypeScript SDK 和 GitHub Action,支持扫描整个仓库、指定路径或 Git 变更,继续验证发现、生成补丁及检查已有修复。接入时可从变更扫描入手,把发现与修复检查连进开发流程;首发日期未确认。

🚨 企业应用与业务交付

• LangChain GTM Agent:12 周生成 1540 份销售材料 —— 团队将客户通话、销售阶段、文档模板和品牌要求交给 Agent,并在沙箱里渲染、检查文件。值得复用的是把“什么时候交哪份材料、达到什么标准”写清楚,减少每次生成都靠临时提示。

• Cogent:执行修复前,先检查企业授权 —— 官方案例介绍,系统用知识图谱连接资产、漏洞、责任人与依赖关系,再由确定性规则检查工具调用。Cogent 自报,一家汽车客户的关键漏洞平均修复时间缩短 75%;工程看点是把调查、审批、修改和修复验证接成完整流程。

📚 延伸阅读

• 推理历史删除实验:七个开放模型的多轮工具调用对照
https://arxiv.org/html/2611.13223v1

• Google:Gemini Decisions API 的接口设计与调用示例
https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

• LangChain:GTM Agent 如何组织上下文并生成销售材料
https://www.langchain.com/blog/gtm-agent-high-quality-sales-artifacts

随机比特公众号二维码
公众号 · 随机比特
从 AI 工具热闹里拆工程真相

写边界、控制面、上下文、成本与安全。