正在刊行早报 · Morning Brief
2026-11-05所有内容
随机比特 · Random Bits

GPT 没重训 Qwen,改 0.016% 权重就让数学成绩升至六倍

2026-11-05AI Engineering / Systemsrbits.uk
GPT 没重训 Qwen,改 0.016% 权重就让数学成绩升至六倍

GPT-6 Astra 没有重训 Qwen3.5-0.8B,只修改了 0.016% 的权重,MATH-500 成绩就从 7.9% 升到 48.1%。研究也给出限制:收益主要来自修复思考死循环,换一个模型却没能明显提分。

🚀 模型研究与可信推理

• 权重编程:直接修改模型内部参数 —— MIT CSAIL 的11 月 2 日实验允许模型调用 Python、获取测试反馈,再定点修改权重。这是受控条件下的故障修复,还不能推导出模型能普遍靠改权重获得新能力。

• FlashProve:证明回答来自指定模型 —— Anthropic 的研究原型无需公开权重,就能验证响应是否由承诺的模型生成。在指定的 4-bit Llama 4 Maverick 测试中,生成证明消耗的 GPU 时间约为常规推理的 70—95 倍;验明来源,也不能保证答案正确。

🛠️ Agent 工具与上下文管理

• NVIDIA Auto Ontology:先统一业务数据口径 —— 仓库提供语义图层,帮助 Agent 理解指标、实体关系与数据来源,并通过 MCP、CLI 和 API 提供上下文。企业问答值得先查“营收到底怎么算”,查询能执行不代表数字可信;生产收益仍待验证。

• gstack:把评审、测试和发布写成指令 —— Garry Tan 的工具集将产品讨论、架构设计、代码审查、浏览器 QA 与发布拆成明确职责。值得参考的是各阶段的检查流程;角色名字齐全,还得看实际检查能否抓住问题,首发日期未确认。

• MEMENTO:把记笔记本身作为训练目标 —— 10 月 30 日提交的论文先用带笔记的合成轨迹微调,再用强化学习训练压缩行为。在作者的书籍问答测试中,上下文不超过 2 万 token,也能处理最长 250 万 token 的书;不能简化成给现有助手加一句“请记住重点”。

🧩 代码评审与基础设施

• OpenAI 拟收购 Pierre:补齐代码浏览和评审工具 —— 11 月 4 日公告披露,Codex 已在使用 Pierre 的 Trees、Diffs 库。交易仍需满足监管批准等交割条件,开源项目将继续开源;此次收购计划把代码生成后的阅读、修改与评审也纳入产品布局。

• Pando:并发写代码先考验 Git 后端 —— OpenAI 的工程复盘称,新后端已支撑内部主仓库开发,每天分发接近 1 PB 的 Git 数据,同时保留现有协议和客户端。Agent 同时推进多个分支之后,仓库读写与 CI 拉取也会成为瓶颈;Pando 尚非对外可安装产品。

📚 延伸阅读

• MIT CSAIL:语言模型如何直接读取与修改神经网络权重
https://rikiyat.github.io/blog/weight-space-programming/

• Anthropic:FlashProve 可证明推理的实现、开销与限制
https://www.anthropic.com/research/provable-inference

• OpenAI:Pando 如何扩展 Git 的并发写入与读取能力
https://openai.com/index/scaling-git-at-openai/

随机比特公众号二维码
公众号 · 随机比特
从 AI 工具热闹里拆工程真相

写边界、控制面、上下文、成本与安全。