一台 25GB 内存的消费级机器，不用 GPU，跑起了 744B 参数的 GLM-5.2。
这不是硬件奇迹。项目 README 给出的边界很清楚：冷解码速度约 0.05 到 0.1 tok/s。普通聊天会慢到失去耐心；一次长回答，往往要按分钟等待。
它真正说明的是一个工程取舍：大模型不一定要全部常驻内存，也可以把常用部分留在内存，把大量低频专家放到磁盘，需要时再读取。
关键在 MoE 的分层
GLM-5.2 是 MoE 模型，账面规模 744B，但每个 token 实际激活约 40B 参数。Colibri 利用的正是这个特点：注意力、共享专家、embedding 等密集部分经 int4 量化后常驻内存，约 9.9GB；其余 21,504 个 routed experts 以约 370GB 的 int4 容器放在 NVMe 上。
代价也很直接。一次冷解码可能对应约 11GB 磁盘读取，瓶颈从显卡算力转向 SSD 随机读、缓存命中、预取策略和内存预算。它不是把普通机器变成 H100，而是减少等待磁盘搬运的次数。
边界只在少数场景成立
如果目标是连续对话、实时编程、交互式 agent，本地跑 744B 模型并不理性。小模型、云端 API 或专门推理服务更合适。
如果目标是离线验证、隐私文档问答、受限环境里的结构化抽取，慢反而可能可以接受。评估时只需要问三件事：数据是否必须留在本机或内网；延迟是否可以按分钟计算；维护 370GB 模型文件、NVMe 空间和运行环境是否值得。
普通电脑跑起 GLM-5.2，没有改写推理经济学。云端 AI 买的是速度和省心，本地 AI 买的是边界和控制权。
