本地 AI 最缺的从来不是跑分,是「上次能编译的代码,这次还能编译」。11月13日,llama.cpp 和它的底层张量库 ggml 同步发了 1.0.0,把这句话写成了明规矩。

一、1.0 的内容,是一张三行的规则表

llama.cpp 走了三年半,版本号一直是 b 开头的构建号——当前 nightly 是 b12359。接口不兼容的改动藏在构建号里,下游隔几周就可能编译失败。

这次 ggml-org 定下的语义化版本规则很直白:

  • 主版本:./include 下公开 C API 出现破坏性变更
  • 次版本:向后兼容的新功能、后端更新、新模型支持
  • 修订号:不动 API 的 bug 修复

这轮发布顺带清掉了废弃接口,把 NextN API 提升进 llama.h,新增 FP8 KV cache 与 /v1/audio/speech 端点,模型侧新增 Kimi-K3.1-Pro 等支持。

官方原话:今后 llama.cpp 与 ggml 的 API/ABI 不兼容,只随主版本号上升。发布当天 Hugging Face 官方博客拿到 169 个赞,创始人 Gerganov 的发帖约 19.3 万浏览。

二、同一周,模型在两头往外挤

地基讲规矩的同时,模型侧七天内出了三件事:

  • 笔电跑 145B:Edge0 11月12日放出 145B/120B 权重,自称峰值内存约 29GB、48GB 笔电可跑、解码 80+ token/s。但榜单全是自测,技术报告还没出,许可证是自家社区许可、商用需另行授权,并非 Apache。模型页显示它衍生自 Qwen3.8-Flash-Next。
  • 手机离线跑 30B MoE:华为麒麟 9050 11月11日官宣,总参数 300 亿、每次推理激活约 20 亿,新增内存占用低于 2.5GB;新一代达芬奇 NPU 性能提升 140%、功耗降低 66%。
  • 65B 打赢 500B+:11月4日开源的 Ripple-65B(Apache 2.0)在 Terminal-Bench 2.1 自报 80.5 分,压过多个 5000 亿参数量级的开源模型——同样尚无第三方复现。

三件事的共同点:数字都出自厂商自己,目前能外部查证的只有权重和许可证是否真实。

三、1.0 不是冻结,是把变化摆上台面

次版本照样加功能、加模型,nightly 构建照发。真正变的只有一点:破坏性变更必须升主版本,下游可以按版本号预判风险。

用 Ollama、LM Studio 的普通用户几乎无感;把 llama.cpp 嵌进产品的团队,升级窗口从此能排进计划,而不是每周追着 nightly 修编译。实际动作也简单:把依赖从 nightly 固定到具体版本号,升级前过一遍迁移说明。

模型跑分每周换人,接口承诺能长期稳定才有价值。本地 AI 接下来的比拼维度,除了谁的分高,还有谁的地基稳。

参考来源