11 月 13 日,ggml-org 在 GitHub 发布 llama.cpp v1.0.0,并在 Hugging Face 博客宣布 llama.cpp 与 ggml 两个库同时进入 v1.0.0。今后 ./include 下公共 C API 出现破坏性变更时升主版本,向后兼容的新功能、后端和模型支持升次版本,纯修复升补丁版本。本次 release 移除 35 个废弃函数,把 NextN/投机解码 API 提升进 llama.h,新增 OCP FP8 KV 缓存、可设 CPU 分担比例的 MoE 专家缓存,加入 Kimi-K3.1-Pro 等新架构,llama-server 加固 SSRF/CORS/DNS rebinding 防护并新增 OpenAI 兼容的 /v1/audio/speech。作者 Georgi Gerganov 的发布帖约 4,180 赞。

核心要点速览

  • ✓版本规则:MAJOR = ./include 公共 C API 破坏性变更;MINOR = 向后兼容的功能、后端、模型支持或 API 新增;PATCH = 不改 API 的修复
  • ✓破坏性变更:移除 llama_set_warmup、35 个废弃函数和 --defrag-thold;llama_set_embd_state_src 改名为 llama_set_ctx_state_src,嵌入 libllama 的项目升级前要改代码
  • ✓新能力:FP8 KV 缓存(-ctk/-ctv f8_e4m3)、MoE 专家缓存(moe_cache_size、moe_cache_cpu_share)、通过 --shard/--ple 加载外部 PLE 分片
  • ✓llama-server 加固 SSRF、CORS、DNS rebinding 与 MCP 工具取消,新增 OpenAI 兼容 /v1/audio/speech,Web UI 重做(GitHub release)
  • ✓分发渠道包括 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和 XCFramework;项目目前支持 150+ 种架构变体
llama.cpp 与 ggml 正式发布 v1.0.0:3.5 年来首个大版本,C API 改用语义化版本、破坏性变更必升主版本;同时移除 35 个废弃函数,新增 FP8 KV 缓存、MoE 专家缓存与 /v1/audio/speech
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

llama.cpp 是本地跑大模型最常用的推理引擎之一,很多桌面应用、量化工具和语言绑定都建在它之上。项目开源 3.5 年来一直按 b12xxx 这样的构建号发版,没有承诺 API 稳定,下游经常要追着接口变化改代码。ggml-org 在博客里说,接入的开发者越来越多,稳定而灵活的 API 已经成为头等大事。

架构亮点与底层机制

这次 llama.cpp(libllama)和 ggml(libggml)同时进入 v1.0.0,并采用语义化版本:./include 下公共 C API 出现不兼容变更就升主版本,新功能、后端和模型支持升次版本,纯修复升补丁版本。v1.0.0 自身先做了一次清理,移除 35 个废弃函数,把 NextN/投机解码 API 并入 llama.h;同时新增 FP8 KV 缓存、带 CPU 分担比例的 MoE 专家缓存,以及 Kimi-K3.1-Pro、Ripple-65B-Preview、drama-3 TTS 等模型支持。

权威 Benchmark 与实测跑分对比

官方这次没有公布性能跑分。可核实的数字有:项目历时约 3.5 年、支持 150+ 种架构变体、移除 35 个废弃函数;Georgi Gerganov 的发布帖约 4,180 赞、31 万浏览。

开发者实战落地与开箱指南

直接用 llama-server 或桌面应用的用户可以正常升级。把 libllama 嵌进自己产品的团队,要先检查是否调用了被移除的函数和改名的接口,然后把依赖锁到 1.x,之后小版本可以放心跟进。暴露在网络上的 llama-server 建议尽快升级,以获得 SSRF、CORS 和 DNS rebinding 防护。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读X 热议:黄仁勋辞职半小时后,Hugging Face CEO Clem Delangue 发帖称「真是难过的一天」,但会「比以往更努力地为开源 AI 而战」;Raschka、Nathan Lambert 担心英伟达 Nemotron 开源路线与待交割的 Hugging Face 收购
立即阅读→