llm-d 1.0 发布：Red Hat、IBM、Google 主导的 Kubernetes 原生开源分布式推理栈进入生产可用，按厂商口径自托管 3,000 个编码 Agent 比商用 API 便宜 5–10 倍
10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。
核心要点速览
- 规模（Red Hat 新闻稿，厂商口径）：在 NVIDIA GPU 上部署约 7,530 亿参数的 GLM 5.2，峰值每分钟输出 660 万 token，同时服务最多 3,000 个编码 Agent 且零抢占，按云租用价算每 token 成本比同等商用 API 低 5–10 倍
- 缓存复用：IBM 称在 Agent 编码负载中前缀感知路由拿到了 97% 的可复用缓存；IBM Research 量子纠错芯片项目前缀命中约 98%、综合成本约每百万 token 0.11 美元，比全闭源方案低 11.5 倍
- Google Cloud 口径：Ironwood TPU 上的 Agent 编码负载，前缀感知路由加主机内存卸载让首 token 延迟中位数下降超 85%、吞吐提升 2.4 倍；Gemini 平台前缀缓存命中率从 35% 提到 70%
- 1.0 新能力：flow control 多租户 QoS、路由热备高可用、DisaggregatedSet 统一管理 prefill/decode 滚动升级、v1 配置 API、Responses API 支持 previous_response_id
- 生态：500+ 贡献者、25+ 家机构；JetBrains 的免费 Junie Lite、DigitalOcean Serverless Inference、Mistral 商用分级流量已在生产中使用；GitHub v1.0.0 发布说明坦言部分既定目标未完成