vLLM 发布 v0.29.0，Model Runner V2 成为所有模型的默认运行器。本版累计 594 次提交、277 名贡献者。亮点包括：Kimi-K3 再优化、DeepSeek-V4 共享专家并入 MegaMoE、Mamba 前缀缓存保留内部 prefill 检查点（TTFT 约提升 9–25%）、投机解码经 API 报告每请求接受率，以及面向 RL 权重同步的 sharded_rdt P2P 后端；并新增 Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA、NemotronH Omni Reasoning V3 等模型支持。

核心要点速览

  • ✓Model Runner V2 成为所有模型的默认 runner。
  • ✓Mamba 前缀缓存使 TTFT 约提升 9–25%；投机解码可经 API 查看接受率。
  • ✓DeepSeek-V4 MegaMoE 融合与 RL sharded_rdt P2P 权重同步，并扩展多款新模型。
⚡

开发者 3 秒速决决策指标

一眼结论
🏆 权威跑分段位榜单
Mamba 前缀缓存使 TTFT 约提升 9–25%；投机解码可经 API 查看接受率。
查看天梯总榜→
💰 调用成本与套餐比价
DeepSeek-V4 (Next-Gen MoE) · 输入 $0.55 / 输出 $1.65
查可用套餐与测算↗
🛠️ 开发与接入生态规则
vLLM · Model Runner V2 · Mamba
配置 IDE 专属规则↗
🧭

本地显存不够？先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟

⚔️ 模型战力比拼→💰 打开云端算费器↗
实战指南准备好将技术转化为生产力？

即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

⚔️ 开始双模型比拼→💳 查看可用套餐↗
接着读vLLM v0.32.0 发布：814 次提交，内置 /v1/systemone 结构化决策接口，NVFP4 低精度 KV 覆盖更多 GPU，多 API worker 短请求吞吐提升 43–85%
立即阅读→