vLLM v0.32.0 发布：814 次提交，内置 /v1/systemone 结构化决策接口，NVFP4 低精度 KV 覆盖更多 GPU，多 API worker 短请求吞吐提升 43–85%

核心背景与行业痛点

开源推理引擎的竞争点正从「能不能跑新模型」转向显存效率、冷启动速度和接口标准化。长上下文与 MoE 模型让 KV 缓存成为显存大头，而多款「决策模型」需要一次前向就给出选项概率，此前各家只能自写适配。vLLM 在 v0.31.0（10 月 5 日）之后不到两周推出 v0.32.0，共 814 次提交。

架构亮点与底层机制

新版默认提供 POST /v1/systemone，与 Ollama、llama.cpp 此前支持的同名接口对齐，可回答 choice、noul、score 三类问题。通用 hf 解析器读取权重自带的 response_template，新模型可免写专用解析器。KV 方面，NVFP4 覆盖 SM8x/SM90/SM12x，ROCm 新增 4-bit KV。Model Runner V2 加入 GPU n-gram 投机解码、Elastic EP，并成为 ROCm 默认。

权威 Benchmark 与实测跑分对比

以下均为 PR 内基准（官方口径）：GLM-5.x 在 SM100 改用 FP8 KV 后每卡 KV 显存减半、吞吐 +2.3–5.5%，TTFT 增加 7–11%；SM90 上 fp8_ds_mla 让 GLM-5.3-Flash 输出吞吐最高 +31%；多 API worker 短请求 req/s +43–85%。官方未公布与 SGLang 等引擎的横向对比。

开发者实战落地与开箱指南

pip install vllm 或 docker pull vllm/vllm-openai:v0.32.0 即可升级。升级前注意：Python 3.10 已不再支持，CORS 默认不再放行所有来源，前端跨域调用需显式配置；Responses API 的推理流事件已改名。可用 vllm download-kernels 预装 FlashInfer 内核，配合 vllm preload --preload-autotune 缩短重启时间。