vLLM v0.31.0：717 提交上线 vllm preload 秒级重启，DeepSeek-V4.1-Flash 默认 FlashMLA，多项安全与破坏性变更

核心背景与行业痛点

自托管大模型推理的两大痛点是重启慢和升级踩坑：百 B 级 MoE 量化权重每次重启都要重新加载、预热，线上扩缩容和热修复代价很高；而多租户服务里，请求级参数与前缀缓存又可能带来串数据风险。vLLM v0.31.0 汇集 717 次提交（307 位贡献者），正面处理这些问题。

架构亮点与底层机制

• 快速重启：新增 vllm preload 权重缓存守护进程，把量化后的权重常驻 GPU 显存，引擎重启时直接复用，已支持数据并行、MTP 草稿模型、/health 端点与就绪等待；实验性的 vllm snapshot create/restore 借助 CRIU 恢复一个已完全初始化的 TP1 引擎。
• DeepSeek-V4.1-Flash：SM100 上默认启用 FlashMLA mega attention + NVFP4 压缩 KV，并加入 DeepGEMM 稀疏 MQA logits、Mega-Gate 等融合。
• Model Runner V2：支持草稿模型推测解码与自定义 logits processor，新增 LiLiCorr drafter。
• 调度：--max-num-active-seqs 独立限制运行中请求数；已持有 KV 块的请求优先调度。

权威 Benchmark 与实测跑分对比

官方未给出端到端吞吐总分，只公布了组件级数字：GLM-5.3-Flash 元数据操作快 1.6–4.8 倍、索引器解码工作区省 3 GiB；KimiViT QK RoPE 融合最高 29 倍；MiniMax-M3 的 Conv3d patch embedding 约 62 倍；Qwen3.8-Flash-Next 在 DGX Spark 上权重加载省约 25 秒。实际收益请以自己的负载压测为准。

开发者实战落地与开箱指南

安装：pip install vllm 或 docker pull vllm/vllm-openai:v0.31.0（默认 CUDA 13.0，另有 cu129、ROCm、CPU、XPU 镜像）。升级前务必核对破坏性变更：请求级 mm_processor_kwargs/media_io_kwargs 默认被拒（需 --trust-request-mm-kwargs）；tokenizer_mode="slow" 已移除；在线 FP8 量化改用 fp8_per_tensor；--enable-mamba-fine-grained-prefix-cache 更名为 --enable-mamba-shared-prefix-checkpoint。频繁滚动发布的团队可优先试 vllm preload。详见 vLLM 文档。