vLLM（@vllm_project）宣布 DiffusionGemma-Jev 已可在 vLLM 上运行。系统先用响应模板填充画布，只对答案槽位加噪，再在单次去噪步骤中从每个槽位读出概率分布，从而对是非题、选择题或打分题同时给出答案与置信度。相关上游 PR：vllm-project/vllm#57250。
一键应用到您的开发环境与预算测算
vLLM 项目（@vllmproject）发布 v0.30.0（762 提交、315 贡献者）。亮点包括混合注意力热路径：Kimi K3 精简 KDA/AttnRes/MLA，DeepSeek-V4.1-Flash 加入 MXFP8 KV 与异步 Engram，Qwen3.8-Flash-Next 融合 QSA/PLE 并降低 sparse-GQA 开销；另有 HiSparse 主机层、Model Runner V2 的 EAGLE3 管线并行与自适应校验、双密钥 Gumbel-max 水印，以及 Fast Start（CUDA IPC 权重缓存）与 GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL 等新模型支持。
Inferact（@inferact）宣布与 Google Cloud 共同推进 TPU 在 vLLM 中的一等支持：统一工程路线覆盖生产服务与优化内核、经 TorchTPU 的原生 PyTorch 路径，以及前沿模型 Day-0 支持；并启动社区计划提供共享 TPU 容量与核心维护者评审，产出全部开源。
vLLM 官方宣布 Day-0 支持上海 AI Lab Intern-S2-397B。该 397B 多模态基座面向长程科学研究与科学智能体，具备较强多模态、推理、编码与科学智能体能力；开发者可按官方 recipe 在 vLLM 上立即部署与服务。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察