vLLM(@vllm_project)宣布 DiffusionGemma-Jev 已可在 vLLM 上运行。系统先用响应模板填充画布,只对答案槽位加噪,再在单次去噪步骤中从每个槽位读出概率分布,从而对是非题、选择题或打分题同时给出答案与置信度。相关上游 PR:vllm-project/vllm#57250。

核心要点速览

  • ✓DiffusionGemma-Jev 正式可在 vLLM 推理栈上服务。
  • ✓模板画布 + 单步去噪,可对结构化答案输出置信度分布。
  • ✓适合是非/多选/打分等需要校准概率的决策式查询。
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Google Gemma 团队:用 Gemini 4 Argon 为 vLLM 提交 Gemma 4 优化 PR,官方称 gemma-4-E2B-it 在 A100 上提速 2.85 倍
立即阅读→