Google Gemma 团队:用 Gemini 4 Argon 为 vLLM 提交 Gemma 4 优化 PR,官方称 gemma-4-E2B-it 在 A100 上提速 2.85 倍
Google 官方账号 @googlegemma 10 月 26 日发帖称,借助 Gemini 4 Argon 完成的一组 vLLM 优化,让 gemma-4-E2B-it 在单张 A100 上的吞吐从约 37,900 提升到 108,000+ tokens/秒,约 2.85 倍,且输出 token 100% 一致。对应 PR 由 Google DeepMind 的 Luciano Martins 提交,大部分仍在评审中。
核心要点速览
- 官方称 gemma-4-E2B-it 在 A100 上吞吐约 2.85 倍(约 37.9K 到 108K+ tokens/秒),输出 token 100% 一致
- PR 作者为 Google DeepMind 的 Luciano Martins,覆盖融合 Triton 内核、MTP 投机解码、KV 共享快速预填充等
- 2.85 倍是 Google 对整组优化的说法;单个 PR #60674 自测预填充最高 1.90 倍、解码约 1.06 倍
- 截至 10 月 27 日,链接中 10 个 PR 仅 3 个已合并,其余仍在评审
- 这是用前沿编码模型做推理内核性能工程的公开案例,结果尚待 vLLM 社区复现