vLLM 正式支持 NVIDIA Vera Rubin NVL72：AgentX 上 MiniMax M3 单卡吞吐达 GB200 的 7.84 倍

核心背景与行业痛点

Agent 场景下，长上下文、多轮工具调用让推理服务同时被吞吐和交互延迟卡住。GB200 上 MoE 模型 decode 主要受 HBM 读权重速度限制，专家并行的 all-to-all 又挤占 NVLink。NVIDIA 下一代 Vera Rubin 平台发布后，开源推理引擎能否第一时间跑起来、跑出多少提升，是部署方最关心的问题。

架构亮点与底层机制

据 vLLM 官方博文，Rubin 沿用 Blackwell 架构家族（新编译目标 sm107，sm100f 内核可直接运行），因此 vLLM 的 Blackwell 内核“Day-0”可用。关键优化有三点：一是借 CUDA 13.4 的 locality domain，把 MoE 权重按列拆到两个内存域，让每个域的 SM 只读近端 HBM，小 token decode 下 MoE 层平均提速约 1.2 倍；二是通过 FlashInfer 0.7.0 引入 Rubin 调优的 attention、GEMM、MoE 内核；三是为 MiniMax Sparse Attention 预填充做了 FP8 适配。

权威 Benchmark 与实测跑分对比

以下均为官方/厂商口径的早期结果：SemiAnalysis AgentX 上运行 MiniMax M3，同等交互性下单卡吞吐最高为 GB200 的 7.84 倍，150 TPS 约束下为 5.18 倍；MLPerf Inference v6.1 VLM 项中，Qwen3-VL-235B-A22B 以 vLLM 为后端、Dynamo 为路由，相对 GB300 NVL72 最高 3.7 倍。硬件层面 Rubin 的 NVFP4 算力为 GB200 的 5 倍，HBM4 带宽约 2.4 倍。

开发者实战落地与开箱指南

拿到 Rubin 机器后可直接拉取 vllm/vllm-openai:cu134-nightly。NVFP4 MoE 可加 --moe-backend flashinfer_cutedsl；FP8 注意力需 --kv-cache-dtype fp8 并设置 --attention-backend FLASHINFER。后续路线包括 MegaMoE、Kimi K3 的 MLA/KDA 内核和 DeepSeek-V4.1-Flash 的 Rubin 内核，代码见 vLLM GitHub。