vLLM 与蚂蚁集团开源量化推理内核库 Humming：一套内核覆盖多种量化格式和 Turing 以来全部 NVIDIA GPU，DeepSeek-V4.1-Flash 端到端吞吐提升 14%–43%

核心背景与行业痛点

量化是压低大模型部署成本的主要手段，MoE 模型尤其需要：每个 token 只激活部分专家，但全部权重都要放进显存。问题在于量化方案越来越多，WNA16、W8A8、W4A8、W4A4，再加 INT4 与 NVFP4、MXFP4 等不同数值格式和缩放方式，每种组合在每代 GPU 上都要有专门优化的内核，才能把省下的显存真正变成速度。vLLM 博客指出，按组合逐个开发内核，维护成本越来越高。Humming 就是为解决这个问题而生的，由蚂蚁集团和 vLLM 社区联合开源。

架构亮点与底层机制

Humming 先把不同量化工具导出的模型统一转换成一种标准格式，把权重格式、缩放粒度、零点等拆成独立参数；再用三组配置（层配置、计算配置、调优配置）描述内核，并由 NVRTC 或 NVCC 即时编译。底层的数据搬运、反量化、Tensor Core 计算和输出处理都是可复用组件，加一种新格式或新架构只需扩展对应组件。官方测试中，单个 W4A16 内核编译用时 1.82 秒，CUTLASS 加 NVCC 为 23.35 秒；模型预热时为一层所有批大小准备内核约 2–4 秒。在没有原生 MXFP4 Tensor Core 的 Hopper 上，它在内核里把 MXFP4 权重快速转成 FP8 计算，让 H200 也能高效跑 W4A8-MXFP4。

权威 Benchmark 与实测跑分对比

以下数字均来自 vLLM 社区自己的测试。稠密 W4A16 在多数配置下持平或超过 vLLM Marlin，大批量下 H200 约为 Marlin 的 2 倍、部分 B300 场景超过 3 倍；B300 上 MoE 的 Grouped 路径约为 Marlin 的 5 倍。W4A8-MXFP4 在 H20、H200 中小批量下约为 DeepGEMM W8A8 的 4.2 倍和 4.5 倍。端到端测试用 8 张 H20、TP=8 跑 DeepSeek-V4.1-Flash，权重保持 MXFP4 不变，MoE 从 Marlin W4A16 换成 Humming W4A8 后吞吐提升 14%–43%，平均首 token 延迟降 25%–32%；并发 64 时输出吞吐从 442.37 升到 633.94 tok/s。这些是单一模型和硬件上的结果，换模型和卡需要自己复测。

开发者实战落地与开箱指南

单独安装用 pip install humming-kernels，wheel 只有约 500 KB，内核按需编译；没有 CUDA 编译器时可装 humming-kernels[cu12] 或 [cu13]。代码在 GitHub vllm-project/humming，Apache 2.0 许可。vLLM 0.29.0 起 CUDA 版本已内置 Humming，启动时加 --linear-backend humming --moe-backend humming 即可；GPTQ INT3 这类 vLLM 不原生支持的格式可用 --quantization humming 兼容加载。自建 MoE 推理、尤其是 H20/H200 上跑 MXFP4 模型的团队，最值得先做一次 A/B。后续计划包括自动调优、更多 Rubin 特性和更多平头哥设备。