2.8 万亿参数 Kimi K3 单请求飙至 842 tok/s！NVIDIA 联合 vLLM 开源 1.2 万行 CuTe DSL 巨型融合内核，GB300 NVL72 交互吞吐暴涨 1.8 倍

核心背景与行业痛点

当开源与前沿混合专家（MoE）大模型迈入万亿参数时代——例如月之暗面（Moonshot AI）的旗舰模型 Kimi K3（据 SemiAnalysis 披露总参数量高达 2.8 万亿 / 2.8T）——在最新一代 NVIDIA GB300 NVL72 机柜级超节点上进行低延迟流式解码（Decode）时，系统瓶颈发生了根本性转移。在小批量（Low-Batch）与高交互速率（Interactivity）的 Coding Agent 场景下，GPU 算力往往并未跑满，真正的性能杀手是每一层 Transformer 中高達 23 次的细碎 CUDA 内核启动（Kernel Launches）开销，以及注意力（Attention）、MoE 专家计算与跨卡 NVLink 全互连通信（Communication）之间的同步气泡。

架构亮点与底层机制

今日 vLLM (@vllm_project) 联合 NVIDIA 正式发布由 NVIDIA CentML 核心工程师 Benjamin Chislett 主导编写的 Kimi K3 统一 CuTe DSL 解码巨型内核（Decode Megakernel），并获 SemiAnalysis (@SemiAnalysis_) 深度拆解报道：

• 12,000 行 CuTe DSL 激进巨型内核融合（Aggressive Megakernel Fusion）：利用 NVIDIA CUTLASS 生态的高阶 CuTe DSL，将原本割裂的注意力算子、MoE 门控与专家矩阵乘（GEMM）以及跨卡 NVLink 通信原语（All-to-All / All-Reduce）激进融合进统一的持久化解码路径中。
• 单层内核数锐减 43%、单层耗时砍半：在 vLLM 标准解码管线中，Kimi K3 每执行一层需要启动 23 个独立 CUDA 内核、耗时 130 µs；经过 CuTe DSL 巨型内核重构后，每层仅需 13 个内核，单层耗时骤降至 69 µs（延迟削减高达 46.9%），彻底释放了 GB300 NVL72 的高带宽显存与 NVLink 域潜能。
• 全面兼容 DSpark 投机解码与长上下文正确性校验：该融合路径不仅完整通过了严苛的数值正确性与超长上下文精度对齐测试，更与 vLLM 内置的 DSpark 投机解码（Speculative Decoding）框架无缝叠加，同时官方透露针对 DeepSeek-V4.1-Flash（vLLM PR #61868） 与 GLM-5.3 的同类巨型内核移植已在推进中。

权威 Benchmark 与实测跑分对比

根据 vLLM 官方技术博客与 SemiAnalysis 公布的 NVIDIA GB300 NVL72 实测数据：

• 单并发（Batch=1）配合 DSpark 投机解码飙至 842 tok/s：在 16 张 GB300 GPU 上开启 DSpark 时，单请求生成速度从原版 vLLM 的 488 tokens/s 暴涨至 842 tokens/s（提速 1.73 倍）。
• 纯自回归解码（无投机）全批次加速：在 Batch=1（无投机）下，8 卡 GB300 吞吐达 193.3 tok/s（提速 1.58 倍），16 卡达 256.4 tok/s（提速 1.88 倍）；在高并发 Batch=64 下，8 卡总吞吐达 2,375.9 tok/s（提速 1.31 倍），16 卡高达 3,606.1 tok/s（提速 1.62 倍）。
• SemiAnalysis AgentX 交互速率暴涨 1.8 倍：在模拟真实多轮编码与工具调用的 SemiAnalysis AgentX 负载上，vLLM 官方 16 卡实测将 P90 单用户交互吞吐（P90 Interactivity）从 223.7 tok/s/user 拉升至 403.2 tok/s/user（最高达 1.8 倍跃升）；SemiAnalysis 独立实测更记录到在相同硬件配置下跑出 423 tok/s/user（1.68 倍同硬件加速） 的惊人交互体验。

开发者实战落地与开箱指南

该 CuTe DSL 巨型内核优化已作为上游特性直接合入 vLLM 主干。拥有 NVIDIA GB200 / GB300 NVL72 机柜集群的云厂商与企业 Infra 团队，可直接参考 vLLM 官方技术报告（https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel）拉取最新源码并启用 DSpark 投机解码部署 Kimi K3，同时可关注 vLLM PR #61868 跟踪即将落地的 DeepSeek-V4.1-Flash 与 GLM-5.3 融合内核支持。