Eagle 发布 EAGLE-4 推测解码草稿模型：一个 drafter 按批量与硬件自适应，官方称 Qwen3.8-27B 单请求 961.6 tok/s

核心背景与行业痛点

大模型逐 token 自回归生成，小批量时 GPU 被显存带宽卡住，算力大量闲置。推测解码让一个轻量草稿模型先猜几个 token，再由目标模型一次性验证，用同一次权重读取做更多计算。难点在于：批量小时值得画一棵又宽又深的推测树，批量一大，验证成本上升，树就该收窄。过去的 EAGLE-3、DFlash、DSpark 多用固定的深度和 top-k，换个并发或换张卡就得重新调参。EAGLE-4 要解决的正是“一个 drafter 适配所有批量和硬件”。

架构亮点与底层机制

据官方 README 和 fal 技术博客，EAGLE-4 沿用 EAGLE-3 的思路，把目标模型隐藏状态和 token embedding 一起喂给草稿模型。新版草稿层用滑动窗口注意力限制上下文成本，低秩候选头先在压缩空间里给词表打分，只为候选 token 算完整 logits，再加上只追加的草稿缓存。harness 在上线前对目标 GPU 和并行度做一次离线标定，得到不同批量、上下文长度和候选数下的验证延迟表；推理时逐层估算“累计概率收益 ÷ 边际成本”，比值高于阈值才继续加宽或加深，最后用树注意力掩码一次验证、拒绝采样接受最长匹配前缀，所以输出分布不变。博客也说明，多层草稿、MoE 草稿等组件尚未进入本次发布的模型。

权威 Benchmark 与实测跑分对比

官方帖和论文给出的头条数字是 961.6 tokens/s（Qwen3.8-27B、TokenSpeed、BF16、4× B300、TP4、单请求、T=0），属厂商口径。仓库的支持矩阵另给了可复现条件下的数：vLLM 4× B300 单并发从 241.6 提到 722.8 tok/s（2.99×），并发 8 为 1.70×；SGLang 4× B300 并发 8 为 1.91×，并发 64 降到 1.35×；单卡 AMD MI355X 并发 8 为 2.07×。仓库明确表示不对 TokenSpeed 吞吐做声明。社区转发里与 DFlash 2、DSpark 的倍数对比，本文未在官方文档中逐项核实，不予引用。

开发者实战落地与开箱指南

EAGLE-4 不是改进版引擎，而是 pip 包 eagle-harness 0.1.0，通过引擎暴露的 hook 注册，需要配合 Eagle 发布的打过补丁的 SGLang、vLLM 或 TokenSpeed wheel 或容器镜像，原版引擎包不带这些 hook。目前实测目标对只有 Qwen3.8-27B 及其草稿模型（Hugging Face EAGLE-Corp/Qwen3.8-27B-EAGLE4）。fal 还发布了 400 条、覆盖文生视频等四类任务的 Prompt Enhancement SpecBench，适合测创意类负载。商用前务必读许可证：它是源码可用许可，营收超过 2000 万美元或做竞品推理框架都需要另签授权。