香港大学提出混合线性注意力投机解码 ReaDy：复用循环状态作为动态上下文，B200 解码吞吐达 302 TPS

核心背景与行业痛点

投机解码（Speculative Decoding）是加速大模型自回归解码（AR）的主流手段。然而，现有的特征级草稿模型（Feature-Based Drafters，如 EAGLE、DSpark）普遍直接抓取目标大模型最后一层的顶层静态隐藏状态（Hidden State）作为草稿预测依据。这种做法存在内在缺陷：单一固定隐藏状态所包含的上下文侧重点，无法满足后续多个推测位置（Draft Positions）动态变化的语义需求。而近年来崛起的混合线性注意力架构（Hybrid Linear Attention, HLA，如融合了 Transformer 注意力与 Mamba/RWKV 线性状态的混合模型）在维持极低显存的同时维护了紧凑的循环隐状态（Recurrent States），该状态天然积累了丰富的时序关联。香港大学团队在 arXiv:2610.20503 中首次利用该特性提出了全新的投机解码加速框架 ReaDy。

架构亮点与底层机制

1. 循环隐状态作为动态上下文（Recurrent States as Dynamic Context）：

• ReaDy 创新性地将 HLA 骨干网络中固有的紧凑循环状态作为动态上下文信息源。通过可学习的低秩读取器（Low-Rank Reader，仅需 Rank 8~16）轻量提取历史语义记忆，与目标特征拼接共同输入草稿解码器；

1. 解耦正交投影机制（Orthogonal Projection Decoupling）：

• 在读取循环状态时，利用正交投影算子分离与当前查询重叠的已知特征与未探索的正交补空间（Orthogonal Complement），确保注入草稿网络的信息具备最大信息增益；

1. 极简低参数草稿网络与跨层注入：

• 经过系统消融，仅需在草稿网络最后一层后注意力位置注入第 30 层与第 62 层的循环状态，即可以极小的显存与计算开销达成最佳预测拟合。

权威 Benchmark 与实测跑分对比

在单张顶级 NVIDIA B200 GPU 上对 Qwen3.8-27B 进行的大规模投机解码基准实测（Table 1, 2, 3, 4）：

• 端到端解码吞吐（Tokens Per Second, TPS）：
• 纯自回归（AR）解码基线为 126.15 TPS；
• 先进投机解码基线 DSpark 达到 280.42 TPS（2.22x 加速，平均接受长度 $\tau = 4.17$）；
• ReaDy 吞吐飙升至 302.78 TPS（2.40x 加速，接受长度 $\tau = 4.53$），在 DSpark 极高基准上进一步取得 +7.97% 的纯净吞吐增益（+8.50% 接受长度提升）；
• 超低秩读取器效率（Table 3）：
• 实测证实，读取器 Rank 仅设为 8 时即可达到 302.78 TPS，与全秩 128（302.31 TPS）完全持平，额外参数增加几乎可以忽略不计；
• 跨任务稳定性：
• 在 GSM8K、MATH500、MetaMathQA 与 Evol-CodeAlpaca 等代码与数学长推演任务上均取得一致的加速收益。

开发者实战落地与开箱指南

• 技术细节与消融实验：架构推导与训练两阶段优化器参数详见 arXiv:2610.20503。
• 工程部署指引：正在研发或部署 Mamba/RWKV+Transformer 混合线性注意力大模型的团队，可借鉴 ReaDy 的循环状态抽取器，无需额外训练庞大的独立 Draft 模型，仅通过轻量级 Rank-8 读取器挂载即可在 B200/H100 实例上解锁 300+ TPS 的极速代码与推理输出。