远程 KV 缓存竟比 GPU 重算慢 2.8 倍？LMCache 分片异步架构将 p99 从 83.3 秒压至 0.67 秒，百度 VHA 虚拟头注意力砍半 KV 反超 MLA

核心背景与行业痛点

在长上下文大模型与多轮 Coding Agent 的生产级推理中，“如何存得下、读得快 KV 缓存”是决定首字延迟（TTFT）与单卡吞吐的生命线。然而，当前主流方案在分布式存储端与模型架构端双双遭遇反直觉陷阱：在存储端，各大推理集群普遍引入基于 LMCache + Valkey 的跨引擎远程共享 KV 缓存层，但在 8xB300 等新一代高算力节点配合预填充上下文并行（Prefill Context Parallelism, PCP8）部署 GLM-5.3（采用压缩率极高的多头潜注意力 MLA）时，实测发现从远程缓存拉取一次命中的耗时（0.88 秒）竟然比 GPU 直接重算整段 Prompt（0.31 秒）还要慢 2.8 倍，同步阻塞加载更使高命中率生产流的 p99 延迟劣化至惊人的 83.32 秒（此时 GPU 仅 7% 忙碌）！而在模型架构端，GQA 显存开销过大，MLA 虽能压缩缓存却伴随底座质量折损，MFA 则显著推高了预填充计算量（FLOPs），形成“KV 大小、预填充算力、模型质量”的不可能三角。

架构亮点与底层机制

今日发布的两项硬核研究成果分别从分布式 KV 存储协议（arXiv:2610.21500）与零开销线性折叠注意力架构（Virtual Head Attention, VHA, arXiv:2610.17959）彻底击穿了上述瓶颈：

• LMCache 跨 PCP Rank 无锁分片与异步流水（arXiv:2610.21500）：作者首先建立双项成本分析模型，证明对于 GLM-5.3 与 B300 GPU，远程缓存层必须提供高于 $B^* = 2.53\text{ GB/s}$ 的有效带宽，且由于存在约 $T_0 \approx 0.33\text{ s}$ 的固定引擎开销，短于 17K Token 的请求无论网络多快都无法跑赢 GPU 重算。据此，作者对 LMCache 实施四大改造：（1）将 MLA KV 缓存按 PCP Rank 进行分片存储，并从数学上证明现有的跨 Rank 最小值查找（Minimum-over-Ranks Lookup）可严格返回最长公共前缀且绝不引发集合通信失步；（2）按 Rank 独立部署无协调开销的远端 Valkey 实例，将读取带宽提升 6.3 倍至 10.76 GB/s；（3）引入分片存储异步非阻塞加载；（4）修复三个导致无限停顿的客户端 Bug。
• 百度飞桨虚拟头注意力 VHA（arXiv:2610.17959）：为了在仅保留 2 个物理 KV 头（GQA-2） 的极致压缩下恢复多头表达力，VHA 引入两个纯线性算子：Q Premix 在每个 KV 组内部对减半的物理 Query 头施加近似恒等线性变换以恢复虚拟头多样性；Linear Postmix 则通过低秩残差结构 $I + AB^\top$ 融合跨头特征。由于全程不引入任何非线性激活，在推理部署时，Premix 可直接折叠进 $W_Q$ 投影矩阵，Postmix 可直接折叠进 $W_O$ 输出矩阵，使模型在推理期完全等价于标准的 GQA-2 架构（在大模型中 Group Size 轻松达到 64，完美榨干 Tensor Core 解码并行度），零代码复用所有现有 GQA 推理内核。

权威 Benchmark 与实测跑分对比

• 8xB300 上 GLM-5.3 (PCP8) 远程缓存实测（arXiv:2610.21500）：在 98.5% Prompt Token 命中远程缓存的生产流量回放中，分片异步版 LMCache 将 p99 首字延迟从崩溃边缘的 83.32 秒断崖式压降至 0.67 秒（提速逾 124 倍），并将预填充吞吐量直接提升 14%（配合上游内核修复后吞吐总计提升 34%），全部补丁已正式提交至 LMCache 上游主线。
• VHA 在 30B-A3B 与 10B-A1B MoE 上的统治级表现（arXiv:2610.17959）：在 4 个稠密与 MoE 尺度（4K 上下文、50B Token 预训练）上，VHA 全线超越标准 GQA（+0.05% ~ +0.81%），同时将稠密模型 KV 缓存较 GQA-8 压缩 4 倍、MoE 模型较 GQA-4 压缩 2 倍，并将 1.7B 模型的训练与预填充 FLOPs 降低 7.9%。在工业级 30B-A3B MoE 模型（500B Token、8K 上下文预训练）的 12 项权威基准评测中，VHA 均分全面击败 MLA（+0.70%） 与 GQA-4（+2.60%）；在 10B-A1B MoE 的 8K–128K 长上下文中训对比中，VHA 仅用 2 个 KV 头便在 RULER 基准上斩获 84.4 分，远超 4 个 KV 头的标准 GQA（73.0 分，大幅领先 +11.4 分）。

开发者实战落地与开箱指南

运维分离式推理集群（Disaggregated Prefill/Decode）的团队应立即拉取最新 LMCache 上游分支，开启按 Context-Parallel Rank 独立分片的远程 Valkey/Redis 实例，并对 <17K Token 的短请求配置本地 GPU 直接重算绕过策略。预训练与模型架构师则可克隆 https://github.com/PaddlePaddle/VHA 获取百度飞桨开源实现，在训练期插入轻量线性 Premix/Postmix，导出推理权重时执行矩阵乘法折叠，即可让 vLLM / SGLang 以 GQA-2 的半量 KV 显存跑出超越 MLA 的长文精度。