Cloudflare 披露 Workers AI 上 GLM-5.3 跨请求泄露事故：KV 缓存配置不匹配叠加 SGLang 漏洞，13 天内 155 条回复混入其他用户数据

核心背景与行业痛点

推理服务为了性能，会让不同请求复用 GPU 上同一个 KV 缓存池的页面，页面在请求之间不清零，归属全靠推理引擎追踪。Cloudflare 这份报告说明，一旦追踪出错，用户拿到的是看似正常的 HTTP 200 回复，里面却夹着别人的提示和生成内容，传统监控完全看不出来。这是托管开源模型的云厂商普遍面临的租户隔离风险。

架构亮点与底层机制

Workers AI 用 SGLang 以 prefill/decode 分离方式运行 GLM-5.3：prefill GPU 计算 KV 缓存后经 Mooncake 走 RDMA 传给 decode GPU。问题有两层：一是配置上下文 1,048,576 token，而 prefill KV 池只有 681,280 token，团队上线前知道差异，但以为引擎会报错；二是 SGLang 准入队列只检查请求是否 finished，被拒绝的请求仍被放行，prefill 只算 1 个 token 就报告传输完成，decode 读取其余未覆盖的旧页面后生成回复。

权威 Benchmark 与实测跑分对比

本事件没有跑分。官方口径的关键数字：155 条受影响回复，暴露期约 13 天；修复后 prefill KV 池约 204 万 token；从宣布事故到下线不到 40 分钟。修复已进入 SGLang v0.5.20，后续在 v0.5.21、v0.5.22 补强。

开发者实战落地与开箱指南

自建 SGLang 推理的团队应升级到 v0.5.22 或更高，并在每次部署变更前从运行中的引擎直接核对 KV 池大小是否不小于上下文长度，不要只凭 HTTP 状态码判断长上下文是否正常。压测时要检查输出内容和连贯性，可用金丝雀标记检测跨请求泄露。