推理吞吐再迎质跃！SGLang v0.5.21 重磅发布：PD 分离免重启毫秒级热切换，Rust 内核前缀缓存全面领跑

核心背景与行业痛点

在当前大模型企业级高并发部署中，预填充（Prefill）阶段与解码（Decode）阶段对硬件资源的计算特征截然不同：Prefill 属于计算密集型（Compute-Bound），需要高算力张量核心快速处理超长 Prompt 上下文；而 Decode 属于内存带宽受限型（Memory-Bound），依赖高吞吐显存持续逐 Token 生成。为了化解相互干扰，业界广泛采用 PD 分离架构。然而现有推理框架的 PD 角色分配均为静态配置，一旦线上流量发生突发波峰（如突发巨量长 Prompt 请求或超长输出长推理请求），静态分配的 Prefill 或 Decode 节点往往陷入严重的计算倾斜与闲置浪费；此外，高并发场景下的多租户前缀缓存（Prefix Cache）在 Python 解释器层面的锁竞争与内存碎片，也成为制约吞吐的致命瓶颈。

架构亮点与底层机制

SGLang v0.5.21 带来了多项直击分布式工程瓶颈的重磅技术演进：

1. PD 实例免重启在线动态热切换（Dynamic PD Role Switching）：底层运行时支持 Worker 节点在 Prefill 实例与 Decode 实例之间即时平滑转换，调度器可根据当前队列中的长短文本负载比例，在毫秒级自适应动态调配计算节点角色，彻底杜绝单向排队与资源浪费；
2. 默认启用原生 Rust 内核前缀缓存：将底层基数树（Radix Tree）前缀匹配与 KV Cache 块管理模块完全用 Rust 重写并默认启用，显著削减了高频访问下的 CPU 负载与 GIL 竞争开销，实现纳秒级缓存检索；
3. Decisions 与 Score 专用轻量接口上线：新增 /v1/decisions 与 /v1/score API，允许开发者跳过沉重的文本自回归全流程，以极低延迟直接将 LLM/VLM 用作高精度分类器与候选评分器；
4. 异构计算与新型模型全面拓荒：打通 GLM-5.3-Flash 在 AMD MI355X 旗舰算力卡上的全流程支持，深度集成 FP8/MXFP4 MoE 精度算子与 MTP 投机解码加速。

权威 Benchmark 与实测跑分对比

在覆盖超长上下文、异构集群与主流闭源/开源前沿模型的工业级基准测试中，SGLang v0.5.21 展现了强劲的性能领先优势：

1. 长文本首 Token 延迟（TTFT）大幅缩短 22%：在 DeepSeek-V4.1 模型处理 32k~128k 超长 Prompt 压测下，结合优化的分布式通信机制，首 Token 生成延迟较此前版本缩减达 22%；
2. Kimi K3 预填充吞吐飙升 20.6%：在端到端 PD 分离集群服务评测中，针对 Kimi K3 模型的 Prefill 吞吐效率跃升 20.6%；
3. 跨节点张量并行（PP/DP/CP）精度与稳定性拉满：层间通信由 SGLang 统一接管优化，在流水线并行（PP）与上下文并行（CP）下的计算偏差降至历史最低，大批量长程推理稳定性实现工业级收敛。

开发者实战落地与开箱指南

SGLang v0.5.21 现已正式发布并支持通过 uv pip install --prerelease=allow sglang==0.5.21 快速安装，官方 Docker 镜像也已同步推送到 Docker Hub（涵盖 NVIDIA CUDA 13 与 AMD ROCm 10 平台）。对于正在搭建大规模大模型推理中台、代码 Agent 并发沙箱或多模态生图集群的架构师，推荐直接升级至该版本，并在集群配置文件中开启 --enable-dynamic-pd 与 Rust 前缀缓存，无需改动业务层代码即可立享高达 20% 以上的集群吞吐提升与显著成本节省。