SGLang v0.5.22 重磅发布：DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍，InstantTensor 载入提速 10 倍

核心背景与行业痛点

随着 DeepSeek-V4.1、Qwen3.8 与 GLM-5.3 等超大规模稀疏 MoE 模型的快速普及，企业私有化部署与公有云服务商在算力利用率上遭遇了多重严峻挑战：第一，千亿级参数模型在英伟达 H200 及 AMD MI350X/MI355X 等新一代异构加速卡上的显存带宽利用率与多步投机推演效率受制于算子通信瓶颈；第二，超大模型冷启动加载常耗时数分钟，制约了弹性扩缩容；第三，长文本长 Prompt 场景下的首字延迟（TTFT）与解码延迟随并发急剧恶化。开源推理服务框架 SGLang 正式发布了 v0.5.22 核心里程碑版本，给出了覆盖全硬件生态的系统级性能跃升。

架构亮点与底层机制

1. DeepSeek-V4.1 与异构算力深度融合加速（PR #41251, #41308）：

• 针对 DeepSeek-V4.1 引入全新多层显存复用与通信隐藏算子，在 NVIDIA H200 上实现单卡吞吐飙升 2.3 倍；
• 通过与 AMD 合作引入 DSpark 算子库，首次在 AMD Instinct MI350X / MI355X 旗舰集群上打通端到端低延迟服务，吞吐提升 1.9 倍；

1. InstantTensor 极速加载器（PR #40453）：

• 彻底重构权重反序列化与页锁定内存传输通道，利用零拷贝直接映射消除多重内存拷贝与格式转换，实现模型权重载入速度提升 10 倍（10x faster）；

1. PD 分离架构与投机解码升级（PR #40703, #43735）：

• Prefill-Decode（PD）分离架构在长 Prompt 工作负载下将吞吐提升 27%，并将 p95 TTFT 延迟砍半（降低 50%）；GLM-5.2 与 GLM-5.3 首次支持解码上下文并行与 MTP 联合运行，GLM-5.3 解码加速高达 2.1 倍；

1. 全平台拓扑扩展：

• 首次原生支持苹果 Apple Silicon（M 系列芯片）标准 PyTorch 后端；ComfyUI 原生支持 SGLang Diffusion（支持 MiniMax-H3、Qwen-Image 2.1、GGUF 权重与 LoRA）。

权威 Benchmark 与实测跑分对比

根据 SGLang 官方在 NVIDIA H200、B200、B300 及 AMD MI355X 上的全量 Benchmark 实测：

• DeepSeek-V4.1 吞吐：NVIDIA H200 单卡吞吐达到原版的 2.3 倍；AMD MI355X 借助 DSpark 实现 1.9 倍 吞吐飞跃；
• B200 / B300 顶级芯片解码：
• B200 上 Qwen3.8-Flash-Next 解码速度提升 12%；
• B300 上 GLM-5.3-Flash 配合 DFlash 解码速度提升 10%；
• B300 上 MiMo-V2.6-Pro 配合 DFlash 解码吞吐达到 1.85 倍；
• 长文本首字延迟：PD 分离使长 Prompt 场景的 p95 TTFT 降低 50%，吞吐净增 +27%；
• 全新模型 Day-0 支持：全面上线 Clef/Clef Flash、Perplexity PPLX-Decider v1/v1.1、Google EmbeddingGemma 2、LLaDA2.2、混元 HunyuanImage-3.0-Instruct 与 SANA-Video 2.0。

开发者实战落地与开箱指南

• 快速安装与更新：

  pip install --upgrade "sglang[all]>=0.5.22"
  

• 生产部署建议：高并发生产集群建议开启 --enable-instant-tensor 实现秒级容器冷启动，并在长文档 Agent 检索场景中配置 --enable-pd-disaggregation，以极低显存代价将首字延迟压缩一半。