SGLang-Neuron v0.1.0 开源并公开预览：SGLang 原生跑在 AWS Trainium 上，Kimi-K3 三节点 PD 分离、GLM-5.2 支持 1M 上下文，Apache 2.0

核心背景与行业痛点

开源推理框架长期围着英伟达 GPU 转，想用 AWS 自研芯片 Trainium 的团队，往往要换一套工具链、重写服务代码，迁移成本高。10 月 SGLang 在 Trainium 上做了闭门测试，这次 v0.1.0 正式开源，目标是让「会用 SGLang 就会用 Trainium」。

架构亮点与底层机制

SGLang-Neuron 是树外插件：SGLang 本体负责 API 服务、请求生命周期、RadixAttention 和前缀缓存，插件实现 Trainium 专用的模型、注意力、MoE 和图执行器。TorchNeuron 把 Trainium 注册成原生 PyTorch 设备，算子用 torch.compile 编译，性能关键处用 NKI 内核。启动时预编译全部 prefill/decode 形状，服务中不再编译。PD 分离通过 NIXL 走 EFA 传 KV cache；被淘汰的前缀留在主机内存，命中时再加载回来。

权威 Benchmark 与实测跑分对比

官方公告和 AWS 博客均未给出与 GPU 的统一对比跑分；README 称各模型 recipe 内附实测结果，并用 GSM8K 校验精度。目前可确认的是规格层面：Kimi-K3 跨 3 个 Trainium3 节点做 PD 分离，GLM-5.2 支持 1M 上下文。性能结论需等第三方复测。

开发者实战落地与开箱指南

最快的方式是在 Trn3 实例上拉官方镜像 public.ecr.aws/neuron/pytorch-inference-sglang-neuron，按 AWS 博客示例以 TP8、EP8 启动 gpt-oss-120b，再用 OpenAI 兼容的 /v1/chat/completions 调用。源码安装需 Neuron SDK 2.33.0，SGLang 必须是 commit 43881a7，否则插件会拒绝启动。注意这是预览版，生产使用前先在自己的负载上压测。