11 月 12 日,开源推理引擎 SGLang 背后的非营利组织 LMSYS Org 在旧金山首届 SGLang 峰会开幕主题演讲上宣布成立 SGLang 联盟。创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 和 RadixArk,它们将与 SGLang 维护者一起参与路线图制定,重点方向是前沿模型支持、推理与多模态负载、分布式推理和跨硬件优化。每家成员指派一名技术代表,每年参加两次路线图会议;技术决策和代码合入权仍归 SGLang 维护者,项目继续对整个社区开放。

核心要点速览

  • ✓创始成员 8 家:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk(SGLang 核心作者创办的公司),覆盖 GPU/CPU 芯片、云和推理服务商
  • ✓治理方式:每家指派一名技术代表,每年两次路线图会议,期间可组建工作组并公开进展;技术决策与代码合入仍由 SGLang 维护者负责
  • ✓四个重点方向:前沿模型支持、推理与多模态负载、分布式推理、跨硬件平台优化
  • ✓规模(官方口径):SGLang 跑在数十万张 GPU 上,用户包括 Meta、微软、Google、亚马逊、Thinking Machines Lab、Cloudflare、Reflection、Modal
  • ✓背景:LMSYS 引用德勤数据称,2026 年推理约占全部 AI 算力的三分之二,2025 年约为一半;首届峰会 11 月 12–13 日在旧金山 Fort Mason 举行,100 多位演讲者
LMSYS 在首届 SGLang 峰会成立 SGLang 联盟:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk 成为创始成员,共同参与开源推理引擎路线图
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

大模型的算力开销正从训练转向推理。LMSYS 在公告中引用德勤数据:2026 年推理约占全部 AI 算力的三分之二,2025 年约为一半。同样一批 GPU 能跑出多少 token、成本多高,很大程度取决于推理引擎。SGLang 是 LMSYS 维护的开源全栈推理引擎,属于 PyTorch 生态,官方称已跑在数十万张 GPU 上,Meta、微软、Google、亚马逊、Thinking Machines Lab、Cloudflare 等都在生产环境使用。用的公司越多,各家对新模型、新硬件的需求越容易各自为战,需要一个正式渠道汇总。

架构亮点与底层机制

这次成立的不是新代码,而是协作机制。8 家创始成员各指派一名技术代表,每年参加两次路线图会议,可以贡献工程人力、部署反馈、测试资源或联合开发;会议之间可组建工作组,并公开路线图方向和进展。重点方向有四个:前沿模型支持、推理与多模态负载、分布式推理、跨硬件优化。关键约束是 SGLang 维护者保留技术决策和代码合入权,联盟成员不能直接拍板合并代码,项目继续对所有人开放。成员横跨NVIDIA、AMD、Intel三家芯片厂商,意味着跨硬件适配会被放到同一张路线图上讨论。

权威 Benchmark 与实测跑分对比

本次公告没有发布新的基准测试或性能数字。可引用的只有官方口径的规模描述:SGLang 运行在数十万张 GPU 上,支撑全球最大的一批生产推理部署。同日 RadixArk、Modal、SGLang 官方账号也发帖确认以创始成员身份加入,Modal 称 SGLang 帮它服务了数万亿 token。性能层面的进展需要关注峰会议程中NVIDIA Vera Rubin、AMD Instinct 等专题的后续材料。

开发者实战落地与开箱指南

对 SGLang 用户来说,短期内不需要改任何东西:项目许可、仓库和贡献流程不变。值得留意的是,联盟会定期公开路线图更新,想知道新模型首日支持、多模态和分布式推理的优先级,可以盯 LMSYS 博客和 SGLang 仓库。用 AMD、Intel硬件部署的团队,可以期待后续更多官方适配。峰会 11 月 12–13 日在旧金山 Fort Mason 举行,主会场有直播,涵盖强化学习、多模态和硬件平台等主题。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读SGLang-Neuron v0.1.0 开源并公开预览:SGLang 原生跑在 AWS Trainium 上,Kimi-K3 三节点 PD 分离、GLM-5.2 支持 1M 上下文,Apache 2.0
立即阅读→