AI 编程实时动态与要闻

端侧模型公司 Edge0 于 11 月 12 日开放 Edge0-145B 和 Edge0-120B 的权重，并发布 C++ 推理引擎 edge0-infer 和 Edge0 Chat 0.2.0。145B 版基于 Qwen3.8-Flash-Next，是潜空间稀疏 MoE，每 token 激活约 10.12B 参数，原生 4 bit 训练，上下文 256K。官方称本地峰值内存 29GB，在 RTX 5090 D 24GB 上智能体解码 98.3 tok/s；Terminal-Bench 2.1 得分 86.52，Claude Opus 4.6（Max）为 78.2。所有成绩均为 Edge0 内部评测。

查看大图

11 月 12 日，开源推理引擎 SGLang 背后的非营利组织 LMSYS Org 在旧金山首届 SGLang 峰会开幕主题演讲上宣布成立 SGLang 联盟。创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 和 RadixArk，它们将与 SGLang 维护者一起参与路线图制定，重点方向是前沿模型支持、推理与多模态负载、分布式推理和跨硬件优化。每家成员指派一名技术代表，每年参加两次路线图会议；技术决策和代码合入权仍归 SGLang 维护者，项目继续对整个社区开放。

查看大图

OpenAI 官方账号与博客介绍了 Control Room：一个覆盖整个研究基础设施的中央系统，接入所有研究推理负载（包括用于训练和评测的智能体采样、数据处理等），与其错位（misalignment）监控系统联动，在决定干预后 35 秒内停止对应任务的模型输出。终止机制放在推理引擎层而非研究代码层：引擎每次处理请求前都要向 Control Room 校验 job_id；Control Room 自身宕机或被篡改时，所有推理请求都会被拒绝（fail-closed）。该机制已覆盖全部前沿模型研究负载，其余研究负载将在未来几天内完成上线。这是安全基础设施公告，不涉及新模型或对外 API。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。

查看大图

开源 C++ 推理引擎 Strata 让 125B 参数（激活 6B）的 Qwen3.8-Flash-Next 在 12GB 显存游戏卡 + 32–64GB 内存的普通 PC 上运行，并在本机提供 OpenAI / Anthropic / Responses 兼容 API，可直接接入 Claude Code 与 Codex CLI。项目 GitHub 已超 1 万 star，登上 Hacker News 前排（507 分）。

查看大图

作为全球开源大模型高并发高吞吐推理引擎的标杆，SGLang 正式推出里程碑版本 v0.5.21，凝聚了 227 位贡献者的 779 项重要提交。该版本在分布式推理架构与长文本处理上带来突破性飞跃：首创 PD（Prefill-Decode）分离实例动态在线角色切换机制，无需停机重启即可在毫秒级自适应调节预填充与解码算力配比；底层前缀缓存（Prefix Cache）默认升级至高性能 Rust 核心，大幅降低内存管理损耗与锁争用；同时针对 DeepSeek-V4.1 长文本场景实现首 Token 延迟降低 22%，全面适配 MiMo-V2.6 与 AMD MI355X 硬件生态。

查看大图

在大模型带可验证奖励强化学习（RLVR）与 GRPO 训练中，采用高吞吐推理引擎（vLLM/SGLang）采样 Rollout 与采用训练引擎（Megatron/PyTorch）计算梯度时，二者对同一 Token 计算的概率存在系统性浮点失配，导致传统重要性采样出现无界二阶矩方差爆炸。研究团队揭示了 Logit 位移分布的不变性，提出校准重要性采样（Calibrated Importance Sampling, CIS）。在三款 MoE 架构与五大数学推理基准上，CIS 全面消除数值震荡并登顶平均表现榜首。

查看大图

高吞吐大模型推理引擎 SGLang 迎来里程碑版本 v0.5.20，汇聚来自 237 位开发者的 713 个合并 PR。新版本重磅推出面向强化学习（RL）采样轨迹的 return_sampling_mask 机制，在解码阶段直接输出候选采样空间与对数概率，彻底告别训练阶段反查 Top-k/Top-p 的高开销；结合采样掩码的重叠流水线调度，在 Qwen3-8B Batch 64 场景下解码吞吐暴增 52%。此外，统一基数树（Unified Radix Tree）为滑动窗口注意力（SWA）提供分支点复用，并全面支持 GLM-5.3-Flash、腾讯 Hy4-Preview 与 Qwen3.8-Flash-Next 等最新前沿模型。

查看大图