AI 编程实时动态与要闻

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

10 月 20 日 PyTorch Conference 2026 上，Google 宣布与 Meta PyTorch 团队共同开发的 TorchTPU 在 GitHub 开源，让 TPU 和 GPU、CPU 一样成为 PyTorch 原生设备：支持 eager 模式和 torch.compile、约 450 个 ATen 算子、torch.distributed 集合通信。同时开源 vLLM-TorchTPU、SGLang-TorchTPU 推理引擎，打通 TorchTitan、Ray、VeRL、Hugging Face Transformers v5（device_map="tpu"），并预览面向 Claude Code、Antigravity 等编码助手的 TPU agent suite。前一天 AWS 刚发布同类的 TorchNeuron。

查看大图

10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。

查看大图

Amazon 10 月 19 日宣布 TorchNeuron：通过 PyTorch 标准的 PrivateUse1 设备后端机制，把 Trainium 注册成原生 "neuron" 设备，支持 eager 模式、torch.compile 和 FSDP/DTensor/DDP 等原生分布式 API，覆盖 Trn2 与 Trn3。官方称现有 PyTorch 代码只需改一处设备配置即可运行，将于 10 月 20 日在 PyTorch Conference North America 以 Apache 2.0 开源。官方文档显示，目前它仍处于封闭 Beta。

查看大图

SGLang 团队正式发布 v0.5.22 大版本更新（凝聚 245 位贡献者提交的 950 个 PR）：深度优化 DeepSeek-V4.1 推理性能，在 H200 单卡吞吐狂飙 2.3 倍，并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升；首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍；B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍；并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

查看大图

在大模型带可验证奖励强化学习（RLVR）与 GRPO 训练中，采用高吞吐推理引擎（vLLM/SGLang）采样 Rollout 与采用训练引擎（Megatron/PyTorch）计算梯度时，二者对同一 Token 计算的概率存在系统性浮点失配，导致传统重要性采样出现无界二阶矩方差爆炸。研究团队揭示了 Logit 位移分布的不变性，提出校准重要性采样（Calibrated Importance Sampling, CIS）。在三款 MoE 架构与五大数学推理基准上，CIS 全面消除数值震荡并登顶平均表现榜首。

查看大图

上海 AI Lab 开源推理栈 LMDeploy 于 2026-09-28 发布 v0.18.0：支持输出 input logprobs、扩展 SM90 量化 GEMM 并统一 TurboMind linear 执行路径；Ascend 侧支持 GLM-5.2；为 Qwen3.5 接入 dflash；MoE 将 shared expert 并入 FFN 并在节点内切分 dense FFN。PyTorch 路径原型化 TurboMind W4A16（AWQ）、piecewise CUDA Graph prefill、XTuner TileLang sparse MLA，并支持 checkpoint-engine 权重热更新与 request-only KV cache 用量指标。

查看大图

知名大模型轻量高效训练与推理工具 Unsloth 正式发布 v0.1.815-beta 版本，并上线 Linux x86_64 CUDA 13 官方预编译二进制轮子（涵盖 Flash-Attention 2.8.4、Causal-Conv1D 与 Mamba-SSM）。新版本原生支持在本地消费级与企业级 GPU 上以 Fast FP8 与 GGUF（默认 Q4_K_M）量化运行阿里开源的多模态图像编辑与生成旗舰模型 Qwen-Image-2.1。此外，Unsloth 本地 UI 引入了深度兼容 Claude Code 与 .agents 规范的自定义 Agent Skills 体系，支持在聊天中以 @skill 快速编排专用技能，长链思考思维块渲染速率提升一倍达到 60 FPS。

查看大图