AI 编程实时动态与要闻

Kimi 官方账号 @Kimi_Moonshot 于 11 月 4 日 16:00（UTC）宣布开放 Kimi K3.1 Pro 模型权重，仓库 moonshotai/Kimi-K3.1-Pro 已公开、无需申请。模型卡显示它是 2.8T 总参、104B 激活的原生多模态 MoE，1M 上下文，权重以 MXFP4（量化感知训练）发布，仓库约 1.56TB；官方推荐 vLLM、SGLang 和 TokenSpeed 部署。许可证允许自由使用和修改，但年收入超 2000 万美元的 MaaS 业务需另签协议。

查看大图

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件，含两款模型：1.3B 参数的文档解析模型 MiniCPM-OCR 1.0（Real5-OmniDocBench 93.68、OCRBench v2 54.7，官方口径），以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev，可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0，首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

查看大图

扩散智能 DiffuSpace（成员来自推出 Dream 7B 的港大 NLP 实验室）10 月 28 日发布首个模型 Clover-35B-A3B-Preview：基于 Qwen3.6-35B-A3B 初始化的 MoE 扩散语言模型，总参 35B、激活约 3B、128K 上下文，按块并行去噪生成。官方口径下 SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、GPQA Diamond 83.8，单张 GB300 上 Agent 场景生成速度 680 tokens/s。权重 Apache 2.0，已上 Hugging Face、ModelScope 和 GitHub，支持 SGLang 与 llama.cpp。

查看大图

Cloudflare 10 月 26 日在官方博客发布事故报告：8 月 27 日至 9 月 9 日，Workers AI 上的 GLM-5.3（@cf/zai-org/glm-5.3）对超过 681,280 token 的长提示，有 155 条回复混入了其他用户刚发过的请求内容，且都返回 HTTP 200。原因是 prefill 节点 KV 缓存池小于 1,048,576 token 的上下文窗口，叠加 SGLang 在 prefill/decode 分离模式下处理超长请求的漏洞。Cloudflare 称未发现恶意利用，已修复并建议运营方升级到 SGLang v0.5.22 或更高版本。

查看大图

LMSYS 团队联合 NVIDIA Dynamo 团队在官方技术博客与 X（@lmsysorg）正式宣布，高性能大模型推理框架 SGLang 推出弹性专家并行（Elastic EP）与 NIXL（Near-Instant Cross-Node Link）动态伸缩后端。针对超大 MoE 架构（如 DeepSeek-V3/V4）在传统静态专家并行下因单卡硬件故障导致全集群崩溃重启、以及业务高峰期无法在线扩容的严重痛点，Elastic EP 实现了专家-GPU 映射解耦。依托 NVIDIA NIXL 高性能通信原语与 Mooncake 调度器，SGLang 首次实现在完全不中断在线推理请求的前提下，将运行中的 MoE 集群动态扩容（如从 20 卡无感扩展至 24 卡），并支持单节点故障的秒级自动降级容错。

查看大图

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

10 月 20 日，推理加速公司 Eagle 发布 EAGLE-4，这是 EAGLE 推测解码系列的第四代。它用一个草稿模型按批量、硬件和负载动态调整推测树，同时保持目标模型输出分布不变。官方口径下，Qwen3.8-27B 在 4 张 B300 上单请求达 961.6 tokens/s。代码以 eagle-harness v0.1.0 发布，支持 SGLang、vLLM 和实验性的 TokenSpeed。注意：多数转发称其“开源”，但官方许可证是源码可用（source-available）许可，并非 OSI 开源。

查看大图

10 月 20 日 PyTorch Conference 2026 上，Google 宣布与 Meta PyTorch 团队共同开发的 TorchTPU 在 GitHub 开源，让 TPU 和 GPU、CPU 一样成为 PyTorch 原生设备：支持 eager 模式和 torch.compile、约 450 个 ATen 算子、torch.distributed 集合通信。同时开源 vLLM-TorchTPU、SGLang-TorchTPU 推理引擎，打通 TorchTitan、Ray、VeRL、Hugging Face Transformers v5（device_map="tpu"），并预览面向 Claude Code、Antigravity 等编码助手的 TPU agent suite。前一天 AWS 刚发布同类的 TorchNeuron。

查看大图

开源 AI 实验室 Ornith 团队正式发布 Ornith-1.5-122B 混合专家推理模型，并在 MIT 宽松协议下完全开源。该模型专门面向单节点 GPU 服务器（如单台 DGX）设计，提供包括 FP8、GGUF 与 MLX 在内的全套量化版本，已同步上架 Ollama（ornith-1.5:122b）与 vLLM/SGLang 运行时。在权威基准评测中，Ornith-1.5-122B 展现出媲美超大规模闭源模型的编程与智能体能力：在 OpenHands 评测框架下，SWE-bench Verified 达到 84.5 分，SWE-bench Pro 斩获 76.9 分（相较 Qwen3.8-Flash-Next 的 43.9 分取得跨越式领先），TerminalBench 达 81.2 分，MCP-Atlas 达到 74.6 分。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。

查看大图

蚂蚁 Ant Ling（inclusionAI）10 月 19 日以 MIT 协议开源 Ming-3.0 的 5 个模型，覆盖语音合成（tts-0.5B、tts-tiny 7.9B/1.3B 激活）、音频理解（audio-flash 126B/6.5B 激活、audio-tiny 9.3B/2.7B 激活）和语音识别（asr-tiny 8.6B/2B 激活）。官方称 tts-0.5B 在 Artificial Analysis Controlled Voice 榜以 1069 Elo 位列开源权重第一，发音稳健性 93.2% 并列全榜第一；asr-tiny 四类 ASR 平均错误率 4.41%。权重已上 Hugging Face 和 ModelScope，SGLang 与 vLLM 首日支持。

查看大图

SGLang 团队正式发布 v0.5.22 大版本更新（凝聚 245 位贡献者提交的 950 个 PR）：深度优化 DeepSeek-V4.1 推理性能，在 H200 单卡吞吐狂飙 2.3 倍，并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升；首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍；B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍；并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

查看大图

2026-10-12 OpenBMB（面壁智能）发布 MiniCPM-V 4.7 开源多模态系列，含 35B-A3B（系列首个 MoE）与 1B 两款，Apache-2.0。配套的 Lookahead Expert Scheduling（LES）跨层预取专家，叠加分层混合精度量化与 DSpark 投机采样，官方在 iPad Pro M4（16GB）上把专家从 SSD 加载的解码速度从 2.97 提到 17.39 token/s（5.86 倍）。权重已上架 Hugging Face / ModelScope / Ollama，支持 vLLM、SGLang、llama.cpp 与 iOS / Android / 鸿蒙端侧部署。

查看大图

IQuest Research 的 IQuest-Q1（约 320B 总参 / 15B 激活、524K 上下文）面向仓库级编码、终端与长程工具调用；权重与部署镜像已在 Hugging Face / GitHub。官方同管线自评：DeepSWE v1.1 64.6、NL2Repo 63.0、CyberGym 84.5、Terminal-Bench 2.1 83.2；支持 SGLang/vLLM 与 Claude Code / Codex 接入。

查看大图