AI 编程实时动态与要闻

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件，含两款模型：1.3B 参数的文档解析模型 MiniCPM-OCR 1.0（Real5-OmniDocBench 93.68、OCRBench v2 54.7，官方口径），以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev，可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0，首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

查看大图

Google 官方账号 @googlegemma 10 月 26 日发帖称，借助 Gemini 4 Argon 完成的一组 vLLM 优化，让 gemma-4-E2B-it 在单张 A100 上的吞吐从约 37,900 提升到 108,000+ tokens/秒，约 2.85 倍，且输出 token 100% 一致。对应 PR 由 Google DeepMind 的 Luciano Martins 提交，大部分仍在评审中。

查看大图

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

vLLM 官方联合蚂蚁集团正式开源底层高性能量化推理算子库 Humming（humming-kernels）。该算子库专为大规模混合专家（MoE）与低精度密集模型的高并发服务而设计，全面覆盖 WnA16、W8A8、W4A8 与 W4A4 多种量化精度，横跨 INT1~INT8 与 FP4~FP8 数据格式，并原生适配从 NVIDIA Turing 到 Blackwell 架构及平头哥真武 810E 芯片。实测显示，Humming 算子在小 Batch 下比 cuBLAS 快 3~4 倍，在大 Batch 下比 Marlin 快 2 倍；在 8 张 H20 GPU 上运行 DeepSeek-V4.1-Flash，64 并发下整机端到端吞吐暴增 43.3%，首字时延（TTFT）大幅降低 32%，现已作为默认引擎整合至 vLLM v0.29.0+ 中。

查看大图

10 月 21 日，vLLM 社区与蚂蚁集团开源 Humming（Apache 2.0），一个用 JIT 编译按需生成 GEMM 内核的量化推理库，支持 Turing 起所有 NVIDIA 架构及平头哥真武 810E，覆盖 INT1–INT8、FP4–FP8 等权重/激活组合和稠密、MoE 两类负载。官方微基准中部分场景比 vLLM Marlin、FlashInfer、DeepGEMM 快 2–5 倍；在 8 张 H20 上跑 DeepSeek-V4.1-Flash，MoE 从 Marlin W4A16 换成 Humming W4A8 后吞吐提升 14%–43%。vLLM 0.29.0 起已内置。

查看大图

在 DeepSeek 宣布开源其生产级推理引擎 DeepInfer 数小时后，vLLM 官方项目团队正式公布了针对 DeepSeek-V4.1-Flash 的实测重磅性能对标数据。采用 DeepSeek 官方完全相同的测试拓扑（131K 超长上下文、nextn=3 投机采样），vLLM 在 NVIDIA GB200 NVL 架构上针对 Batch Size 8~256 的全并发区间，将与 DeepInfer 的端到端吞吐差距压缩至 6% 以内；在下一代 GB300 架构上，单 GPU 吞吐量突破 1,000,000 Token/秒，单用户峰值输出达 826 Token/秒，折合单 GPU 每小时营收达 38.96 美元。同时宣布 FastH3-Omni 与 Spark-X2.6-4B 首发支持。

查看大图

10 月 20 日，推理加速公司 Eagle 发布 EAGLE-4，这是 EAGLE 推测解码系列的第四代。它用一个草稿模型按批量、硬件和负载动态调整推测树，同时保持目标模型输出分布不变。官方口径下，Qwen3.8-27B 在 4 张 B300 上单请求达 961.6 tokens/s。代码以 eagle-harness v0.1.0 发布，支持 SGLang、vLLM 和实验性的 TokenSpeed。注意：多数转发称其“开源”，但官方许可证是源码可用（source-available）许可，并非 OSI 开源。

查看大图

10 月 20 日 PyTorch Conference 2026 上，Google 宣布与 Meta PyTorch 团队共同开发的 TorchTPU 在 GitHub 开源，让 TPU 和 GPU、CPU 一样成为 PyTorch 原生设备：支持 eager 模式和 torch.compile、约 450 个 ATen 算子、torch.distributed 集合通信。同时开源 vLLM-TorchTPU、SGLang-TorchTPU 推理引擎，打通 TorchTitan、Ray、VeRL、Hugging Face Transformers v5（device_map="tpu"），并预览面向 Claude Code、Antigravity 等编码助手的 TPU agent suite。前一天 AWS 刚发布同类的 TorchNeuron。

查看大图

开源 AI 实验室 Ornith 团队正式发布 Ornith-1.5-122B 混合专家推理模型，并在 MIT 宽松协议下完全开源。该模型专门面向单节点 GPU 服务器（如单台 DGX）设计，提供包括 FP8、GGUF 与 MLX 在内的全套量化版本，已同步上架 Ollama（ornith-1.5:122b）与 vLLM/SGLang 运行时。在权威基准评测中，Ornith-1.5-122B 展现出媲美超大规模闭源模型的编程与智能体能力：在 OpenHands 评测框架下，SWE-bench Verified 达到 84.5 分，SWE-bench Pro 斩获 76.9 分（相较 Qwen3.8-Flash-Next 的 43.9 分取得跨越式领先），TerminalBench 达 81.2 分，MCP-Atlas 达到 74.6 分。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。

查看大图

vLLM 官方项目组正式宣布将 PhysisServe 的核心推理加速架构整合至 vLLM-Omni 多模态全能推理引擎中。针对物理世界 AI、视频扩散生成与具身大模型在长程去噪阶段面临的高显存占用与高延迟痛点，PhysisServe 创新性提出去噪步与 Transformer 跨块流水线并行（Block Pipelining）、时间分片批处理与虚拟秩联合调度。在 200 张 GPU 集群上对 MiniMax H3 33B 展开实测，实现每 4.1 毫秒输出一个 Chunk（折合千帧/秒渲染），Wan2.2 5B 单卡单请求延迟从 173 毫秒降至 98 毫秒。

查看大图

蚂蚁 Ant Ling（inclusionAI）10 月 19 日以 MIT 协议开源 Ming-3.0 的 5 个模型，覆盖语音合成（tts-0.5B、tts-tiny 7.9B/1.3B 激活）、音频理解（audio-flash 126B/6.5B 激活、audio-tiny 9.3B/2.7B 激活）和语音识别（asr-tiny 8.6B/2B 激活）。官方称 tts-0.5B 在 Artificial Analysis Controlled Voice 榜以 1069 Elo 位列开源权重第一，发音稳健性 93.2% 并列全榜第一；asr-tiny 四类 ASR 平均错误率 4.41%。权重已上 Hugging Face 和 ModelScope，SGLang 与 vLLM 首日支持。

查看大图

MiniMax 官方确认，此前在 OpenRouter 等榜单上用量领先的匿名模型 Space Bunny 就是 M3.1 Flash 的早期版本，并于 10 月 19 日正式上线 API。按量计费为输入 $0.15、输出 $0.60、缓存读 $0.015（每百万 token），1M 上下文，支持文本、图片和视频输入，可用 effort 调节思考深度。官方口径：成本是 M3 的 1/3、速度 3 倍，DeepSWE 73.7%、Automation-Bench 62.2%；10 月 23 日权重已按期在 Hugging Face 开放（MiniMax Community 许可，MXFP8），Together、Inferact（vLLM）、LightSeek TokenSpeed 首日支持。

查看大图

vLLM 官方推特宣布两项关键工程突破：在 v0.32.0 官方镜像中引入构建期 Python 字节码预编译（uv compile），使 H100 容器冷启动耗时缩短 14%~18%（省去约 18 秒且启动零重编译）；同时正式合入 Decision 3.0（D3）全系列 6 款结构化决策模型（0.6B 至 27B），通过 /v1/systemone 提供极速多模态选择与评分，在 AMD MI325X 单卡上支撑 64 并发的吞吐达原始基准的 1.8 倍。

查看大图