AI 编程实时动态与要闻

LM Studio 于 10 月 29 日 15:32（UTC）在 X 上宣布，用户现在可以在 LM Studio 里下载新的 oMLX 引擎，直接用于已下载的 MLX 模型；官方更新日志把它列为 Bionic 1.1.10 的新功能，同版本还加入 MLX 模型投机解码和应用内终端。oMLX 是韩国开发者 jundot 维护的 Apple Silicon 开源推理服务器（Apache 2.0，GitHub 约 2.3 万星），主打连续批处理和内存加 SSD 的两级 KV 缓存。官方未公布 LM Studio 内的速度对比。

查看大图

在 DeepSeek 宣布开源其生产级推理引擎 DeepInfer 数小时后，vLLM 官方项目团队正式公布了针对 DeepSeek-V4.1-Flash 的实测重磅性能对标数据。采用 DeepSeek 官方完全相同的测试拓扑（131K 超长上下文、nextn=3 投机采样），vLLM 在 NVIDIA GB200 NVL 架构上针对 Batch Size 8~256 的全并发区间，将与 DeepInfer 的端到端吞吐差距压缩至 6% 以内；在下一代 GB300 架构上，单 GPU 吞吐量突破 1,000,000 Token/秒，单用户峰值输出达 826 Token/秒，折合单 GPU 每小时营收达 38.96 美元。同时宣布 FastH3-Omni 与 Spark-X2.6-4B 首发支持。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

DeepSeek 于 10 月 20 日（UTC）开源内部推理框架 DeepInfer（Apache 2.0），即支撑 DeepSeek-V4.1-Flash 大规模线上服务的推理栈。本次开源版本提供离线推理，支持 Attention DP/CP、MoE EP+EPLB 并行、DSpark 投机解码、SWA bounded replay、批次不变推理、确定性采样和结构化输出，硬件为 NVIDIA SM100 与华为昇腾 950。KV cache 系统、PD 分离和负载均衡未包含在内。同时开源的 deepseek-recipe（MIT）负责把 Chat Completions、Messages、Responses 等格式请求统一转换并编码，对齐官方 API 行为。

查看大图

传统投机解码（Speculative Decoding）依赖目标模型的静态隐层特征，无法适应草稿模型随位置变化的动态上下文需求。香港大学团队发表 ReaDy（arXiv:2610.20503，HF 6 赞）。该框架首次为混合线性注意力模型（Hybrid Linear Attention，结合 Transformer 与 Mamba/RWKV 循环层）设计了以紧凑循环隐状态为动态上下文的投机草稿机制。在 NVIDIA B200 单卡上对 Qwen3.8-27B 展开评测，投机接受长度达 4.53，单卡解码吞吐飙升至 302.78 TPS，较标准自回归提速 2.4 倍。

查看大图

vLLM 联合 NVIDIA 正式发布面向月之暗面旗舰模型 Kimi K3（SemiAnalysis 披露达 2.8 万亿参数）的底层解码巨型内核（Megakernel）：由 NVIDIA CentML 工程师采用 CuTe DSL 编写的 1.2 万行代码将注意力、MoE 路由与跨卡通信深度融合，将单层内核启动数从 23 个砍至 13 个、单层耗时从 130 µs 压至 69 µs。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码实现 Batch=1 高达 842 tok/s 的极速输出（提速 1.73 倍），并在 SemiAnalysis AgentX 负载上实现最高 1.8 倍的 P90 单用户交互吞吐提升（突破 403.2~423 tok/s/user），下一步将适配 DeepSeek-V4.1-Flash 与 GLM-5.3。

查看大图

vLLM 官方博客（作者 NVIDIA 的 Benjamin Chislett）披露：借助编码 Agent 辅助开发，团队为 Kimi K3 在 NVIDIA GB300 上重写了一条 CuTe DSL 统一解码路径，把注意力、MoE 与 NVLink 通信融合，单层耗时从 130 微秒/23 个 kernel 降到 69 微秒/13 个。16 卡配合 DSpark 投机解码在 batch 1 达到 842 tok/s，是原版 vLLM 的 1.73 倍；相关 PR #61867 已于 10 月 16 日合入。

查看大图

NVIDIA 于 2026-10-15 发布开源多模态智能体模型 Nemotron 3.5 Super VL：120B 总参、每 token 激活 12B，Mamba-2/Transformer 混合 MoE + C-RADIO 视觉编码器，支持文本、图像、文档与视频输入，最长 1M 上下文，自带 MTP 与 LiLiCorr 投机解码。权重、数据集与训练配方以 OpenMDW-1.1 开放，已上 Hugging Face、OpenRouter、ModelScope 与 NIM。同日放出面向 RTX/DGX Spark 的 Bolt 74B-A9B 24GB（原生 2-bit 量化感知训练），4GB 的 Bolt E4B 将于 10 月 23 日跟进。

查看大图

编码智能体在处理大型代码仓库与多轮排错时，会高频反复复述相似的代码片段、错误日志及前序修改尝试，这使得基于检索的推测解码（Retrieval-based Speculative Decoding, SD）具备巨大的加速潜力。然而，现有通用检索推测解码器在真实 Agent 流水线中严重水土不服：智能体输出格式（如带行号标注、Diff 补丁及转义代码块）与本地原始磁盘文件存在巨大表征鸿沟，且固定推测草稿长度无法自适应多智能体协作中的轮次漂移。韩国科学技术院（KAIST）团队推出了面向编码智能体定制的推测解码框架 AgSpec。该框架在会话级、工作区级与全局语料库中建立与智能体发射格式完全对齐的动态索引，并结合离线性能剖析与在线验证反馈动态调整推测草稿长度。在多智能体代码仓库级评测中，AgSpec 吞吐加速高达 4.76 倍，且在单卡低延迟场景下全面碾压 EAGLE-3。

查看大图

Inferact（vLLM 核心团队衍生公司）于 2026-09-23 发布并开源面向 TPU v7 的推理巨内核仓库 inferact/tpu-megakernels。官方博客显示，在 DSpark 推测解码（acceptance length=6）的低并发设定下，Kimi K3 在 16×TPU v7 Ironwood 上达到 709 tok/s，对照 16×GB200 基线 452 tok/s；关闭推测解码时，batch 1–8 约为 GB200 基线的 1.4–2×。整套 Kimi K3 的 92 层 MoE 解码被收敛进单一 Pallas 内核。

查看大图