AI 编程实时动态与要闻

vLLM 官方联合蚂蚁集团正式开源底层高性能量化推理算子库 Humming（humming-kernels）。该算子库专为大规模混合专家（MoE）与低精度密集模型的高并发服务而设计，全面覆盖 WnA16、W8A8、W4A8 与 W4A4 多种量化精度，横跨 INT1~INT8 与 FP4~FP8 数据格式，并原生适配从 NVIDIA Turing 到 Blackwell 架构及平头哥真武 810E 芯片。实测显示，Humming 算子在小 Batch 下比 cuBLAS 快 3~4 倍，在大 Batch 下比 Marlin 快 2 倍；在 8 张 H20 GPU 上运行 DeepSeek-V4.1-Flash，64 并发下整机端到端吞吐暴增 43.3%，首字时延（TTFT）大幅降低 32%，现已作为默认引擎整合至 vLLM v0.29.0+ 中。

查看大图

10 月 21 日，vLLM 社区与蚂蚁集团开源 Humming（Apache 2.0），一个用 JIT 编译按需生成 GEMM 内核的量化推理库，支持 Turing 起所有 NVIDIA 架构及平头哥真武 810E，覆盖 INT1–INT8、FP4–FP8 等权重/激活组合和稠密、MoE 两类负载。官方微基准中部分场景比 vLLM Marlin、FlashInfer、DeepGEMM 快 2–5 倍；在 8 张 H20 上跑 DeepSeek-V4.1-Flash，MoE 从 Marlin W4A16 换成 Humming W4A8 后吞吐提升 14%–43%。vLLM 0.29.0 起已内置。

查看大图

在 DeepSeek 宣布开源其生产级推理引擎 DeepInfer 数小时后，vLLM 官方项目团队正式公布了针对 DeepSeek-V4.1-Flash 的实测重磅性能对标数据。采用 DeepSeek 官方完全相同的测试拓扑（131K 超长上下文、nextn=3 投机采样），vLLM 在 NVIDIA GB200 NVL 架构上针对 Batch Size 8~256 的全并发区间，将与 DeepInfer 的端到端吞吐差距压缩至 6% 以内；在下一代 GB300 架构上，单 GPU 吞吐量突破 1,000,000 Token/秒，单用户峰值输出达 826 Token/秒，折合单 GPU 每小时营收达 38.96 美元。同时宣布 FastH3-Omni 与 Spark-X2.6-4B 首发支持。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

DeepSeek 于 10 月 20 日（UTC）开源内部推理框架 DeepInfer（Apache 2.0），即支撑 DeepSeek-V4.1-Flash 大规模线上服务的推理栈。本次开源版本提供离线推理，支持 Attention DP/CP、MoE EP+EPLB 并行、DSpark 投机解码、SWA bounded replay、批次不变推理、确定性采样和结构化输出，硬件为 NVIDIA SM100 与华为昇腾 950。KV cache 系统、PD 分离和负载均衡未包含在内。同时开源的 deepseek-recipe（MIT）负责把 Chat Completions、Messages、Responses 等格式请求统一转换并编码，对齐官方 API 行为。

查看大图

Unsloth 于 10 月 19 日（UTC）发布 DeepSeek-V4.1-Flash-1017 的动态 GGUF 量化与本地运行指南。按 Unsloth 口径，1-bit UD-IQ1_M 体积 250.4GB（无损 Q8 为 508.4GB），在 long17k 上与官方权重 top-1 一致率 88.2%，可在 128GB+ 内存设备上运行；模型的 Engram n-gram 表（110.6–202.8GB）可通过 mmap 留在 SSD 按需读取。目前需用 Unsloth 的 llama.cpp 分支或 Unsloth Desktop 运行。

查看大图

多所顶尖研究机构在 arXiv:2610.23986 中正式发布首个面向真实世界参考的视觉智能体 3D 创作评测基准 BlenderWorld。基准涵盖程序化建模、着色材质编写、空间布局与灯光模拟等 223 项真实工业级任务，接入 Blender 软件全自动沙盒环境。实测显示 GPT-6 Astra 以 79.9 分综合得分问鼎全球榜首（完美完成率达 42.2%），Opus-5 斩获 73.0 分，而开源模型 DeepSeek-V4.1-Flash 斩获 65.7 分超越众多大尺寸基线。

查看大图

SGLang 团队正式发布 v0.5.22 大版本更新（凝聚 245 位贡献者提交的 950 个 PR）：深度优化 DeepSeek-V4.1 推理性能，在 H200 单卡吞吐狂飙 2.3 倍，并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升；首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍；B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍；并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

查看大图

Arena 官方正式发布 Code Arena: WebDev 最新榜单：深度求索最新推出的 DeepSeek-V4.1-Flash-20261017 (Max) 以 1670 分登顶开源模型第一，全面超越 Kimi K3 (Max) 且推理成本降低近 10 倍。该模型位列全榜总榜第 12，超越 Claude Opus 5 (High) 并与顶尖闭源旗舰 GPT-6 Sol (Max) 差距缩小至约 10 分以内，以百万 Token 输入 $0.3 / 输出 $1.2 的极低资费大幅改写 Pareto 前沿。

查看大图

vLLM 联合 NVIDIA 正式发布面向月之暗面旗舰模型 Kimi K3（SemiAnalysis 披露达 2.8 万亿参数）的底层解码巨型内核（Megakernel）：由 NVIDIA CentML 工程师采用 CuTe DSL 编写的 1.2 万行代码将注意力、MoE 路由与跨卡通信深度融合，将单层内核启动数从 23 个砍至 13 个、单层耗时从 130 µs 压至 69 µs。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码实现 Batch=1 高达 842 tok/s 的极速输出（提速 1.73 倍），并在 SemiAnalysis AgentX 负载上实现最高 1.8 倍的 P90 单用户交互吞吐提升（突破 403.2~423 tok/s/user），下一步将适配 DeepSeek-V4.1-Flash 与 GLM-5.3。

查看大图

Ollama 官方宣布在美国与欧盟本土服务器正式上线严格“零数据留存、零训练”的 Ollama Cloud 托管服务，同步接入 DeepSeek-V4.1-Flash-1017 并支持通过 ollama launch 一键拉起 Claude Code 与 OpenCode；同日，SemiAnalysis 披露重磅内幕：智谱旗舰模型 GLM-5.3 未重新预训练，而是 100% 基于前代模型通过高 GPU 效率的后训练（Post-Training）打造，在网络安全与攻防推理上较 GLM-5.2 实现跨代质变。

查看大图

权威半导体与 AI 算力研究机构 SemiAnalysis 披露了 AgentX 基准实现每美元 TCO 产出 13 亿 Token 的底层架构细节：vLLM 联合 Inferact 采用预填充/解码分离式推理（Disaggregated Serving），在超大规模云商批量计价下单位成本性能达到 NVIDIA B300 聚合式（Aggregated）部署的 4 倍；与此同时，开源编程智能体 Cline 公布实测，指出 DeepSeek-V4.1-Flash-1017 仅靠在多套异构 Coding Agent Harness 上扩展强化学习，便以低 17 倍的成本在 Terminal-Bench 上击败 GPT-5.6-Sol、较前代提分 35%。

查看大图

紧随 DeepSeek-V4.1-Flash-1017 开源发布，vLLM 官宣 Day-0 深度适配，在 SemiAnalysis AgentX 评测中创下每美元 TCO 产出 13 亿 Token、单 GPU 吞吐高达 830K tok/s（保障单用户 100 tok/s 交互速率）的纪录，较初代提速 5 倍；OpenRouter 亦同步上线，第三方供应商最低仅需 $0.10/M 输入与 $0.50/M 输出。

查看大图

Microsoft AI 于 2026-10-15 发布技术博客与 PDF，宣布完成自研基座 MAI-Base-2 的预训练：每层 MoE（1 个共享 + 512 选 7 路由专家），80B 激活 / 2.8T 总参，102 层，原生无编码器视觉，50T token 训练混合、知识截止 2026 年 3 月。官方口径：在自建/外包的留出集 BPB 上低于所有参测开源模型，预训练 FLOPs 效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。模型仍在后训练中，暂无 API、权重或发布日期，微软计划经 Foundry 向受信伙伴授权权重。

查看大图