AI 编程实时动态与要闻

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

DeepSeek 于 10 月 20 日（UTC）开源内部推理框架 DeepInfer（Apache 2.0），即支撑 DeepSeek-V4.1-Flash 大规模线上服务的推理栈。本次开源版本提供离线推理，支持 Attention DP/CP、MoE EP+EPLB 并行、DSpark 投机解码、SWA bounded replay、批次不变推理、确定性采样和结构化输出，硬件为 NVIDIA SM100 与华为昇腾 950。KV cache 系统、PD 分离和负载均衡未包含在内。同时开源的 deepseek-recipe（MIT）负责把 Chat Completions、Messages、Responses 等格式请求统一转换并编码，对齐官方 API 行为。

查看大图

上海 AI Lab 开源推理栈 LMDeploy 于 2026-09-28 发布 v0.18.0：支持输出 input logprobs、扩展 SM90 量化 GEMM 并统一 TurboMind linear 执行路径；Ascend 侧支持 GLM-5.2；为 Qwen3.5 接入 dflash；MoE 将 shared expert 并入 FFN 并在节点内切分 dense FFN。PyTorch 路径原型化 TurboMind W4A16（AWQ）、piecewise CUDA Graph prefill、XTuner TileLang sparse MLA，并支持 checkpoint-engine 权重热更新与 request-only KV cache 用量指标。

查看大图

@mylifcc 转发并解读中国电信人工智能科技开源的 Xing4.0-29B-A4B（原 TeleChat 系列，HF：XingChen-AGI/Xing4.0-29B-A4B，Apache-2.0）：29B 总参 / 每 token 激活 4B、原生 256K 上下文；官方卡宣称 SWE-bench Verified 75.0、Terminal-Bench 2.1 57.50，并称可对接 OpenCode / Claude Code 等智能体框架，权重在 Ascend NPU + MindSpore 全链路训练。

查看大图