DeepSeek 正式开源 DeepInfer 推理引擎：全面支撑 V4.1-Flash 大规模生产服务，兼顾 NVIDIA SM100 与华为昇腾 950

核心背景与行业痛点

随着 DeepSeek-V4.1-Flash 等新一代混合专家（MoE）与多头潜在注意力（MLA）大模型在企业级编程智能体与高并发生成场景的深度渗透，传统的开源通用推理框架面临严峻瓶颈。传统框架在应对超大规模专家并行通信（EP）、跨异构算力（如国产昇腾与 NVIDIA 最新架构）的算子适配，以及超低延迟下的投机采样时往往出现资源调度不均、通信开销激增与数值不确定性问题。大模型厂商通常将最核心的高性能生产推理代码保留为内部私有资产。2026 年 10 月 20 日，DeepSeek 官方正式宣布以 Apache 2.0 协议 全面开源其线上核心推理引擎 DeepInfer 以及配套的生产级文本/Token 转换器 deepseek-recipe，践行“Open models, Open kernels, Open inference”的技术理念。

架构亮点与底层机制

1. 全栈异构硬件原生支持：

• 首发同时支持 NVIDIA SM100 架构 GPU 与 华为昇腾 Ascend 950 NPU；
• 在 NVIDIA 架构上实现了确定性、批次无关（batch-independent）的精准数值输出，彻底解决分布式批量推理时微小浮点抖动导致的代码生成漂移；

1. 深度通信与算子矩阵融合：

• 汲取 vLLM、SGLang 与 TensorRT-LLM 的设计优势，全链路打通 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与 TileLang；
• 实现了注意力数据并行（Attention DP）、均衡上下文并行（Balanced Context Parallel）以及具备动态负载均衡的 MoE 专家并行；

1. 高效投机采样与滑动窗口重放：

• 引入基于 DSpark 的置信度调度投机采样，默认配置 5 个 Draft Token 投机长度；
• 搭载 SWA Bounded Replay（滑动窗口有界重放） 机制，默认重放 140 个 Token 窗口，在超长文本生成中压低首字时延（TTFT）与单步解码延迟；

1. 受约束结构化解码支持：

• 原生支持正则表达式（Regex）、JSON Schema 与 EBNF 语法树引导解码，为 Coding Agent 输出严密结构化指令提供零开销保护。

权威 Benchmark 与实测跑分对比

根据 DeepSeek 官方发布的技术文档与实测配置：

• 分布式集群架构实测：
• 生产集群基准采用 4 张 SM100 GPU 承担预填充（Prefill）阶段，64 张 GPU 承担解码（Decode）阶段的解耦分离架构；
• 在高并发吞吐压测下，全面激活 DeepEP 硬件级通信隐藏，MoE 全对全（All-to-All）通信耗时降低 40% 以上；
• 生态与工业反馈：
• vLLM 官方项目组第一时间向 DeepSeek 团队致谢（Status #2112480719952138301），盛赞其将源于 vLLM 生态的架构创新以开源形式回馈社区，并确认双方将启动跨引擎核心机制反哺。

开发者实战落地与开箱指南

• 开源代码仓库：访问 GitHub 官方仓库 https://github.com/deepseek-ai/DeepInfer；
• 分词工具套件：配套开源的 deepseek-recipe 已同步上线，开发者可直接使用其在本地对齐线上 API 的分词与特殊 Token 映射规范；
• 集群部署建议：企业在基于 NVIDIA SM100 或华为 Ascend 950 搭建私有化 DeepSeek-V4.1-Flash 代码智能体或推理服务时，应优先采用 DeepInfer 作为底层 Runtime，充分享受原生算子带来的显存节约与吞吐飞跃。