DeepSeek 开源生产推理框架 DeepInfer：支撑 V4.1-Flash 线上服务，含投机解码、批次不变推理与结构化输出，同步开源 deepseek-recipe

核心背景与行业痛点

DeepSeek 的开源权重一直很受欢迎，但社区部署 V4.1-Flash 这类带 Engram、SWA 的新架构时，往往要等 vLLM、SGLang 适配，效果和官方 API 也难对齐。10 月 20 日，DeepSeek 把支撑线上服务的推理框架 DeepInfer 开源，并称后续新模型的推理代码也会放在这里。

架构亮点与底层机制

据 GitHub 仓库，DeepInfer 最初主要基于 vLLM 构建，内核层用 FlashMLA、DeepGEMM、DeepEP、TileKernels 和自研 TileLang 算子。并行支持 Attention DP/均衡 CP 和 MoE EP+EPLB；DSpark 用草稿 token 加速解码，并按置信度调度验证；SWA bounded replay 只重放有限后缀以减少 prefill；另有零开销异步调度、批次不变推理、确定性采样，以及 regex/JSON Schema/EBNF 结构化输出。同步开源的 deepseek-recipe 负责请求格式转换与编解码，对齐官方 API 行为。

权威 Benchmark 与实测跑分对比

官方仅给出吞吐-延迟曲线图（prefill 4 卡、decode 64 卡），未公布与 vLLM、SGLang 的具体对比数字。V4.1 参考成绩（厂商口径）为 AIME 2026 99.9%、GPQA Diamond 93.4%、HLE-Full 42.6%，用于校验部署是否正确。

开发者实战落地与开箱指南

1. 硬件门槛高：只支持 NVIDIA SM100 或昇腾 950，需 Linux、Python 3.12、GCC 13+、CUDA 13 或 CANN 9.2。
2. 设置 DEEPINFER_ACCELERATOR 后运行 ./build.sh，再用 examples/offline_inference.py 跑离线推理。
3. 开源版不含 KV cache、PD 分离和负载均衡，想做线上服务需自行补齐，或继续用 vLLM/SGLang。