AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

👀169

🔥88

vLLM v0.32.0 发布：814 次提交，内置 /v1/systemone 结构化决策接口，NVFP4 低精度 KV 覆盖更多 GPU，多 API worker 短请求吞吐提升 43–85%

vLLM 于 10 月 18 日发布 v0.32.0，363 位贡献者（121 位新人）提交 814 次。重点包括默认提供的 POST /v1/systemone 结构化决策接口与通用 hf 工具/推理解析器；NVFP4 KV 缓存扩展到 SM8x/SM90/SM12x，GLM-5.x 在 SM100 默认 FP8 KV；Model Runner V2 新增 GPU n-gram 投机与 Elastic EP，并成为 ROCm 默认；修复 3 个安全公告并收紧 CORS 默认值，同时放弃 Python 3.10。

核心要点速览

规模：814 次提交、363 位贡献者（121 位新人），见 Release 说明。
结构化决策：新增并默认开启 POST /v1/systemone，回答 choice/score 类问题，已支持 Cloudflare/clef-omni、LiquidAI/d1-3B 等模型；--tool-call-parser hf 读取权重自带的 response_template，免写专用解析器。
低精度 KV：GLM-5.x 在 SM100 默认 FP8 KV，每卡 KV 显存减半、吞吐 +2.3–5.5%，代价是 TTFT 增加 7–11%（PR 内基准，官方口径）；ROCm 新增 4-bit KV，密度约为 FP8 的 2 倍。
服务提速：--api-server-count 大于 1 时按最少负载分配连接，短请求 req/s 提升 43–85%（Qwen3-0.6B、32 输入/1 输出 token 的 PR 基准）。
破坏性变更：移除 Python 3.10 支持、CORS 默认不再放行所有来源、移除 cascade attention，max_tokens 不再从上下文窗口预留。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ GLM-5.3 ⚡ DeepSeek-V4.1-Flash ⚡ Kimi K3 ⚡ MiniMax-M3⚡ qwen3.8-flash-next🌐 vllm

#vLLM#v0.32.0#推理引擎#Systemone#NVFP4#KV 缓存#Model Runner V2#安全

vLLMvllm-project·30 天前收录

👀141

🔥90

vLLM v0.31.0：717 提交上线 vllm preload 秒级重启，DeepSeek-V4.1-Flash 默认 FlashMLA，多项安全与破坏性变更

vLLM 于 10 月 5 日发布 v0.31.0（717 提交、307 位贡献者，其中 96 位新人）。新增 vllm preload 权重缓存守护进程让量化后权重跨引擎重启常驻显存，实验性 CRIU 快照可恢复已初始化引擎；DeepSeek-V4.1-Flash 在 SM100 上默认启用 FlashMLA mega attention + NVFP4 压缩 KV；Model Runner V2 支持草稿模型推测解码；安全上默认拒绝请求级多模态 kwargs，并修复 LoRA 名与 cache_salt 的前缀缓存碰撞。升级前需注意多项破坏性变更。

核心要点速览

规模：717 次提交、307 位贡献者（96 位新人），见 Release 说明。
秒级重启：vllm preload 让量化后权重跨重启常驻 GPU，已支持 DP、MTP 草稿模型与 /health 就绪探针；vllm snapshot create/restore 用 CRIU 恢复 TP1 引擎（实验）。
安全默认收紧：请求级 mm_processor_kwargs / media_io_kwargs 默认拒绝，需显式 --trust-request-mm-kwargs；LoRA 路径纳入块哈希，防止前缀缓存串数据。
破坏性变更：移除 tokenizer_mode="slow"，quantization="fp8" 在线量化改为 fp8_per_tensor，--enforce-eager 还会关闭 JIT 预热。
模型热路径：GLM-5.3-Flash 元数据操作快 1.6–4.8 倍、索引器省 3 GiB；KimiViT QK RoPE 融合最高 29 倍；Qwen3.8-Flash-Next 在 DGX Spark 上加载省约 25 秒。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ DeepSeek-V4-Flash ⚡ Kimi K3 🌐 vllm

#vLLM#v0.31.0#推理引擎#DeepSeek-V4.1-Flash#推测解码#安全

vLLM@vllm_project·42 天前收录

👀99

🔥93

查看推特原帖 ↗

vLLM v0.30.0：762 提交上线，加速 Kimi K3 / DeepSeek-V4.1-Flash / Qwen3.8-Flash-Next

vLLM 项目（@vllm_project）发布 v0.30.0（762 提交、315 贡献者）。亮点包括混合注意力热路径：Kimi K3 精简 KDA/AttnRes/MLA，DeepSeek-V4.1-Flash 加入 MXFP8 KV 与异步 Engram，Qwen3.8-Flash-Next 融合 QSA/PLE 并降低 sparse-GQA 开销；另有 HiSparse 主机层、Model Runner V2 的 EAGLE3 管线并行与自适应校验、双密钥 Gumbel-max 水印，以及 Fast Start（CUDA IPC 权重缓存）与 GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL 等新模型支持。

核心要点速览

混合注意力热路径覆盖 Kimi K3、DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 等当前编码常用模型。
Model Runner V2 把 EAGLE3 式草稿扩展到流水线并行，并在线估计验收率。
Fast Start 用 CUDA IPC 缓存量化分片权重，重启加载更快。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Kimi K3 ⚡ DeepSeek-V4-Flash ⚡ Qwen3.8-Max 🌐 vllm

#vLLM#v0.30.0#Kimi K3#DeepSeek-V4.1-Flash#Qwen3.8-Flash-Next#推测解码

vLLM@vllm_project·53 天前收录

👀85

🔥92

查看推特原帖 ↗

vLLM 0.29.0：Model Runner V2 成默认，含 Mamba 前缀缓存与投机解码 API 统计

vLLM 发布 v0.29.0，Model Runner V2 成为所有模型的默认运行器。本版累计 594 次提交、277 名贡献者。亮点包括：Kimi-K3 再优化、DeepSeek-V4 共享专家并入 MegaMoE、Mamba 前缀缓存保留内部 prefill 检查点（TTFT 约提升 9–25%）、投机解码经 API 报告每请求接受率，以及面向 RL 权重同步的 sharded_rdt P2P 后端；并新增 Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA、NemotronH Omni Reasoning V3 等模型支持。

核心要点速览

Model Runner V2 成为所有模型的默认 runner。
Mamba 前缀缓存使 TTFT 约提升 9–25%；投机解码可经 API 查看接受率。
DeepSeek-V4 MegaMoE 融合与 RL sharded_rdt P2P 权重同步，并扩展多款新模型。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ DeepSeek-V4 (Next-Gen MoE)⚡ Kimi K3⚡ Qwen3 8 Flash Next🌐 vllm

#vLLM#Model Runner V2#Mamba#推测解码#DeepSeek-V4#Kimi-K3

vLLM@vllm_project·65 天前收录

👀51

🔥88

查看推特原帖 ↗

vLLM 0.28.0 正式发布：Kimi-K3 全栈优化、DeepSeek-V4 稀疏 MLA 与投机解码首 Token 提速 65%

开源高性能推理引擎 vLLM 发布 0.28.0 大版本。汇聚 270 位开发者的 584 次代码提交，包含 Kimi-K3 全栈融合算子、DeepSeek-V4 稀疏 MLA 端到端支持、自适应投机解码预算（TTFT 提升达 65%）以及 Model Runner V2 分离架构。

核心要点速览

投机解码成为一等优化利器：集成 DFlash2 与 DSpark 置信度调度，使端到端首 Token 延迟缩短 55%–65%；
国产顶尖架构首日原生支持：深度适配 Kimi-K3 与 DeepSeek-V4 稀疏多头注意力机制（MLA）；
硬件后端全面开花：包含 NVIDIA SM12x FlashInfer XQA、AMD ROCm 融合内核及 Intel XPU 适配。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Kimi K3 ⚡ DeepSeek-V4-Pro

vLLM@vllm_project·65 天前收录

👀56

🔥95

查看推特原帖 ↗

vLLM 0.28.0 正式发布：Kimi-K3 全栈优化、DeepSeek-V4 稀疏 MLA 与分层磁盘 KV 缓存

高并发推理引擎 vLLM 迎来 0.28.0 重磅更新，汇总 270 位开发者的 584 项提交。全面优化 Kimi-K3 与 DeepSeek-V4 稀疏 MLA（覆盖 Decode、MTP 与 DSpark 推测解码），Model Runner V2 支持 E/P/D 分离与权重卸载，KV Cache 新增磁盘分层存储。

核心要点速览

引入自适应推测 Token 预算机制，将端到端首字延迟（TTFT）大幅降低 55–65%；
DeepSeek-V4 稀疏 MLA 实现全链路打通，Kimi-K3 共享专家分片技术使单卡节省约 17 GiB 显存；
KV Cache 引入内存-磁盘分层架构，默认批处理 Token 限制倍增至 16384，全面支持跨硬件平台（NVIDIA、AMD、Intel XPU、CPU）。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ DeepSeek-V4-Flash ⚡ DeepSeek-V3