AI 编程实时动态与要闻

LightSeek 开源 Kimi K3 三件套草稿模型:EAGLE-3 / DFlash2 / DSpark,配合 TorchSpec 与 vLLM

LightSeek Foundation 发布面向 Kimi K3 的草稿模型合集(EAGLE-3、DFlash2、DSpark),在 40 张 NVIDIA GB200 上用 TorchSpec 解耦训练,并公开数据配方。博客给出 10 项基准的接受长度与 SPEED-Bench 端到端吞吐;DFlash2 平均接受长度约 4.02,低并发吞吐优于 EAGLE-3。

核心要点速览

  • 三款草稿架构齐发:EAGLE-3、DFlash2、DSpark,面向 Kimi K3 投机解码加速。
  • 40×GB200 + TorchSpec 解耦训练;公开 kimi-mtp-dataset 配方与 Docker/CI。
  • HumanEval 等编码基准上 DFlash2 接受长度约 5.08,显著高于 EAGLE-3 的 3.29。
阅读全文
关联模型 / 智能体 / 厂商:

vLLM 0.28.0 正式发布:Kimi-K3 全栈优化、DeepSeek-V4 稀疏 MLA 与分层磁盘 KV 缓存

高并发推理引擎 vLLM 迎来 0.28.0 重磅更新,汇总 270 位开发者的 584 项提交。全面优化 Kimi-K3 与 DeepSeek-V4 稀疏 MLA(覆盖 Decode、MTP 与 DSpark 推测解码),Model Runner V2 支持 E/P/D 分离与权重卸载,KV Cache 新增磁盘分层存储。

核心要点速览

  • 引入自适应推测 Token 预算机制,将端到端首字延迟(TTFT)大幅降低 55–65%;
  • DeepSeek-V4 稀疏 MLA 实现全链路打通,Kimi-K3 共享专家分片技术使单卡节省约 17 GiB 显存;
  • KV Cache 引入内存-磁盘分层架构,默认批处理 Token 限制倍增至 16384,全面支持跨硬件平台(NVIDIA、AMD、Intel XPU、CPU)。
阅读全文
关联模型 / 智能体 / 厂商: