NVIDIA RTX Spark 公布本地 Agent 推理优化：GeForce RTX 5090 上 llama.cpp 吞吐最高提升约 1.9 倍；RTX PRO 6000 Blackwell 上 vLLM 约 1.2 倍；双机 DGX Spark 集群最高约 1.4 倍。面向本地部署与边缘 Agent 服务路径的持续加速。
SGLang 宣布为 DeepSeek-V4-Flash-Vision 与 DeepSeek-V4-Flash-0731 增加在 2×DGX Spark 上的部署食谱。Flash-Vision 带原生视觉；Flash-0731 支持 fp4 与 NVIDIA 官方 nvfp4；两者均跑在 b12x 内核库上，文档见 docs.sglang.io cookbook。
Unsloth 宣布优化后的本地 GGUF 解码使 GLM-5.3-Flash 推理最高提速约 3.3 倍（常见场景约 1.6–3.4×），并启用多 token 预测（MTP）与更快的长上下文解码。3-bit 量化可在约 128GB 内存设备上通过 Unsloth Desktop 或 llama.cpp 运行，配套文档与 Hugging Face GGUF 权重已更新。
LightSeek Foundation 发布面向 Kimi K3 的草稿模型合集（EAGLE-3、DFlash2、DSpark），在 40 张 NVIDIA GB200 上用 TorchSpec 解耦训练，并公开数据配方。博客给出 10 项基准的接受长度与 SPEED-Bench 端到端吞吐；DFlash2 平均接受长度约 4.02，低并发吞吐优于 EAGLE-3。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察