vLLM（@vllm_project）宣布稳定版 Day-0 支持 OpenBMB MiniCPM5-2B：2.6B 稠密模型原生 131K 上下文，同 checkpoint 支持 Think / No-Think，并通过 vLLM 的 minicpm5 parser 提供工具调用；模型基于 stock LlamaForCausalLM，并开放训练数据。
HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。
NVIDIA RTX Spark 公布本地 Agent 推理优化：GeForce RTX 5090 上 llama.cpp 吞吐最高提升约 1.9 倍；RTX PRO 6000 Blackwell 上 vLLM 约 1.2 倍；双机 DGX Spark 集群最高约 1.4 倍。面向本地部署与边缘 Agent 服务路径的持续加速。
SGLang 表示正与 @zai_org 等伙伴改进 GLM-5.3 系列生产 serving；社区与 Cloudflare 反馈后，chat template 中 tool-result 重排改为 early-exit，GLM-5.3 / GLM-5.3-Flash 模板已更新并上线。对依赖工具调用的编码智能体链路有直接意义。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察