HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。
NVIDIA RTX Spark 公布本地 Agent 推理优化：GeForce RTX 5090 上 llama.cpp 吞吐最高提升约 1.9 倍；RTX PRO 6000 Blackwell 上 vLLM 约 1.2 倍；双机 DGX Spark 集群最高约 1.4 倍。面向本地部署与边缘 Agent 服务路径的持续加速。
LatentPress 提出第三种上下文载体：连续 memory tokens。小 writer（约 4.2M–26.2M 参数适配器，约等于解码器 0.1%）把对话史与长文档压成 4–16×，冻结 decoder 经输入嵌入接口直接读取，推理时无需重建文本。LongMemEval 上 7.70× 压缩准确率 0.504，高于未压缩证据 0.490，并明显优于文本摘要与 OCR 压缩；写入约 43ms/会话，读取比原始上下文快 5–9×，利于长上下文智能体记忆。
SGLang 表示正与 @zai_org 等伙伴改进 GLM-5.3 系列生产 serving；社区与 Cloudflare 反馈后，chat template 中 tool-result 重排改为 early-exit，GLM-5.3 / GLM-5.3-Flash 模板已更新并上线。对依赖工具调用的编码智能体链路有直接意义。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察