Inferact（@inferact）宣布与 Google Cloud 共同推进 TPU 在 vLLM 中的一等支持：统一工程路线覆盖生产服务与优化内核、经 TorchTPU 的原生 PyTorch 路径，以及前沿模型 Day-0 支持；并启动社区计划提供共享 TPU 容量与核心维护者评审，产出全部开源。
vLLM 官方宣布 Day-0 支持上海 AI Lab Intern-S2-397B。该 397B 多模态基座面向长程科学研究与科学智能体，具备较强多模态、推理、编码与科学智能体能力；开发者可按官方 recipe 在 vLLM 上立即部署与服务。
HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。
有开发者转发 Microsoft 开源的 tgrep（github.com/microsoft/tgrep）：面向大型代码库的 trigram 索引正则检索，含 client/server 与 file watcher，毫秒级搜索；帖文称 Copilot CLI 已在内部使用，可减轻智能体反复扫仓的开销。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察