Inferact（@inferact）宣布与 Google Cloud 共同推进 TPU 在 vLLM 中的一等支持：统一工程路线覆盖生产服务与优化内核、经 TorchTPU 的原生 PyTorch 路径，以及前沿模型 Day-0 支持；并启动社区计划提供共享 TPU 容量与核心维护者评审，产出全部开源。
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
说明：本文由 AICoder 编辑部借助 AI 工具整理撰写，依据文中注明的官方及媒体来源，并按人工制定的采编标准核对事实与数字；厂商自报的数据已标明出处。
联动天梯榜跑分、独家套餐赠金与 IDE 定制规则
Inferact（vLLM 核心团队衍生公司）于 2026-09-23 发布并开源面向 TPU v7 的推理巨内核仓库 inferact/tpu-megakernels。官方博客显示，在 DSpark 推测解码（acceptance length=6）的低并发设定下，Kimi K3 在 16×TPU v7 Ironwood 上达到 709 tok/s，对照 16×GB200 基线 452 tok/s；关闭推测解码时，batch 1–8 约为 GB200 基线的 1.4–2×。整套 Kimi K3 的 92 层 MoE 解码被收敛进单一 Pallas 内核。
vLLM 官方宣布 Day-0 支持上海 AI Lab Intern-S2-397B。该 397B 多模态基座面向长程科学研究与科学智能体，具备较强多模态、推理、编码与科学智能体能力；开发者可按官方 recipe 在 vLLM 上立即部署与服务。
HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察