AI 编程实时动态与要闻

2026-11-05，Hyperstition 开源 Hyperkernel 首批生成 megakernel（Hyperserve）：单次 launch 覆盖推理到机器人等场景；官方对照 NVIDIA 公布 vLLM 等给出多项加速，仓库 Alpha、面向 B300。

查看大图

半导体分析机构 SemiAnalysis 发布最新评测：Inferact（vLLM 核心团队）联合 Google 正式提交了首份基于 Google TPUv7 的 Kimi K3 2.8T 巨型 MoE 模型推理基准。在单芯片时租仅 1.21 美元（相比 GB300 2.31 美元、B300 2.26 美元、GB200 1.86 美元）下，借助 TorchTPU vLLM 大核与 TPU-Sync KVCache 卸载库，TPUv7 在 390 tok/s 超高交互区实现每美元 220 万 Token 吞吐，TCO 表现越级反超 NVIDIA GB200 NVL72、B300 与 AMD MI355X。

查看大图

vLLM 联合 NVIDIA 正式发布面向月之暗面旗舰模型 Kimi K3（SemiAnalysis 披露达 2.8 万亿参数）的底层解码巨型内核（Megakernel）：由 NVIDIA CentML 工程师采用 CuTe DSL 编写的 1.2 万行代码将注意力、MoE 路由与跨卡通信深度融合，将单层内核启动数从 23 个砍至 13 个、单层耗时从 130 µs 压至 69 µs。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码实现 Batch=1 高达 842 tok/s 的极速输出（提速 1.73 倍），并在 SemiAnalysis AgentX 负载上实现最高 1.8 倍的 P90 单用户交互吞吐提升（突破 403.2~423 tok/s/user），下一步将适配 DeepSeek-V4.1-Flash 与 GLM-5.3。

查看大图

Inferact（vLLM 核心团队衍生公司）于 2026-09-23 发布并开源面向 TPU v7 的推理巨内核仓库 inferact/tpu-megakernels。官方博客显示，在 DSpark 推测解码（acceptance length=6）的低并发设定下，Kimi K3 在 16×TPU v7 Ironwood 上达到 709 tok/s，对照 16×GB200 基线 452 tok/s；关闭推测解码时，batch 1–8 约为 GB200 基线的 1.4–2×。整套 Kimi K3 的 92 层 MoE 解码被收敛进单一 Pallas 内核。

查看大图