AI 编程实时动态与要闻

D
David Abitbol / Revolutai.engineer·
👀4
🔥88

Revolut 演讲披露:约 2000 工程师默认自托管 GLM-5.3(约 56×B200),编码 AI 账单约降到 Anthropic/OpenAI 的 1/10

2026-10-13,Revolut AI 运营负责人 David Abitbol 在 AI Engineer NYC 演讲称:约 2000 名工程师默认使用自托管 GLM-5.3(约 56 张 NVIDIA B200),混合成本约 $0.30/百万 token,相对此前 Anthropic/OpenAI 账单约 1/10;演讲方口径编码时间约改善 60%、lead time 约 70%。Claude Code/Codex 仍作难题例外,视觉走路由。

核心要点速览

  • 来源:Revolut AI 运营负责人 David Abitbol,AI Engineer NYC 2026 演讲(2026-10-13)+ 官方讲稿;The Register 等自 11-03 报道(演讲方口径)
  • 规模:约 2000 名工程师默认走自托管 GLM-5.3,约 56 张 NVIDIA B200;混合成本约 $0.30/百万 token
  • 费用:相对此前 Anthropic/OpenAI 账单约降到 1/10;演讲称编码时间约改善 60%、lead time 约 70%(未单独剥离模型因素)
  • 路由:GLM 文本为主;视觉任务路由 Gemini / GPT 等;Claude Code / Codex 仍作难题例外
  • 运维:同卡数下调优使 TTFT 约 14.3s→1.7s、RPS 约升 76%;沙箱审批与遥测被强调为银行合规配套
阅读全文

Meta 在美国 Muse App 推出 Muse Realtime Avatar:实时语音驱动表情与肢体,约 870ms 首包延迟

Meta AI(@AIatMeta)于 11 月 5 日宣布,Connect 上预览的 Muse Realtime Avatar 开始在美国 Muse App 灰度:把 Muse Realtime Voice 变成可互动的实时形象。研究博客称系统为音频驱动的 Diffusion Transformer,与语音共享 speech token 流以同步口型与表情;单会话在 GB200 上可流式输出 448×768@25fps,用户话轮结束到音视频首字节约 870ms,并用 Meta Video Seal 做不可见水印。面向 18+ 用户;官方未公布全球时间表与开发者 API。

Meta 在美国 Muse App 推出 Muse Realtime Avatar:实时语音驱动表情与肢体,约 870ms 首包延迟

核心要点速览

  • 美国 Muse App 开始灰度 Realtime Avatar;Connect 时预览,现进入消费端(@AIatMeta)
  • 架构:语音 VQ token 同时驱动音频解码与 Avatar 视频;因果分块 + 自强制蒸馏,教师约 120 次评估压到学生 2 次(约 60×)
  • 性能口径:448×768@25fps,约 870ms 首包;单 GB200 相对 BF16 基线服务容量约 8×,可达 12 路并发(研究博客)
  • 主观评测:相对 Runway Characters、HeyGen LiveAvatar,评分者在整体与多数维度更偏好 Muse(厂商评测)
  • 安全:生成视频嵌入 Video Seal 不可见水印;示例不代表 App 内全部形象;无公开开发者 API
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Muse Spark⚡ Muse Presence🤖 Muse🌐 Meta

Pruna 开源 P-H3-Image:把 MiniMax-H3 视频模型改造成图像生成/编辑模型,8 步出图、提速 5 倍、体积缩小 7 倍

11 月 3 日,模型压缩公司 Pruna AI 开源 P-H3-Image:基于 MiniMax 今夏开源的 MiniMax-H3 视频模型,改造成文生图与图像编辑模型。官方口径:采样步数从 50 步降到 8 步,4MP 图在单张 B200 上从 12.4 秒降到 2.6 秒;4-bit 版下载 20GB(H3 为 143GB),8MP 峰值显存约 21GB;支持 2–16MP 输出和多图参考编辑。权重已上 Hugging Face,ComfyUI 原生支持。注意它沿用 MiniMax H3 社区许可,欧盟、英国、韩国和美国默认不在授权范围内。

Pruna 开源 P-H3-Image:把 MiniMax-H3 视频模型改造成图像生成/编辑模型,8 步出图、提速 5 倍、体积缩小 7 倍

核心要点速览

  • 速度(官方口径):8 步替代 50 步;单张 B200 上 4MP 图 12.4 秒→2.6 秒,8MP 图 30.6 秒→5.8 秒;L40S 上 4-bit 版 4MP 约 6.3 秒
  • 体积:Transformer 从 33B 缩到 20B 参数,文本编码器从 32B 蒸馏到 4B(67GB→9GB);下载包 bf16 55GB、4-bit 20GB,H3 原版 143GB
  • 显存:8MP 出图峰值 bf16 约 56GB、4-bit 约 21GB;带提示词改写器的 diffusers bf16 管线约需 100GB
  • 能力:输出 2–16MP,最擅长写实/纪实摄影、电影剧照、动漫与短文字平面设计;支持多图参考编辑(X 帖写 8 张,博客写 9 张)
  • 许可:MiniMax H3 社区许可,欧盟、英国、韩国、美国需另行向 MiniMax 取得授权,产品须标注 “Powered by MiniMax H3”
阅读全文
关联模型 / 智能体 / 厂商:
⚡ P-H3-Image⚡ MiniMax-H3⚡ Qwen3.5-9B🌐 Pruna AI🌐 MiniMax🌐 Hugging Face🌐 ComfyUI

Sarvam 发布开源决策模型 Prism:基于 Sarvam 105B,单次前向只输出选项概率,中位响应 44 毫秒,Apache 2.0

印度 AI 公司 Sarvam 于 11 月 3 日发布 Sarvam Prism,一款面向企业工作流的「System One」决策模型:给定上下文和若干带固定选项的问题,它在一次前向计算里直接返回每个选项的概率,不生成文本。官方称在其测试的 25 个决策模型中,Prism 三项指数平均 71.8 分、在单张 B200 上中位响应 44 毫秒,是 100 毫秒内得分最高的模型;印度语言基准 82.5。权重以 Apache 2.0 发布在 Hugging Face,同时提供托管 API。以上分数均为 Sarvam 自测。

Sarvam 发布开源决策模型 Prism:基于 Sarvam 105B,单次前向只输出选项概率,中位响应 44 毫秒,Apache 2.0

核心要点速览

  • 基于 Sarvam 105B(105B-10B MoE 基座)训练,只输出选项概率,答案一定落在给定选项内。
  • 官方口径三项指数:Jev Decision Index 67.0、自建的 Artificial Analysis 决策指数复刻版 65.9、内部印度语言基准 82.5,平均 71.8;Perplexity Decider v1.2 平均 68.0 但响应约 117 毫秒。
  • 校准:英文 90% 以上置信度回答,预期错误 3.3%、实际 2.2%;印度语言预期 5.4%、实际 4.4%,对比模型低估错误 1.5 到 4.8 倍。
  • 先把选项排成固定顺序再打分,2,000 道题四次打乱选项顺序后 0 道答案改变。
  • 评测 700 条 Agent 运行记录,整体判断准确率 78.5%,Claude Haiku 5.5 为 70.7%。
  • 本地部署需一张支持 FP8、约 120GB 空闲显存的 GPU(如 B200/H200),权重约 106GB。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Sarvam Prism⚡ Sarvam 105B⚡ Perplexity Decider v1.2⚡ Jev 1.14⚡ Microsoft-Decision-1⚡ Claude Haiku 5.5🌐 Sarvam
AD赞助内容

a16z「Rack Spread」图表:5 月以来 token 均价降 67%,token 总花费反涨 122%–160%,GPU 租金同期上涨

a16z 10 月 30 日发布的 Charts of the Week(作者 Moses Sternstein)讨论了「Rack Spread」:GPU 租金在涨,token 价格在跌。a16z 官方 X 账号 10 月 31 日总结:5 月以来 token 均价下降 67%,token 花费增长超过 120%;按文章的粗算,用 Ramp 数据得出约 122%,用 Ornn 混合单价乘 OpenRouter 用量得出约 160%。另一条帖子给出 7 月中以来 B300 租金涨 106%、B200 涨 66%、H100 涨 17%。a16z 同时强调这些指数样本小且有偏差,不能代表真实总需求。

a16z「Rack Spread」图表:5 月以来 token 均价降 67%,token 总花费反涨 122%–160%,GPU 租金同期上涨

核心要点速览

  • 价格与花费:5 月以来 token 均价降 67%,token 花费涨超 120%(a16z 官方 X 帖,a16z 口径)
  • 两种粗算:Ramp 的 token 花费数据约 +122%;Ornn 混合单价 × OpenRouter 用量约 +160%(Charts of the Week,作者自称是粗算而非严谨方法)
  • GPU 租金:7 月中以来 B300 +106%、B200 +66%、H100 +17%,同期 token 均价 -58%(a16z 帖子)
  • 人均 AI 支出:亚特兰大联储调查的均值超过每员工 1,000 美元,Ramp 的中位数是每月 15.70 美元(每年 188 美元)
  • 热度:两条帖子约 371 和 492 赞、3.8 万和 9.6 万浏览(截至 18:15 SGT)
阅读全文

Block 发布 Dessa:只用人类对话语音从零训练的全双工语音模型,可在 MacBook Pro M4 Max 本地实时运行

2026-10-23(UTC 16:53,SGT 10-24 00:53),Block 官方账号 @blocks 发布 Dessa,Jack Dorsey 随后转发称其为「迄今最真实的全双工语音模型」。官方页面 block.xyz/dessa 介绍:Dessa 是真正的语音到语音模型,训练数据只有人类对话录音,不用文本、不用任何预训练模型;全双工,能边听边说,会自然插话和附和(“yeah!”“got it!”),推理快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行。官方称只用一套 NVIDIA GB200 NVL72 完成训练,学习语言所需的词量比 LLM 少数百倍。目前没有公开 API 或权重,只向一小批 AI 安全研究者开放早期访问。

Block 发布 Dessa:只用人类对话语音从零训练的全双工语音模型,可在 MacBook Pro M4 Max 本地实时运行

核心要点速览

  • 训练数据只有人类对话语音:无文本、无预训练模型,从零训练(官方页面)
  • 全双工语音到语音:边听边说,会插话、附和,能直接听出并表达情绪、讽刺、笑声
  • 推理快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行
  • 官方称训练只用了一套 NVIDIA GB200 NVL72,学语言所需词量比 LLM 少数百倍
  • 暂无公开 API、权重或第三方跑分;目前只向少量 AI 安全研究者开放早期访问
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Dessa🌐 Block

vLLM 官方实测追平 DeepInfer:GB200 上吞吐差距缩小至 6%,GB300 单卡达百万 Token/秒

在 DeepSeek 宣布开源其生产级推理引擎 DeepInfer 数小时后,vLLM 官方项目团队正式公布了针对 DeepSeek-V4.1-Flash 的实测重磅性能对标数据。采用 DeepSeek 官方完全相同的测试拓扑(131K 超长上下文、nextn=3 投机采样),vLLM 在 NVIDIA GB200 NVL 架构上针对 Batch Size 8~256 的全并发区间,将与 DeepInfer 的端到端吞吐差距压缩至 6% 以内;在下一代 GB300 架构上,单 GPU 吞吐量突破 1,000,000 Token/秒,单用户峰值输出达 826 Token/秒,折合单 GPU 每小时营收达 38.96 美元。同时宣布 FastH3-Omni 与 Spark-X2.6-4B 首发支持。

vLLM 官方实测追平 DeepInfer:GB200 上吞吐差距缩小至 6%,GB300 单卡达百万 Token/秒

核心要点速览

  • vLLM 团队迅速公布实测对标数据,在 NVIDIA GB200 上运行 DeepSeek-V4.1-Flash 吞吐已追平至仅落后 DeepInfer 6%
  • 在下一代 NVIDIA GB300 硬件架构上,vLLM 实现单张 GPU 吞吐达 100 万 Token/秒,单用户峰值输出 826 Token/秒
  • 按 DeepSeek 线上非高峰期官方定价测算,单台 GPU 每小时可产生高达 38.96 美元的云端推理收益,经济效益惊人
  • 同步宣布对多模态视频大模型 FastH3-Omni 与拥有 100 万上下文的 4B 模型 Spark-X2.6-4B(Apache 2.0)提供 Day-0 首日原生支持
阅读全文
关联模型 / 智能体 / 厂商:

Hao AI Lab 开源 FastH3 Omni:把 MiniMax H3 蒸馏到 8 步,多参考音视频生成端到端延迟降低 5.6–11.9 倍

10 月 20 日,UCSD Hao AI Lab 的 FastVideo 团队开源 FastH3 Omni,这是 MiniMax H3 参考生成音视频(Ref2VA)模型的蒸馏版,可同时用文本、最多 9 张图、视频片段和人声参考生成带同步立体声的视频。采样从 50 步降到 8 次 transformer 计算,官方在 8 张 GB200 上测得端到端延迟降低 5.6–11.9 倍,训练代码一并开源,并提供面向 DGX Spark、RTX 5090 的 NVFP4 权重和 ComfyUI 支持。

Hao AI Lab 开源 FastH3 Omni:把 MiniMax H3 蒸馏到 8 步,多参考音视频生成端到端延迟降低 5.6–11.9 倍

核心要点速览

  • 步数:8 次 transformer 计算,基座 MiniMax H3 为 50 步,采用 PDD + DMD 蒸馏
  • 速度(官方口径):27 组对照负载、8×GB200,端到端延迟降低 5.6–11.9 倍;例如 15 秒单图请求 139.69 秒降到 14.14 秒
  • 输入:最多 9 张图、3 段视频、3 段音频,合计不超过 12 个参考;输出 24 FPS 视频 + 32kHz 立体声
  • 本地运行:DGX Spark(128GB)和 RTX 5090(32GB)用 NVFP4 QAD 权重,默认 480p;RTX 4090 可用 FP8 版
  • 许可:沿用 MiniMax-H3 Community License,不是 Apache/MIT
阅读全文
关联模型 / 智能体 / 厂商:

Meta 首次详解训练 Muse Wonder 的吉瓦级超算 Prometheus:预训练有效算力 85%+、RL 90%+,目标扩到约 100 万块 GPU

Meta 工程博客 10 月 19 日发文,首次公开训练 Muse 系列(含 Muse Wonder)的俄亥俄州 New Albany 超算集群 Prometheus。一期已建成,目前有数十万块 GPU,满配目标约 100 万块。训练 Muse Wonder 时预训练 goodput(有效训练时间占比)超过 85%、强化学习超过 90%,平均无中断时间约 4.7 万 GPU 小时,之后经固件修复提升到 5.4 万以上。硬件为 GB200 NVL72 和 GB300 NVL72 两代平台,Vera Rubin NVL72 即将到位。

Meta 首次详解训练 Muse Wonder 的吉瓦级超算 Prometheus:预训练有效算力 85%+、RL 90%+,目标扩到约 100 万块 GPU

核心要点速览

  • 规模:一期已用于训练 Muse 系列,现有数十万块 GPU,满配约 100 万块,跨多栋建筑当作一台机器运行。
  • 稳定性:Muse Wonder 预训练 goodput 超 85%、RL 超 90%;平均无中断时间约 4.7 万 GPU 小时,现已超 5.4 万。
  • 中断率:2025 年年中峰值接近每 8K GPU 每天约 1000 次中断,一年工程后下降 99%。
  • 冗余设计:每个 NVL72 机柜只用 64 块 GPU、留 8 块热备,另备约 2% 机柜;3.2768 万卡任务需 523 个机柜共 37,656 块 GPU,约多 13%。
  • 网络:单栋楼 fabric 最多连 20,736 块 GPU,跨楼聚合网络覆盖 2 公里到 100 多公里。
阅读全文
关联模型 / 智能体 / 厂商:

Viggle 发布 JST-2 物理原生世界基础模型:约 1 秒生成 3D 场景、单张图出可动画角色

Viggle 10 月 19 日发布 JST-2。它不在像素或视频空间里学习,而是把世界表示为 3D 空间中的持久「原子」(Physics-Native Tokens),用一套架构同时生成场景、角色和动作。官方称在 NVIDIA B200 上约 1 秒生成一个 3D 场景,推理成本低于 0.01 美元,最多保留 64 个输入视角作为空间上下文;角色无需单独绑骨即可动画。现已在浏览器端 PINOC 免费试用,并提供 API 和 MCP。

Viggle 发布 JST-2 物理原生世界基础模型:约 1 秒生成 3D 场景、单张图出可动画角色

核心要点速览

  • 场景生成:约 1 秒/场景(NVIDIA B200,不含网络延迟),推理成本低于 0.01 美元;官方对比 Marble 约 5–6 分钟(厂商口径)。
  • 空间上下文:最多 64 个输入视角,可逐个视角实时扩展世界,输出 3D Gaussian splats 在浏览器本地渲染。
  • 角色盲测(厂商自测):Average Score 对 Meshy 7.1 为 58.4%、对 Tripo H3.1 为 73.2%;脸部质量分别为 63.0% 和 82.0%(50% 表示持平)。
  • 动作盲测(厂商自测):文本生成动作对 Cartwheel Swing 74.8%、对 HY-Motion-1.0 80.0%;视频转动作对 DeepMotion Animate 3D 89.1%。
  • 接入方式:PINOC 浏览器端免费试用,另有 API 和 MCP,可接 Codex、Claude Code 等 agent;下一代 JST-3 计划用学习到的物理替代规则式碰撞与物体交互。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

香港大学提出混合线性注意力投机解码 ReaDy:复用循环状态作为动态上下文,B200 解码吞吐达 302 TPS

传统投机解码(Speculative Decoding)依赖目标模型的静态隐层特征,无法适应草稿模型随位置变化的动态上下文需求。香港大学团队发表 ReaDy(arXiv:2610.20503,HF 6 赞)。该框架首次为混合线性注意力模型(Hybrid Linear Attention,结合 Transformer 与 Mamba/RWKV 循环层)设计了以紧凑循环隐状态为动态上下文的投机草稿机制。在 NVIDIA B200 单卡上对 Qwen3.8-27B 展开评测,投机接受长度达 4.53,单卡解码吞吐飙升至 302.78 TPS,较标准自回归提速 2.4 倍。

香港大学提出混合线性注意力投机解码 ReaDy:复用循环状态作为动态上下文,B200 解码吞吐达 302 TPS

核心要点速览

  • 香港大学提出首个专为混合线性注意力(HLA)架构打造的投机解码方法 ReaDy(arXiv:2610.20503)
  • 创新性地复用 HLA 骨干中的紧凑循环隐状态作为动态上下文,解决传统草稿模型特征静态僵化的问题
  • 在单张 NVIDIA B200 上对 Qwen3.8-27B 展开实测,解码吞吐达到 302.78 TPS,较标准自回归提速 2.4 倍,在 DSpark 基础上再提升 7.97%
  • 仅需 Rank 8 超轻量读取器即可达成最佳性能,投机接受长度达到 4.53 个 Token
阅读全文
关联模型 / 智能体 / 厂商:

SGLang v0.5.22 重磅发布:DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍,InstantTensor 载入提速 10 倍

SGLang 团队正式发布 v0.5.22 大版本更新(凝聚 245 位贡献者提交的 950 个 PR):深度优化 DeepSeek-V4.1 推理性能,在 H200 单卡吞吐狂飙 2.3 倍,并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升;首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍;B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍;并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

SGLang v0.5.22 重磅发布:DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍,InstantTensor 载入提速 10 倍

核心要点速览

  • SGLang v0.5.22 正式发布,汇聚 245 位贡献者的 950 个 PR
  • DeepSeek-V4.1 在 NVIDIA H200 单卡吞吐暴涨 2.3 倍,并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升
  • 全新 InstantTensor 加载器将千亿模型冷启动载入速度提升 10 倍(10x faster)
  • B200 上 Qwen3.8-Flash-Next 解码提速 12%,B300 上 GLM-5.3 提速 10% 且 MiMo-V2.6-Pro 解码达 1.85 倍
  • PD 分离架构使长 Prompt 首字延迟 p95 TTFT 减半(-50%),吞吐净增 27%,原生支持 Apple Silicon 与 ComfyUI
阅读全文
关联模型 / 智能体 / 厂商:

SemiAnalysis 披露 Google 与 Inferact 首份 TPUv7 评测:TorchTPU vLLM 大核驱动 2.8T Kimi K3,高交互吞吐力压 GB200 NVL72 与 B300

半导体分析机构 SemiAnalysis 发布最新评测:Inferact(vLLM 核心团队)联合 Google 正式提交了首份基于 Google TPUv7 的 Kimi K3 2.8T 巨型 MoE 模型推理基准。在单芯片时租仅 1.21 美元(相比 GB300 2.31 美元、B300 2.26 美元、GB200 1.86 美元)下,借助 TorchTPU vLLM 大核与 TPU-Sync KVCache 卸载库,TPUv7 在 390 tok/s 超高交互区实现每美元 220 万 Token 吞吐,TCO 表现越级反超 NVIDIA GB200 NVL72、B300 与 AMD MI355X。

SemiAnalysis 披露 Google 与 Inferact 首份 TPUv7 评测:TorchTPU vLLM 大核驱动 2.8T Kimi K3,高交互吞吐力压 GB200 NVL72 与 B300

核心要点速览

  • Inferact(vLLM 核心团队)联合 Google 提交首份 Google TPUv7 Kimi K3 2.8T 巨型 MoE 推理基准
  • TPUv7 单芯片时租仅 1.21 美元,显著低于 GB300(2.31 美元)、B300(2.26 美元)与 GB200(1.86 美元)
  • 在 390 tok/s 超高交互区实现每美元 220 万 Token 吞吐,TCO 表现越级反超 NVIDIA GB200 NVL72、B300 与 AMD MI355X
  • 基于 TorchTPU vLLM 大核与 TPU-Sync KVCache 库,标志着 vLLM 在 Google TPU 架构上取得生产级重大突破
阅读全文
关联模型 / 智能体 / 厂商:

微软 MAI-Base-2 完成预训练:2.8T 总参 / 80B 激活 MoE,1.6 万张 GB200 跑 38 天,官方称预训练算力效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍

Microsoft AI 于 2026-10-15 发布技术博客与 PDF,宣布完成自研基座 MAI-Base-2 的预训练:每层 MoE(1 个共享 + 512 选 7 路由专家),80B 激活 / 2.8T 总参,102 层,原生无编码器视觉,50T token 训练混合、知识截止 2026 年 3 月。官方口径:在自建/外包的留出集 BPB 上低于所有参测开源模型,预训练 FLOPs 效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。模型仍在后训练中,暂无 API、权重或发布日期,微软计划经 Foundry 向受信伙伴授权权重。

微软 MAI-Base-2 完成预训练:2.8T 总参 / 80B 激活 MoE,1.6 万张 GB200 跑 38 天,官方称预训练算力效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍

核心要点速览

  • 规模:80B 激活 / 2.8T 总参,102 层、隐藏维 8704,每层都是 MoE(1 共享 + 512 选 7);MAI-Base-1 为 35B / 1T、78 层、稠密与 MoE 交替(技术 PDF)
  • 算力:16k 张 GB200、2026 年 8–9 月共 38 天,平均 MFU 21%(按 BF16 2.5 PFLOPS 归一)、goodput 89%;Muon 优化器步仅占迭代时间 2.1%(165 ms)
  • 效率(厂商口径,基于缩放律估算):达到 DeepSeek-V4-Pro-Base 同等 BPB 所需 FLOPs 少 4.2–12.3 倍;相对 6 月的 MAI-Base-1 配方提升 6.3–12.7 倍
  • 数据:50T token 训练混合,VLM 数据占 18%(4.5T 唯一 token),唯一 token 比 Base-1 多约 36%,宣称全部为有机数据、不蒸馏其他模型
  • 可用性:仍在后训练,无公开 API/权重/日期;计划经 Microsoft Foundry 向受信伙伴授权权重,MAI-Base-3 已在筹备(官方博客)
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MAI-Base-2⚡ MAI-Base-1⚡ MAI-Thinking-1⚡ DeepSeek-V4-Pro-Base⚡ Kimi K3⚡ Qwen3.8-2.4T-A95B🌐 Microsoft🌐 NVIDIA🌐 DeepSeek

vLLM 正式支持 NVIDIA Vera Rubin NVL72:AgentX 上 MiniMax M3 单卡吞吐达 GB200 的 7.84 倍

vLLM 团队联合 Inferact、Red Hat 与 NVIDIA 于 10 月 9 日发布 Rubin 早期支持:基于 CUDA 13.4 的每日镜像已可在 Vera Rubin NVL72 上服务 DeepSeek、Kimi、GLM、MiniMax。官方口径下,SemiAnalysis AgentX 上 MiniMax M3 同等交互性单卡吞吐最高为 GB200 的 7.84 倍;MLPerf Inference v6.1 的 VLM 项上 Qwen3-VL-235B-A22B 相对 GB300 NVL72 最高 3.7 倍。

vLLM 正式支持 NVIDIA Vera Rubin NVL72:AgentX 上 MiniMax M3 单卡吞吐达 GB200 的 7.84 倍

核心要点速览

  • 硬件对比 GB200 NVL72:NVFP4 算力 5 倍、HBM4 带宽约 2.4 倍、NVLink 双向带宽 1.7 倍,softmax 指数运算快 2–4 倍(vLLM 博文)
  • AgentX + MiniMax M3:同等交互性单卡吞吐最高 7.84 倍,150 TPS 约束下 5.18 倍(官方口径,早期结果)
  • MLPerf Inference v6.1:Qwen3-VL-235B-A22B 经 vLLM + Dynamo,相对 GB300 NVL72 最高 3.7 倍
  • CUDA 13.4 locality domain 拆分 MoE 权重,小 token decode 场景 MoE 层平均提速约 1.2 倍
  • 开箱镜像:vllm/vllm-openai:cu134-nightly(CUDA 13.4 + PyTorch 2.15)
阅读全文