AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

👀46

🔥82

Modal 将用 NVIDIA Vera CPU 跑 Agent 沙箱：高并发下吞吐最高达同级 x86 的 2 倍

Modal 10 月 19 日发布博客，宣布将为 Modal Sandboxes 引入 NVIDIA 的 Arm 架构 Vera CPU，这是它首次走出纯 x86 机群。Modal 用 50 个 Terminal-Bench 任务自建了 Agentless Agent Bench，测得在大量并发容器下，Vera 的任务吞吐最高可达同级 x86 GNR 机器的 2 倍，单任务延迟持平或更低（厂商口径）。空载串行时 Vera 优势并不明显。这批算力主要服务后台编码 Agent 和强化学习 rollout。

核心要点速览

吞吐：高并发下 Vera 任务吞吐最高为同级 x86 GNR 机器的 2 倍，单任务延迟持平或更低（Modal 早期测试，厂商口径）。
基准：Agentless Agent Bench 由 50 个 Terminal-Bench 官方解法与校验器组成，去掉网络调用，只测编译、grep、git、设备模拟等 CPU 工作。
空载串行：50 个任务里 Vera 常常更快但并非总是，领先幅度不大；优势主要出现在资源争抢时。
原因：Modal 认为 Vera 的高内存带宽让每核可多塞容器而不降频；增加 CPU 数量时 x86 方案提前到达吞吐平台期。
落地：这是 Modal 首次支持 Arm，需要改造基础设施和镜像构建；官方未公布上线时间和价格。

阅读全文

关联模型 / 智能体 / 厂商:

🤖 Ramp Inspect 🤖 Niteshift 🌐 Modal 🌐 NVIDIA

#沙箱#智能体基础设施#NVIDIA Vera#Arm#Terminal-Bench#强化学习

vLLMvllm_project·21 天前收录

👀86

🔥88

查看推特原帖 ↗

vLLM 正式支持 NVIDIA Vera Rubin NVL72：AgentX 上 MiniMax M3 单卡吞吐达 GB200 的 7.84 倍

vLLM 团队联合 Inferact、Red Hat 与 NVIDIA 于 10 月 9 日发布 Rubin 早期支持：基于 CUDA 13.4 的每日镜像已可在 Vera Rubin NVL72 上服务 DeepSeek、Kimi、GLM、MiniMax。官方口径下，SemiAnalysis AgentX 上 MiniMax M3 同等交互性单卡吞吐最高为 GB200 的 7.84 倍；MLPerf Inference v6.1 的 VLM 项上 Qwen3-VL-235B-A22B 相对 GB300 NVL72 最高 3.7 倍。

核心要点速览

硬件对比 GB200 NVL72：NVFP4 算力 5 倍、HBM4 带宽约 2.4 倍、NVLink 双向带宽 1.7 倍，softmax 指数运算快 2–4 倍（vLLM 博文）
AgentX + MiniMax M3：同等交互性单卡吞吐最高 7.84 倍，150 TPS 约束下 5.18 倍（官方口径，早期结果）
MLPerf Inference v6.1：Qwen3-VL-235B-A22B 经 vLLM + Dynamo，相对 GB300 NVL72 最高 3.7 倍
CUDA 13.4 locality domain 拆分 MoE 权重，小 token decode 场景 MoE 层平均提速约 1.2 倍
开箱镜像：vllm/vllm-openai:cu134-nightly（CUDA 13.4 + PyTorch 2.15）

阅读全文

关联模型 / 智能体 / 厂商: